I.5Создание и редактирование текста

BlueBerry-3-GGUF — это GGUF-квантизированная версия модели BlueBerry-3, опубликованной artindnr и квантизированной mradermacher. Модель предназначена для генерации текста и доступна в форматах, совместимых с инструментами, поддерживающими GGUF. В метаданных указана архитектура mixture-of-experts, а также поддержка языков фарси, английского, арабского, французского, немецкого и испанского. Набор включает варианты квантования от Q2_K и Q3_K до Q8_0, включая IQ4_XS; размер файлов составляет примерно от 66 до 124 ГБ. Версии Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как вариант очень хорошего качества, а Q8_0 — как вариант высокого качества. Контекстное окно, точное число параметров, поддержка изображений или других модальностей, результаты тестирования и дополнительные ограничения в README не указаны. Модель распространяется по лицензии Apache-2.0.

BlueLM-7B-Chat-4bits — 4-битная квантованная версия диалоговой языковой модели BlueLM, разработанной vivo AI Lab. Модель с плотной архитектурой BlueLM и примерно 6,9 млрд параметров предназначена для генерации текста в диалоге и ответов на запросы пользователя. В карточке указана длина контекста 2048 токенов. Модель обучалась преимущественно на китайских и английских данных; корпус также содержал небольшую долю японских и корейских текстов. В README заявлены результаты на тестах общих знаний, математики и программирования, включая C-Eval, MMLU, GSM8K и HumanEval. Лицензия обозначена как other; README сообщает, что веса BlueLM открыты для академических исследований и коммерческого использования.

skriv/bondlm — дообученная skriv чат-модель для генерации текста на основе unsloth/llama-3-8b-Instruct-bnb-4bit. Она построена на плотной архитектуре Llama и содержит 7,5 млрд параметров. Модель подходит для диалогов и генерации ответов на текстовые запросы; при обучении использовались Unsloth и библиотека TRL. В метаданных указан контекст до 131 072 токенов и поддержка английского языка. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Карточка не описывает специализированную предметную область или отдельные преимущества дообучения, поэтому качество для конкретных сценариев следует оценивать самостоятельно.

Карточка модели Oscilla/Bonsai-27B-mlx-1bit на Hugging Face совпадает с карточкой prism-ml/Bonsai-27B-mlx-1bit, поэтому описание составлено по ней. Bonsai-27B-mlx-1bit — 27-миллиардная модель для генерации текста и диалогов, представленная Prism ML. Это производная от Qwen/Qwen3.6-27B модель с гибридной архитектурой внимания: около 75% линейного и 25% полноразмерного внимания. Языковые веса представлены в бинарном формате с эффективной точностью 1,125 бита на параметр; башня зрения использует 4-битное HQQ-представление. Модель рассчитана на локальный запуск на устройствах Apple через MLX, а также поддерживает CUDA. Модель предназначена для рассуждений, работы с кодом, агентных сценариев, длинных диалогов и анализа документов. Заявлены контекст до 262 тысяч токенов и footprint около 3,9 ГБ; авторы сообщают о скорости около 11 токенов/с на iPhone 17 Pro Max и сохранении примерно 90% качества FP16-версии по выбранным бенчмаркам. Компактное представление позволяет запускать модель локально, включая смартфоны, ноутбуки и потребительские GPU. Основной компромисс — снижение качества относительно полной точности, особенно в наиболее сложных категориях; авторы также отмечают, что длительные агентные задачи программирования пока не являются сильной стороной этой версии. Производительность на телефоне зависит от теплового режима. Модель распространяется по лицензии Apache-2.0.

Bonsai-27B-mlx-1bit — 27-миллиардная модель для генерации текста и диалогов, представленная Prism ML. Это производная от Qwen/Qwen3.6-27B модель с гибридной архитектурой внимания: около 75% линейного и 25% полноразмерного внимания. Языковые веса представлены в бинарном формате с эффективной точностью 1,125 бита на параметр; башня зрения использует 4-битное HQQ-представление. Модель рассчитана на локальный запуск на устройствах Apple через MLX, а также поддерживает CUDA. Модель предназначена для рассуждений, работы с кодом, агентных сценариев, длинных диалогов и анализа документов. Заявлены контекст до 262 тысяч токенов и footprint около 3,9 ГБ; авторы сообщают о скорости около 11 токенов/с на iPhone 17 Pro Max и сохранении примерно 90% качества FP16-версии по выбранным бенчмаркам. Компактное представление позволяет запускать модель локально, включая смартфоны, ноутбуки и потребительские GPU. Основной компромисс — снижение качества относительно полной точности, особенно в наиболее сложных категориях; авторы также отмечают, что длительные агентные задачи программирования пока не являются сильной стороной этой версии. Производительность на телефоне зависит от теплового режима. Модель распространяется по лицензии Apache-2.0.

Карточка модели squ0sh/Bonsai-27B-mlx-1bit на Hugging Face совпадает с карточкой prism-ml/Bonsai-27B-mlx-1bit, поэтому описание составлено по ней. Bonsai-27B-mlx-1bit — 27-миллиардная модель для генерации текста и диалогов, представленная Prism ML. Это производная от Qwen/Qwen3.6-27B модель с гибридной архитектурой внимания: около 75% линейного и 25% полноразмерного внимания. Языковые веса представлены в бинарном формате с эффективной точностью 1,125 бита на параметр; башня зрения использует 4-битное HQQ-представление. Модель рассчитана на локальный запуск на устройствах Apple через MLX, а также поддерживает CUDA. Модель предназначена для рассуждений, работы с кодом, агентных сценариев, длинных диалогов и анализа документов. Заявлены контекст до 262 тысяч токенов и footprint около 3,9 ГБ; авторы сообщают о скорости около 11 токенов/с на iPhone 17 Pro Max и сохранении примерно 90% качества FP16-версии по выбранным бенчмаркам. Компактное представление позволяет запускать модель локально, включая смартфоны, ноутбуки и потребительские GPU. Основной компромисс — снижение качества относительно полной точности, особенно в наиболее сложных категориях; авторы также отмечают, что длительные агентные задачи программирования пока не являются сильной стороной этой версии. Производительность на телефоне зависит от теплового режима. Модель распространяется по лицензии Apache-2.0.

Карточка модели thoddnn/Bonsai-27B-mlx-1bit на Hugging Face совпадает с карточкой prism-ml/Bonsai-27B-mlx-1bit, поэтому описание составлено по ней. Bonsai-27B-mlx-1bit — 27-миллиардная модель для генерации текста и диалогов, представленная Prism ML. Это производная от Qwen/Qwen3.6-27B модель с гибридной архитектурой внимания: около 75% линейного и 25% полноразмерного внимания. Языковые веса представлены в бинарном формате с эффективной точностью 1,125 бита на параметр; башня зрения использует 4-битное HQQ-представление. Модель рассчитана на локальный запуск на устройствах Apple через MLX, а также поддерживает CUDA. Модель предназначена для рассуждений, работы с кодом, агентных сценариев, длинных диалогов и анализа документов. Заявлены контекст до 262 тысяч токенов и footprint около 3,9 ГБ; авторы сообщают о скорости около 11 токенов/с на iPhone 17 Pro Max и сохранении примерно 90% качества FP16-версии по выбранным бенчмаркам. Компактное представление позволяет запускать модель локально, включая смартфоны, ноутбуки и потребительские GPU. Основной компромисс — снижение качества относительно полной точности, особенно в наиболее сложных категориях; авторы также отмечают, что длительные агентные задачи программирования пока не являются сильной стороной этой версии. Производительность на телефоне зависит от теплового режима. Модель распространяется по лицензии Apache-2.0.

Карточка модели Vladimirval/Bonsai-27B-mlx-1bit на Hugging Face совпадает с карточкой prism-ml/Bonsai-27B-mlx-1bit, поэтому описание составлено по ней. Bonsai-27B-mlx-1bit — 27-миллиардная модель для генерации текста и диалогов, представленная Prism ML. Это производная от Qwen/Qwen3.6-27B модель с гибридной архитектурой внимания: около 75% линейного и 25% полноразмерного внимания. Языковые веса представлены в бинарном формате с эффективной точностью 1,125 бита на параметр; башня зрения использует 4-битное HQQ-представление. Модель рассчитана на локальный запуск на устройствах Apple через MLX, а также поддерживает CUDA. Модель предназначена для рассуждений, работы с кодом, агентных сценариев, длинных диалогов и анализа документов. Заявлены контекст до 262 тысяч токенов и footprint около 3,9 ГБ; авторы сообщают о скорости около 11 токенов/с на iPhone 17 Pro Max и сохранении примерно 90% качества FP16-версии по выбранным бенчмаркам. Компактное представление позволяет запускать модель локально, включая смартфоны, ноутбуки и потребительские GPU. Основной компромисс — снижение качества относительно полной точности, особенно в наиболее сложных категориях; авторы также отмечают, что длительные агентные задачи программирования пока не являются сильной стороной этой версии. Производительность на телефоне зависит от теплового режима. Модель распространяется по лицензии Apache-2.0.

Bonsai-27b-Ternary-CRACK-GGUF — мультимодальная модель класса 27B, опубликованная dealignai. Это квантизированная GGUF-версия Bonsai 27B CRACK, созданная на базе prism-ml/Ternary-Bonsai-27B-gguf и относящаяся к семейству Qwen/Qwen3.6-27B. Модель предназначена для диалогов, рассуждений, использования инструментов, обработки текста и анализа изображений; также предусмотрена поддержка видео через отдельный Qwen3VL-проектор и совместимый клиент. Модель содержит 64 гибридных языковых блока архитектуры qwen35, а также отдельный F16-проектор Qwen3VL для мультимодальных входов. Основной языковой файл использует нативное 2-битное представление Q2_0 и занимает около 7,68 GiB, проектор — около 0,86 GiB. Заявлены английский и китайский языки. Контекст модели в README не указан. Для работы требуется форк Prism llama.cpp; обработка изображений проверена, а прямая передача видеофайлов зависит от возможностей конкретной среды выполнения. К сильным сторонам относятся низкое потребление памяти благодаря Q2_0, мультимодальность, совместимость с текстовыми и визуальными сценариями и результаты на приведённых тестах: 75,00% на фиксированной выборке MMLU-200 и 99,38% на полном HB-320. Ограничения включают необходимость специального форка Prism llama.cpp, отдельного мультимодального проектора и возможную необходимость предварительно извлекать кадры из видео. Модель распространяется по лицензии Apache-2.0.

Bonsai-8B-GGUF-1bit — языковая модель, разработанная Prism ML и распространяемая в формате GGUF для llama.cpp. Она предназначена для генерации текста, локального запуска чат-ассистентов и интеграции в приложения на устройствах с GPU или CPU, включая системы на CUDA, Apple Metal и Android. Модель может использоваться через специализированную сборку llama.cpp с 1-битными ядрами; также доступна отдельная версия для MLX. Модель основана на плотной архитектуре Qwen3-8B и содержит 8,19 млрд параметров, из которых около 6,95 млрд не относятся к embedding-слоям. В ней 36 decoder-блоков Transformer, GQA с 32 query- и 8 KV-головами, SwiGLU, RoPE и RMSNorm. Длина контекста составляет 65 536 токенов, размер словаря — 151 936 токенов. Все основные веса, включая embeddings, attention- и MLP-проекции, а также LM head, представлены в формате Q1_0 с эффективными 1,125 битами на вес. Ключевое преимущество — компактность и энергоэффективность: память параметров занимает около 1,15 ГБ против 16,38 ГБ у FP16, что примерно в 14 раз меньше; заявлено также ускорение до 6,2 раза на RTX 4090 и снижение энергопотребления на токен в 4–5 раз. Ограничения связаны с экстремальным 1-битным квантованием, которое может влиять на качество по сравнению с полной точностью, а для запуска требуются совместимые 1-битные ядра и сборка llama.cpp от Prism ML. Модель распространяется по лицензии Apache 2.0.

Borealis 2 26B-A4B Preview — экспериментальная инструкционно-настроенная модель на 26 млрд параметров с 4 млрд активных параметров, разработанная NbAiLab. Она основана на google/gemma-4-26B-A4B-it: модель продолжительно предобучали на смешанных данных Aurora, а затем дообучили на текстовых инструкциях набора NbAiLab/aurora-sft-2606. Выпуск представлен в формате safetensors для Transformers. Модель предназначена прежде всего для задач ассистента на норвежском языке: составления и редактирования текстов, суммаризации, ответов на вопросы и простых рассуждений. Также её можно использовать для оценки качества письменного норвежского языка Bokmål и Nynorsk, а также английского. Архитектура Gemma 4 поддерживает диалоговую работу с текстом и изображениями; в этой версии README описывает дообучение именно на текстовых инструкциях. Данные Aurora имеют срез знаний на 1 января 2025 года. Это предварительная версия для раннего тестирования: качество может быть нестабильным, а ответы — содержать ошибки или галлюцинации. Модель не прошла полное выравнивание по безопасности и может выдавать вредный, предвзятый или оскорбительный контент; её не рекомендуют для критически важных сценариев. В метаданных указана лицензия other, поэтому условия использования следует сверять с карточкой модели и материалами разработчика.

MediaTek Research Breeze-7B-32k-Instruct-v1_0 — чат-модель семейства Breeze, разработанная MediaTek Research на основе Mistral-7B. Это плотный авторегрессионный трансформер с архитектурой MistralForCausalLM и 7,2 млрд параметров, дообученный для диалога и распространённых задач на английском и традиционном китайском. Расширенный словарь содержит 62 тыс. токенов, а контекст достигает 32 768 токенов, что позволяет работать с длинными документами. Модель подходит для многоходового чата, ответов на вопросы, суммаризации и RAG-сценариев, включая поиск ответов в длинных китайских текстах. В README отмечено, что специальной обработки вредоносных запросов нет, поэтому модель может не обеспечивать надёжную защиту от небезопасных ответов. Веса доступны в форматах PyTorch и Safetensors; лицензия — Apache-2.0.

Brezn-7B — разговорная немецкоязычная языковая модель на архитектуре Mistral, созданная Mayflower GmbH как DPO-ориентированный merge трёх моделей: FelixChao/WestSeverus-7B-DPO-v2, mayflowergmbh/Wiedervereinigung-7b-dpo-laser и cognitivecomputations/openchat-3.5-0106-laser. Модель содержит 7,1 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. Модель предназначена для диалогов и ответов на инструкции на немецком языке. В README авторы называют её своей лучшей немецкоязычной моделью на 7B и приводят среднюю оценку 7,49 на mt-bench-de. Для инструкционного формата рекомендуется обрамлять запросы токенами [INST] и [/INST]. Модель распространяется под лицензией Apache-2.0.

c4ai-command-r7b-12-2024-heretic — модифицированная версия модели CohereForAI Command R7B, созданная автором репозитория с использованием Heretic 1.4.0 и метода направленной абляции (abliteration). Это мультиязычная генеративная языковая модель примерно на 7 млрд параметров, оптимизированная для retrieval-augmented generation (RAG), диалоговых сценариев, локального запуска и надёжного использования инструментов. Указан английский язык, однако в описании заявлена мультиязычность. Модель поддерживает текстовую генерацию и поставляется в форматах BF16 Safetensors и GGUF с квантованиями Q4_K_M, Q5_K_M, Q6_K и Q8_0; доступен запуск через Transformers, llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang. Ключевая особенность — подавление поведения, связанного с отказами, посредством изменения отдельных направлений весов в выходных проекциях attention и down-проекциях MLP, без дообучения. Это должно сохранять большую часть знаний и возможностей базовой модели, но одновременно означает отсутствие встроенной фильтрации безопасности: модель может выполнять запросы, которые исходная версия отклоняла, включая потенциально нежелательные. Поэтому её не рекомендуется размещать за незащищённым публичным endpoint для сторонних пользователей. Модель рассчитана на локальное использование на потребительских GPU и CPU/Apple Silicon; рекомендуемый объём видеопамяти зависит от квантования и составляет примерно 6–24 ГБ, а для контекста требуется дополнительно около 1 ГБ. Ограничения контекстного окна в README не указаны. Модель наследует лицензию other базовой модели CohereForAI c4ai-command-r7b-12-2024; подробные условия доступны по ссылке на её LICENSE.

pmysl/c4ai-command-r-plus-GGUF — это набор весов модели Command R+, разработанной CohereForAI, в формате GGUF для запуска через llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев; в репозитории доступны чат-шаблоны, а поддержка этих весов добавлена в llama.cpp начиная с релиза b2636. Доступны варианты с разной степенью квантизации, включая Q2_K, Q3_K_L и Q4_K_M, а также полноточный вариант f16. Для некоторых вариантов приведены значения perplexity на wikitext-2-raw: от 5,7178 у Q2_K до 4,3845 у f16, однако эти результаты обозначены как предварительные. Ключевые характеристики базовой модели, включая архитектуру, число параметров, поддерживаемые языки и размер контекста, в README не указаны. Сильной стороной репозитория является совместимость с llama.cpp и возможность выбирать компромисс между качеством, размером файлов и требованиями к ресурсам с помощью разных вариантов квантизации. Ограничения включают отсутствие подробной информации о возможностях базовой модели и неполные сведения о качестве. Использование распространяется по лицензии CC BY-NC-4.0.

Это GGUF-квантизация модели c4ai-command-r-v01, разработанной CohereForAI. Репозиторий duyntnet содержит варианты квантования с использованием imatrix для запуска модели в формате GGUF. Модель предназначена для генерации текста и диалоговых сценариев; в исходном README приведён пример применения через transformers с chat template Command R. Указана поддержка английского языка и задача text-generation. Архитектура, число параметров, размер контекста и точный набор вариантов квантования в предоставленных данных не указаны. Ключевое преимущество этой версии — возможность использовать квантизированную модель в формате GGUF, что может снизить требования к ресурсам по сравнению с полноразмерной моделью. Ограничения связаны с отсутствием подробностей о характеристиках конкретных квантов, производительности и совместимости. Лицензия обозначена как other; дополнительные условия использования не приведены.

CyberAgentLM2-7B — плотная авторегрессионная языковая модель с архитектурой Llama, разработанная CyberAgent, Inc. Модель предварительно обучена на 1,3 трлн токенов общедоступных японских и английских данных; в карточке также указана версия CyberAgentLM2-Chat. Размер модели — около 6,7 млрд параметров, длина контекста — 4096 токенов. Модель предназначена для генерации текста на японском и английском языках, включая диалоговые сценарии. Её можно использовать для продолжения текста и построения чат-приложений. Модель распространяется под лицензией Apache-2.0. Карточка не приводит результатов оценки качества; контекст ограничен 4096 токенами.

Calme-12B-Instruct-v0.1-GGUF — это набор файлов модели в формате GGUF для текстовой генерации, созданный и квантизированный MaziyarPanahi. Модель основана на MaziyarPanahi/Calme-12B-Instruct-v0.1 и относится к семейству Mistral; размер исходной модели составляет около 12 миллиардов параметров. Вариант предназначен для использования с llama.cpp и совместимыми приложениями и библиотеками, включая локальные графические интерфейсы и серверы инференса. Модель ориентирована на выполнение инструкций и диалоговые сценарии, генерацию текста и локальный запуск с поддержкой CPU и GPU в зависимости от используемого программного обеспечения. Доступны варианты квантизации от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством. Формат поддерживает текстовую модальность; сведения о языках и размере контекстного окна в README не указаны. Основные преимущества — наличие нескольких уровней квантизации и широкая совместимость с экосистемой GGUF, благодаря чему модель можно запускать локально на различных конфигурациях. К ограничениям относятся потенциальная потеря качества при более сильной квантизации, а также отсутствие в предоставленных данных бенчмарков, подробных характеристик архитектуры, языковой поддержки и контекстного окна. Модель распространяется по лицензии Apache-2.0.

calme-2.1-llama3-70b-GGUF — это набор файлов модели в формате GGUF для текстовой генерации, подготовленный и опубликованный MaziyarPanahi на основе модели calme-2.1-llama3-70b того же разработчика. GGUF предназначен для локального запуска и совместим с llama.cpp и рядом клиентских приложений и библиотек, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие. Модель относится к семейству Llama 3 и имеет размер 70B, однако в README не указаны точные архитектурные параметры, поддерживаемые языки или размер контекста. Доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать между меньшими требованиями к памяти и потенциальным снижением качества либо более высоким качеством и большими ресурсами. Модель ориентирована на задачи генерации текста и может использоваться через локальные графические интерфейсы, командную строку, Python-библиотеки и OpenAI-совместимый сервер. Основные преимущества — широкий выбор уровней квантования, поддержка GPU-ускорения в совместимых инструментах и возможность локального развертывания. Ограничения включают необходимость самостоятельно подобрать подходящий квантованный файл и обеспечить достаточные вычислительные ресурсы; сведения о качестве, результатах тестирования, мультимодальности и лицензии в README отсутствуют. Информация о лицензии не предоставлена.

calme-2.1-qwen2-72b-GGUF — это квантизированная версия дообученной языковой модели calme-2.1-qwen2-72b, разработанная и квантизированная MaziyarPanahi на основе Qwen/Qwen2-72B-Instruct. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, рассуждения и выполнение инструкций. Она распространяется в формате GGUF с вариантами квантования от 2 до 8 бит, а также 16-битной версией, что позволяет выбирать компромисс между качеством, требованиями к памяти и скоростью работы, в том числе при локальном запуске через llama.cpp. Архитектура, модальности, поддерживаемые языки и размер контекста в README не указаны. Для взаимодействия используется шаблон ChatML. В приведённых оценках модель получила accuracy 0,6761 на TruthfulQA, 0,8248 на Winogrande, 0,7184 нормализованной accuracy на ARC-Challenge и до 0,8893 exact match на GSM8K; эти результаты характеризуют отдельные тесты и не гарантируют качество в любых прикладных сценариях. Квантизация может уменьшать требования к ресурсам, но потенциально сопровождается потерей качества по сравнению с исходной точностью. Лицензия обозначена как other; в качестве лицензии указана tongyi-qianwen, а ссылка ведёт на лицензию Qwen/Qwen2-72B-Instruct. Условия использования следует уточнять по указанному лицензионному документу.

MaziyarPanahi/calme-2.1-qwen2-7b — дообученная авторами MaziyarPanahi модель Qwen2-7B для диалоговой генерации текста. Она предназначена для общения в формате ChatML и призвана улучшить результаты базовой модели на различных бенчмарках. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Qwen2 и поддерживает контекст до 131 072 токенов. Модель можно применять для ведения диалога, ответов на вопросы и генерации текстовых ответов. Для обучения использовались HelpSteer2, OpenHermes-2.5, набор задач Orca Math и SlimOrca. В карточке приведены результаты оценки на бенчмарках, включая IFEval и BBH. Доступна под лицензией Apache-2.0.

MaziyarPanahi/calme-2.2-llama3-70b — диалоговая языковая модель, созданная Maziyar Panahi методом DPO-донастройки Meta-Llama-3-70B-Instruct. Она предназначена для генерации текста и ответов на инструкции в формате ChatML; модель можно подключать через библиотеку Transformers. Архитектура — плотная LlamaForCausalLM, размер — 69,5 млрд параметров, контекст — 8 192 токена. В карточке указана оценка на Open LLM Leaderboard, включая IFEval, BBH, AI2 Reasoning Challenge и HellaSwag. Модель ориентирована на английский язык. Она может подходить для диалоговых ассистентов, ответов на вопросы и следования инструкциям, однако результаты бенчмарков не гарантируют качество в конкретных задачах. Для применения действуют условия лицензии Llama 3.

MaziyarPanahi/calme-2.2-qwen2-72b-GGUF — квантизированная версия дообученной языковой модели calme-2.2-qwen2-72b, разработанной и квантизированной MaziyarPanahi на основе Qwen/Qwen2-72B-Instruct. Модель предназначена для генерации текста в диалоговых и общих сценариях использования больших языковых моделей, включая ответы на вопросы, рассуждения и решение задач. Для работы используется шаблон ChatML; поддерживаемые форматы GGUF рассчитаны на запуск через совместимые инструменты, например llama.cpp. Модель основана на архитектуре Qwen2 с заявленным размером 72 млрд параметров и представлена в вариантах квантизации от 2 до 16 бит, включая Q2_K, 3-, 4-, 5-, 6- и 8-битные варианты. Квантизация позволяет снизить требования к памяти, однако может уменьшать точность по сравнению с полноразмерной версией; README не содержит сведений о длине контекста, точном наборе языков, требованиях к оборудованию и результатах комплексного сравнения. В опубликованных оценках указаны результаты на TruthfulQA, Winogrande, ARC-Challenge и GSM8K, но они не гарантируют качество в конкретных прикладных сценариях. Лицензия обозначена как other с названием tongyi-qianwen; в качестве лицензионного документа указана лицензия Qwen/Qwen2-72B-Instruct. Перед использованием необходимо проверить её условия, особенно требования к распространению и коммерческому применению.

calme-2.7-qwen2-7b — дообученная Maziyar Panahi чат-модель на базе Qwen2-7B, предназначенная для генерации ответов и диалогового взаимодействия. Автор заявляет, что дообучение направлено на улучшение базовой модели по результатам бенчмарков; в обучении использованы данные HelpSteer2, OpenHermes-2.5, Orca Math Word Problems и SlimOrca. Модель построена на плотной архитектуре Qwen2ForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 131 072 токенов. Для диалогов используется шаблон ChatML. Карточка приводит результаты оценивания на Open LLM Leaderboard, включая IFEval и BBH. Модель принимает текст и генерирует текст; в метаданных указан английский язык. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Качество зависит от запроса и сценария; опубликованные бенчмарки не гарантируют точность ответов в конкретных задачах.

MaziyarPanahi/calme-2.8-qwen2-7b — дообученная Maziyar Panahi чат-модель на архитектуре Qwen2 с 7,1 млрд параметров. Она предназначена для диалоговой генерации текста и улучшения ответов базовой Qwen2-7B; в карточке приведены результаты оценки на нескольких бенчмарках. Модель использует шаблон запросов ChatML, работает с текстом и рассчитана на контекст до 131 072 токенов. Модель подходит для создания чат-ботов, ответов на вопросы и генерации текста на английском языке. В качестве данных для дообучения указаны HelpSteer2, OpenHermes-2.5, Orca Math Word Problems и SlimOrca. Доступны веса в формате safetensors; лицензия — Apache-2.0. Результаты бенчмарков не гарантируют качество в конкретном применении.

Calme-4x7B-MoE-v0.1 — языковая модель MaziyarPanahi для генерации текста и диалогов. Она построена на архитектуре Mixture of Experts семейства Mixtral и объединяет четыре дообученные модели Calme-7B; в описании указано, что на каждый токен активируются два эксперта. Метаданные Hugging Face сообщают 7,1 млрд параметров, контекст до 32 768 токенов и формат safetensors; README приводит оценку общего числа параметров свыше 24 млрд. Модель подходит для диалоговых приложений, ответов на вопросы, объяснений и задач рассуждения на естественном языке. В README приведены результаты ARC, HellaSwag и TruthfulQA, но качество может различаться в зависимости от задачи и формулировки запроса. Сведения о поддерживаемых языках и специализированной предметной области не приведены. Модель выпущена под лицензией Apache-2.0. Карточка не содержит подробной оценки ограничений, поэтому результаты следует проверять в целевом сценарии.

MaziyarPanahi/Calme-7B-Instruct-v0.1 — диалоговая языковая модель Maziyar Panahi, дообученная на базе Mistral-7B. Она предназначена для генерации связных ответов и ведения диалога; в карточке также показан пример объяснения Docker. Модель использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Заявленная длина контекста — 32 768 токенов; доступны веса PyTorch и Safetensors. Для модели указана лицензия Apache-2.0. README также упоминает отдельные квантизированные версии в формате GGUF, но это репозиторий исходной модели.

Calme-7B-Instruct-v0.4-GGUF — это набор файлов модели в формате GGUF для инструкционной модели Calme-7B-Instruct-v0.4, разработанной и квантизированной MaziyarPanahi. Модель предназначена для генерации текста, диалоговых сценариев и выполнения инструкций. В метаданных она также отмечена как совместимая с Mistral, однако подробности исходной архитектуры в README не приведены. Модель имеет размер порядка 7 миллиардов параметров и доступна в вариантах квантизации от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K. Формат GGUF ориентирован на локальный запуск с помощью llama.cpp и совместимых приложений и библиотек, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. README не указывает поддерживаемые языки, максимальную длину контекста, конкретные показатели качества или мультимодальные возможности; по имеющимся данным, модель является текстовой. К сильным сторонам относятся широкий выбор уровней квантизации, возможность подобрать баланс между качеством, размером файла и требованиями к памяти, а также поддержка распространённых инструментов локального инференса. К ограничениям относятся потенциальная потеря качества при использовании низкобитных вариантов и отсутствие в README сведений о языковом покрытии, контексте, бенчмарках и рекомендуемых параметрах генерации. Модель распространяется по лицензии Apache-2.0.

CalmeRys-78B-Orpo-v0.1-GGUF — это квантованные GGUF-версии языковой модели CalmeRys-78B-Orpo-v0.1, разработанной dfurman и подготовленной к квантованию пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск в LM Studio. Указан формат общения ChatML с ролями system, user и assistant. Модель имеет 78 млрд параметров; в метаданных указана архитектура Qwen2, а обучение выполнено с использованием SFT и ORPO на наборе mlabonne/orpo-dpo-mix-40k. Поддерживаемый язык — английский. Доступны варианты квантования от Q8_0 размером 82,85 ГБ до более компактных IQ3_M, Q3 и IQ4, что позволяет выбирать между качеством и требованиями к оперативной памяти. Для большинства случаев рекомендуются Q6_K, Q5_K_M, Q4_K_M и IQ4_XS. По опубликованным результатам Open LLM Leaderboard модель показывает 81,63% строгой точности на IFEval, 66,8% на MMLU-PRO, 61,92% на BBH, 37,92% exact match на MATH Level 5, 36,37% на MuSR и 20,02% на GPQA. Сильными сторонами являются крупный размер, высокое качество старших квантов и возможность локального запуска, однако модель требует значительных ресурсов, а низкобитовые варианты снижают качество. Длина контекста и мультимодальные возможности в README не указаны. Лицензия — MIT.

CalmexperimentT3q-7B-GGUF — это квантизированная языковая модель для генерации текста в формате GGUF. Файлы модели подготовлены MaziyarPanahi на основе automerger/CalmexperimentT3q-7B; исходная модель создана automerger и восходит к chihoonlee10/T3Q-Mistral-Orca-Math-DPO. Модель предназначена для локального запуска и использования в сценариях текстовой генерации, включая диалоговые приложения, написание и обработку текста, а также задачи, поддерживаемые совместимыми инструментами инференса. Модель относится к семейству Mistral и имеет размер 7B параметров. Она поддерживает только текстовую модальность; сведения о языках и размере контекстного окна в README не указаны. Доступны варианты квантизации с разной разрядностью — от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством. Формат GGUF совместим с llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими клиентами, поддерживающими этот формат. Основные преимущества — локальный запуск, широкий выбор уровней квантизации и совместимость с инструментами, включая GPU-ускорение и OpenAI-совместимые серверные интерфейсы в отдельных реализациях. Ограничения — отсутствие в README подробных результатов оценки, рекомендуемых параметров генерации, точного контекстного окна и подтверждённых языковых характеристик; качество зависит от выбранной квантизации и используемого программного обеспечения. Лицензия — Apache-2.0.