I.6Перевод и языковая адаптация

Meta-Llama-3.1-70B-Instruct-GGUF — инструкционная большая языковая модель семейства Llama 3.1, разработанная Meta и представленная в формате GGUF сообществом backyardai. Она предназначена для генерации текста, диалоговых приложений, ответов на вопросы и выполнения инструкций. Модель является производной от meta-llama/Meta-Llama-3.1-70B-Instruct и ориентирована на сценарии локального или специализированного инференса с использованием совместимых инструментов. Модель имеет размер 70 миллиардов параметров и работает с текстовыми данными. В карточке заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Конкретная архитектура, длина контекста и параметры квантования для данной сборки не указаны. Большой размер может обеспечивать высокое качество генерации, однако требует значительных вычислительных ресурсов; практические характеристики зависят от используемого варианта GGUF и среды запуска. Модель распространяется по лицензии Llama 3.1 Community License от Meta. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Llama», сохранение атрибуции и соблюдение Acceptable Use Policy. Для продуктов с более чем 700 миллионами активных пользователей в месяц предусмотрено требование получить отдельную лицензию Meta.

furiosa-ai/Meta-Llama-3.1-8B-Instruct-FP8-dynamic — это инструкция-ориентированная языковая модель Meta Llama 3.1 с 8 млрд параметров, подготовленная для диалогов на естественном языке, выполнения инструкций и вызова инструментов. Модель представляет собой плотный авторегрессионный Transformer, работает с текстом на входе и выходе и поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Квантованная версия FP8-dynamic опубликована RedHatAI на основе Meta Llama 3.1 8B Instruct, а данный репозиторий дополнительно содержит пакет Furiosa Executable Bundle для запуска на аппаратном обеспечении FuriosaAI RNGD через Furiosa-LLM. Линейные веса Transformer-блоков используют статическое квантование FP8, а активации динамически квантуются в FP8 для каждого токена во время инференса, без предварительной офлайн-калибровки. Модель поддерживает вызов функций через парсер llama3_json и рассчитана на параллелизм по 8 processing elements на одной карте RNGD. Основной сценарий использования — развёртывание текстового диалогового сервиса через OpenAI-совместимый API Furiosa-LLM; также заявлена совместимость с другими фреймворками, включая vLLM, SGLang и Transformers. Ограничения по размеру контекста в предоставленных данных не указаны. Модель распространяется по лицензии Llama 3.1 Community License.

FriendliAI/Meta-Llama-3.1-8B-Instruct-int8 — это инструкция-ориентированная текстовая языковая модель на базе Meta-Llama-3.1-8B, разработанной Meta. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций на естественном языке. Вариант int8 использует 8-битное представление параметров, что рассчитано на более эффективное по памяти и вычислениям развертывание по сравнению с полноразмерной версией. Модель поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Она относится к классу текстовых моделей и не предназначена для обработки изображений, аудио или других немультимодальных данных. Размер базовой модели составляет 8 миллиардов параметров; сведения о размере контекстного окна в представленных данных отсутствуют. К сильным сторонам относятся instruction-tuning, многоязычность и сниженные требования к памяти благодаря int8-квантизации. Ограничениями являются возможная потеря качества по сравнению с исходной версией из-за квантизации, а также отсутствие указаний на поддержку мультимодальных задач. Модель распространяется по лицензии Llama 3.1 Community License от Meta. При распространении необходимо соблюдать условия лицензии, включая указание «Built with Llama», сохранение уведомления об авторских правах и требования Acceptable Use Policy; для продуктов с более чем 700 миллионами ежемесячных активных пользователей предусмотрены дополнительные лицензионные условия.

Карточка модели ckoozzzu/new1 на Hugging Face совпадает с карточкой meta-llama/Llama-3.1-8B-Instruct, поэтому описание составлено по ней. Meta Llama 3.1 8B Instruct — языковая модель Meta для диалогов и генерации текста. Это авторегрессионная модель на основе оптимизированного трансформера с Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с обратной связью от людей (RLHF). Модель принимает и генерирует текст, поддерживает диалоговый режим и предназначена для коммерческого и исследовательского применения. Модель подходит для создания чат-ассистентов, ответов на запросы и других задач генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Контекстное окно в предоставленных материалах не указано. Модель обучена на статичном офлайн-наборе данных; возможны ошибки и небезопасные ответы, поэтому результаты следует проверять, а для использования инструментов требуется отдельная интеграция и контроль со стороны разработчика. Условия распространения и применения регулируются лицензией Meta Llama 3.1 Community License и Acceptable Use Policy.

Qwen-14B — плотная авторегрессионная языковая модель семейства Qwen, разработанная Alibaba Cloud. Она построена на архитектуре Transformer и содержит 21,8 млрд параметров по метаданным; в карточке описаны RoPE, SwiGLU, RMSNorm и словарь более чем из 150 тысяч токенов. Модель обучена на более чем 3 трлн токенов из веб-текстов, книг, кода, математических и других материалов; заявленная длина контекста — 8192 токена. Модель предназначена для генерации текста и может служить основой для диалоговых систем, а также для задач на знания, рассуждения, перевод, математику и программирование. Наиболее подробно описана поддержка китайского и английского языков; словарь также ориентирован на ряд других языков, включая русский. Репозиторий содержит исходную предварительно обученную модель, а не вариант Qwen-14B-Chat. В README заявлены конкурентные результаты на ряде китайских и англоязычных тестов, однако это оценки разработчика, а качество зависит от задачи и способа применения. Для запуска требуются PyTorch и Transformers; модель крупная и требует значительных вычислительных ресурсов. Лицензия в предоставленных данных не указана.

AIArchiveInfo/Qwen3-0.6B — побитовая архивная копия Qwen3-0.6B от команды Qwen, без изменения весов; репозиторий указывает базовую модель Qwen/Qwen3-0.6B-Base. Это плотная причинная языковая модель на 507,9 млн параметров с 28 слоями, предназначенная для генерации текста и диалогов. Модель работает с текстом, поддерживает переключение между режимами рассуждения и обычного диалога, а также интерфейс вызова инструментов. Метаданные указывают контекст до 40 960 токенов; в README приведено значение 32 768 токенов. Заявлена поддержка более 100 языков и диалектов, включая многоязычные инструкции и перевод. Модель подходит для ответов на вопросы, следования инструкциям, диалогов, генерации кода, математических и логических задач, творческого письма и сценариев с внешними инструментами. Это компактная модель, которую можно использовать для локальных экспериментов и приложений с ограниченными ресурсами; качество на сложных задачах может уступать более крупным моделям. README отмечает риск повторов при некоторых настройках генерации. Лицензия — Apache-2.0.

Карточка модели helmo/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

unsloth/Qwen3-1.7B-GGUF — GGUF-версия языковой модели Qwen3-1.7B, разработанной командой Qwen компании Alibaba Cloud и подготовленной для распространения Unsloth. Это авторегрессионная causal language model для диалогов, следования инструкциям, генерации текста и кода, математических и логических задач, творческого письма, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов. Модель содержит 1,7 млрд параметров, из них 1,4 млрд без учёта embedding, и имеет 28 слоёв. Архитектура внимания использует GQA с 16 головами для Q и 8 для KV. Максимальная длина контекста — 32 768 токенов. Qwen3 поддерживает переключение между режимами thinking для сложного рассуждения и no_think для более эффективного общего диалога. Заявлена поддержка более 100 языков и диалектов, однако в карточке явно указан язык English. Формат GGUF ориентирован на локальный запуск совместимыми средствами, включая llama.cpp и Ollama. Сильные стороны модели — компактный размер, мультиязычность, следование инструкциям, рассуждения, генерация кода и возможность выбирать между качеством рассуждения и скоростью ответа. Ограничения включают небольшой по современным меркам объём параметров и отсутствие в предоставленных данных подробных результатов бенчмарков, требований к оборудованию и характеристик конкретной квантизации GGUF. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.5-397B-A17B-MTP-GGUF — GGUF-версия мультимодальной модели Qwen3.5-397B-A17B, разработанной командой Qwen и подготовленной для локального запуска компанией Unsloth. Модель предназначена для работы с текстом и изображениями, включая диалоговые сценарии, рассуждения, программирование, визуальное понимание, агентские задачи и вызов инструментов. В основе лежит гибридная архитектура с Gated Delta Networks и разреженным Mixture-of-Experts; обозначение 397B-A17B указывает на общий размер 397 млрд параметров и около 17 млрд активных параметров. Заявлена поддержка 201 языка и диалекта. Вариант MTP поддерживает speculative decoding, что может ускорять генерацию примерно в 1,5–2 раза при использовании совместимой ветки или версии llama.cpp. Доступны настройки для включения и отключения режима рассуждений, а также улучшения для tool calling и coding. К сильным сторонам относятся мультимодальность, высокая вычислительная эффективность разрежанной архитектуры, широкое языковое покрытие и возможность локального запуска в формате GGUF. Ограничения связаны с очень большим размером модели и требованиями к ресурсам, необходимостью совместимого ПО и специальной настройки MTP; при этом режиме не поддерживаются параллельные запросы с np > 1 и использование mmproj. README не указывает максимальную длину контекста. Модель распространяется по лицензии Apache-2.0.

LGAI-EXAONE/EXAONE-4.0-32B-FP8 — языковая модель компании LG AI Research из серии EXAONE 4.0. Она предназначена для генерации текста, решения сложных задач, многоязычного общения и построения агентных приложений с вызовом инструментов. Модель поддерживает два режима работы: Non-reasoning для обычных запросов и Reasoning для задач, требующих пошагового рассуждения. Заявлена поддержка английского, корейского и испанского языков. Модель содержит около 30,95 млрд параметров без учёта эмбеддингов, 64 слоя и использует архитектуру с GQA на 40 attention heads и 8 KV heads. Для 32B-версии применена гибридная схема внимания с локальным и глобальным вниманием в соотношении 3:1, а также архитектурное изменение QK-Reorder-Norm. Размер словаря составляет 102 400 токенов, контекст — до 131 072 токенов. Весы представлены в формате fine-grained FP8. Сильными сторонами являются сочетание общего режима генерации и рассуждений, поддержка инструментов, длинный контекст и мультиязычность. Ограничения включают высокие требования к вычислительным ресурсам из-за размера модели; README не приводит подробностей о точности, безопасности и типичных ошибках. Модель распространяется по лицензии exaone, обозначенной как other; условия следует уточнять в файле LICENSE.

EXAONE-4.0-32B-GGUF — квантизированная версия языковой модели EXAONE 4.0 от LG AI Research. Модель предназначена для генерации текста, диалоговых приложений, агентного использования инструментов и задач, требующих рассуждений. Она поддерживает два режима: Non-reasoning для повседневного взаимодействия и Reasoning для более сложных задач. Заявлена поддержка английского, корейского и испанского языков. Модель содержит около 30,95 млрд параметров без учёта эмбеддингов, 64 слоя и использует GQA с 40 attention heads и 8 KV heads. Контекстное окно составляет 131 072 токена, размер словаря — 102 400. Архитектура включает гибридное внимание: local attention и global attention в соотношении 3:1, а также QK-Reorder-Norm. Репозиторий распространяет веса в формате GGUF с вариантами квантизации Q8_0, Q6_K, Q5_K_M, Q4_K_M и IQ4_XS; также доступны веса BF16. Модель официально поддерживается llama.cpp и может запускаться локально или через OpenAI-совместимый сервер. Сильными сторонами являются сочетание обычного и рассуждающего режимов, большой контекст, мультиязычность, поддержка агентных сценариев и несколько вариантов квантизации для выбора между качеством и требованиями к ресурсам. Ограничениями являются значительный размер 32B, высокие требования к памяти и вычислениям, а также необходимость учитывать особенности интеграции с llama.cpp и применения соответствующего chat template. Лицензия обозначена как exaone; точные условия следует уточнять в файле LICENSE.

Mungert/EXAONE-4.0-32B-GGUF — GGUF-квантизированная версия языковой модели EXAONE-4.0-32B, разработанной LG AI Research. Модель предназначена для генерации текста, диалоговых приложений, решения сложных задач и агентских сценариев с использованием инструментов. Она поддерживает обычный режим работы и режим рассуждений, а также английский, корейский и испанский языки. Модель содержит около 30,95 млрд параметров без учёта эмбеддингов, 64 слоя, архитектуру GQA с 40 attention-головами и 8 KV-головами, словарь размером 102 400 токенов и контекст до 131 072 токенов. Архитектура использует гибридное внимание: локальное и глобальное внимание в соотношении 3:1, а также QK-Reorder-Norm. Включение режима рассуждений выполняется через параметр enable_thinking. Данный вариант подготовлен с помощью llama.cpp и использует GGUF-квантизацию; автор сборки применяет дополнительное повышение точности отдельных важных слоёв, что может улучшать качество при низкой разрядности ценой увеличения размера файла. Сильными сторонами являются большой контекст, мультиязычность, сочетание обычного и reasoning-режимов, а также возможность локального запуска через экосистему llama.cpp. Ограничения конкретного варианта зависят от выбранного уровня квантизации и аппаратных ресурсов; README не содержит точных характеристик каждой квантованной сборки и результатов сравнительных тестов. Модель распространяется по лицензии EXAONE, обозначенной как other; подробные условия указаны в файле LICENSE.

gaunernst/gemma-3-27b-it-int4-awq — конвертированная в формат Hugging Face и AWQ модель Gemma 3 27B Instruction-tuned, разработанная Google DeepMind. Это QAT INT4-чекпойнт из Flax, первоначально полученный из Kaggle; в репозитории указано, что AWQ не применялся для самой квантизации. Модель предназначена для генерации текста и понимания изображений по текстовым и визуальным запросам, включая ответы на вопросы, суммаризацию, рассуждения и описание содержимого изображений. Модель имеет 27 млрд параметров, поддерживает текстовый и графический ввод и генерирует текст. Для изображений используется нормализация до 896×896 пикселей с кодированием в 256 токенов на изображение. Контекстное окно составляет 128 000 токенов, максимальный заявленный объём вывода — 8192 токена. Gemma 3 поддерживает более 140 языков и рассчитана на развёртывание на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре, хотя 27B-модель и мультимодальный режим требуют значительных вычислительных ресурсов. К сильным сторонам относятся мультимодальность, большое контекстное окно, многоязычность и снижение требований к памяти благодаря INT4-квантизации. Ограничения включают возможные потери качества по сравнению с полноразмерной моделью из-за квантизации, а также необходимость совместимого программного окружения и достаточных аппаратных ресурсов. Для использования требуется принять условия лицензии Google Gemma на Hugging Face; в карточке указана лицензия gemma.

unsloth/gemma-3-27b-it-qat-GGUF — instruction-tuned мультимодальная модель семейства Gemma 3, разработанная Google DeepMind и подготовленная Unsloth в формате GGUF с QAT-квантизацией. Модель основана на google/gemma-3-27b-it-qat-q4_0-unquantized и имеет размер 27 млрд параметров. Она принимает текст и изображения, а генерирует текст; поддерживает более 140 языков, включая английский, указанный в карточке модели. Изображения нормализуются до разрешения 896×896 и представляются как 256 токенов каждое. Контекстное окно составляет 128K токенов, максимальный объём генерируемого ответа — 8192 токена. Модель предназначена для ответов на вопросы, суммаризации документов, рассуждений, генерации текста и анализа изображений. Большое контекстное окно и мультимодальность подходят для работы с длинными документами и визуальными данными, а GGUF и квантизация ориентированы на локальное развертывание на ноутбуках, настольных компьютерах и собственной инфраструктуре с ограниченными ресурсами. К возможным ограничениям относятся компромисс между эффективностью и качеством, связанный с квантизацией, а также отсутствие в доступных данных подробностей об аппаратных требованиях, результатах тестирования и ограничениях безопасности. Модель распространяется по лицензии Gemma; условия использования определяются соответствующими Terms of Use.

Gemma 3 4B Instruction-tuned QAT compressed-tensors — это мультимодальная instruction-tuned модель семейства Gemma 3, разработанного Google DeepMind. Данная версия представляет собой конвертацию Gemma 3 4B IT из формата GGUF Q4_0 в формат compressed-tensors с типом данных BF16; преобразование не является полностью без потерь. Модель принимает текст и изображения, а генерирует текст. Модель предназначена для ответов на вопросы, суммаризации документов, рассуждений, генерации текста и анализа изображений. Она поддерживает более 140 языков, контекст входных данных до 128K токенов, изображения с нормализацией до 896×896 пикселей, кодируемые в 256 токенов каждое, и генерирует до 8192 токенов. Размер 4B и QAT-квантизация снижают требования к памяти при сохранении качества, близкого к bfloat16, что облегчает запуск на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Модель можно запускать, в частности, через vLLM; исходная карточка также описывает использование llama.cpp. Ограничения включают возможные потери качества из-за преобразования и квантизации, а также стандартные ограничения генеративных и мультимодальных моделей. Модель распространяется по лицензии Gemma; конкретные условия определяются официальными Terms of Use Google.

Gemma 3n E2B — мультимодальная генеративная модель Google из семейства Gemma, предназначенная для эффективного запуска на устройствах с ограниченными ресурсами. Она принимает текст, изображения, видео и аудио и генерирует текст; поддерживает сценарии диалога, создания и суммаризации текстов, извлечения сведений из изображений, транскрибации и перевода речи. Модель использует архитектуру MatFormer и выборочную активацию параметров: при общем количестве около 6 млрд параметров её эффективный размер и требования к памяти сопоставимы с традиционной моделью на 2 млрд параметров. Репозиторий содержит вариант E2B на базе Gemma 3n E4B. Модель обучалась на данных более чем на 140 разговорных языках. Её можно применять для чат-ботов, помощников, анализа мультимодальных данных и генерации черновиков. Возможны предвзятые, неточные или устаревшие ответы; модель может испытывать трудности с неоднозначностью и сложными открытыми задачами. Лицензия — Gemma License.

Gemma-4-26B-A4B-it-NVFP4 — community-квантизированная версия инструкционной модели google/gemma-4-26B-A4B-it, опубликованная пользователем или организацией bg-digitalservices. Это мультимодальная модель для генерации текста, обработки изображений и видео, предназначенная для диалоговых приложений, следования инструкциям, рассуждений и работы с длинным контекстом. Модель использует архитектуру Mixture-of-Experts с 25,2 млрд параметров, из которых 3,8 млрд активны для каждого токена. В ней 128 экспертов, одновременно выбираются 8. Поддерживается контекст до 256K токенов и мультиязычный режим. Квантизация выполнена в формате W4A4: веса представлены в FP4, активации — в FP16. Размер модели на диске составляет около 16,5 ГБ вместо примерно 49 ГБ у версии BF16, что обеспечивает примерно двукратное ускорение генерации в протестированной конфигурации. Сильной стороной модели является существенное сокращение требований к памяти при сохранении около 97,6% среднего качества относительно BF16-версии в указанных тестах. Следование инструкциям почти не ухудшается, однако задачи математического рассуждения теряют около 4 процентных пунктов из-за накопления ошибок округления. Для запуска рекомендуется совместимая сборка vLLM с поддержкой Gemma 4 и NVIDIA Model Optimizer; тестирование проводилось на NVIDIA DGX Spark с GPU GB10 Blackwell. Веса vision encoder оставлены в BF16. Модель распространяется по лицензии Apache-2.0.

gemma4-E2B-it-qat-Q4-unsloth-heretic — модифицированная instruction-tuned модель семейства Gemma 4 E2B. Базовую модель разработала Google DeepMind, веса подготовлены в формате Unsloth, а данная сборка опубликована MobiusDevelopment и обработана инструментом Heretic. Из модели удалено встроенное поведение отказа отвечать на отдельные запросы («abliteration» или decensoring), при этом заявлено сохранение общих возможностей базовой модели. Модель предназначена для генерации текста, диалоговых и агентских сценариев, программирования, дополнения и исправления кода, function calling и задач, требующих обработки длинного контекста. Gemma 4 E2B поддерживает текстовые и графические входы, а также аудио; выводом является текст. Заявлены понимание изображений, OCR, анализ документов и PDF, интерфейсов и графиков, распознавание речи и перевод речи в текст, встроенный режим пошагового рассуждения и мультиязычная работа более чем со 140 языками. Архитектура использует гибридное внимание с чередованием локального sliding-window и глобального внимания, Per-Layer Embeddings и Proportional RoPE. Вариант E2B имеет 2,3 млрд эффективных параметров и 5,1 млрд параметров с учётом эмбеддингов, 35 слоёв, окно локального внимания 512 токенов, контекст до 128K токенов и словарь размером 262 тысяч токенов. Доступны bf16 safetensors для полной мультимодальной версии, текстовый GGUF Q4_K_M и отдельные vision/audio mmproj GGUF. Главная особенность и одновременно ограничение сборки — отсутствие встроенных отказов, поэтому её ответы требуют дополнительного контроля безопасности; качество после модификации может отличаться от базовой модели. Использование регулируется лицензией Gemma и условиями Google Gemma Terms of Use; в метаданных также указана лицензия Apache-2.0.

Ghost 7B Alpha — языковая модель на 7,1 млрд параметров, разработанная Ghost X (Hieu Lam) и дообученная на основе Mistral 7B. Она предназначена для генерации текста, диалоговых помощников и задач, включая рассуждения, ответы на вопросы, написание документов, перевод и программирование. Модель поддерживает взаимодействие с инструментами через описанный в карточке формат ролей и имеет контекст до 32 768 токенов по метаданным; README указывает 8 192 токена. Основные языки модели — английский и вьетнамский. Репозиторий содержит веса в формате safetensors; в карточке также описаны варианты распространения BF16, GGUF и AWQ. Указана лицензия Ghost 7B License Agreement, а метаданные классифицируют лицензию как other. README отмечает склонность модели занимать эмоционально окрашенную позицию, в том числе в задачах рассуждения; перед использованием следует оценить качество ответов и условия лицензии.

Poro 2 Long Instruct — чат-модель с инструкционной настройкой, разработанная LumiOpen на основе семейства Poro 2 и архитектуры Llama. Это плотная авторегрессионная модель примерно на 7,5 млрд параметров, полученная объединением базовой модели Poro 2 Long и её версии после supervised fine-tuning. README заявляет контекст до 128 тыс. токенов; метаданные указывают native context 8192 токена. Модель предназначена для диалогов и выполнения инструкций на финском и английском языках. Она подходит для суммаризации и анализа длинных документов, вопросов по нескольким документам, генерации текстов, обучения, поддержки клиентов и перевода между финским и английским. В README приведены результаты тестирования следования инструкциям на обоих языках и длинноконтекстных задачах. Качество на английском в приведённых короткоконтекстных тестах уступает Llama 3.1 8B Instruct, тогда как на финском модель показывает более высокие результаты. Возможны фактические ошибки и смещения; навыки на других языках и в узкоспециализированных областях ограничены, а работа с длинным контекстом требует больше памяти и может быть медленнее. Лицензия в метаданных указана как llama3.3.

Mica Spark-X2.5-4B — производная модель XHToken/Spark-X2.5-4B, опубликованная Miguel Amendez в виде артефактов для Mica runtime. Это диалоговая многоязычная языковая модель класса 4B для генерации текста; архитектура сочетает один слой полного внимания и три слоя с окном скользящего внимания. В README заявлен контекст до 1 048 576 токенов, включая вход и выход, однако он не подтверждён локальными испытаниями Mica на длинных последовательностях. Репозиторий содержит варианты MLX Q4 и Q8, GGUF Q4_K_M и Q8_0, а также safetensors. На Apple M4 варианты MLX прошли проверки генерации и серверного инференса, а GGUF — проверки инференса на Metal. Модель можно применять для диалогов и генерации текста на разных языках; базовая модель также предназначена для кода, рассуждений, перевода и агентных задач. Лицензия исходной модели и производных артефактов — Apache-2.0. Заявление о контексте в миллион токенов не подтверждено испытаниями Mica: для практического использования следует опираться на сертифицированный лимит выбранного профиля. Варианты vLLM не опубликованы как производственные артефакты, а локальные проверки не подтверждают работу на всех платформах и режимах.

MiniCPM-o 2.6 — мультимодальная модель команды OpenBMB для понимания изображений, аудио и видео, а также голосового общения и потоковых сценариев. По карточке она построена как сквозная система на основе SigLip-400M, Whisper-medium-300M, ChatTTS-200M и Qwen2.5-7B; в метаданных указано 7,1 млрд параметров, плотная архитектура MiniCPMO и контекст 32 768 токенов. Модель доступна через Transformers и распространяется по лицензии Apache-2.0. Модель принимает текстовые запросы, изображения, аудио и непрерывные аудио-видеопотоки. Она отвечает текстом и может вести голосовой диалог с настраиваемыми голосом, эмоцией, скоростью и стилем; также поддерживает клонирование голоса. README описывает распознавание речи, анализ говорящих, аудиоподписи, классификацию звуковых сцен, OCR, понимание нескольких изображений и видео, а также мультимодальное общение в реальном времени. Заявлена поддержка более 30 языков для мультимодальных задач и двуязычный речевой диалог на английском и китайском. Среди заявленных сильных сторон — обработка изображений с разными пропорциями сторон, высокая плотность визуальных токенов и возможность локального запуска на устройствах с ограниченными ресурсами в подходящих сборках. README указывает на совместимость с Transformers 4.44.2 и предупреждает о возможных проблемах совместимости с другими версиями; работа с потоковыми аудио-видео данными требует соответствующей реализации и оборудования. Заявленные результаты бенчмарков приведены авторами модели и зависят от условий оценки.

EnlistedGhost/Ministral-3-8B-Reasoning-2512-GGUF — это конвертированная и квантованная версия Ministral-3-8B-Reasoning-2512-BF16, первоначально разработанной MistralAI. Модель распространяется в формате GGUF и предназначена для запуска через Ollama и llama.cpp. Модель ориентирована на диалоговые задачи, рассуждения и работу с текстом и изображениями. Она поддерживает мультимодальный сценарий image-text-to-text, включая чтение изображений, а также многоязычную работу с английским, французским, испанским, немецким, итальянским, португальским, нидерландским, китайским, японским, корейским, арабским и русским языками. Заявлен размер 8B параметров; точная длина контекста базовой модели не указана, но шаблон чата предусматривает скользящее окно примерно из 46 взаимодействий. К сильным сторонам относятся совместимость с Ollama и llama.cpp, наличие vision-проекторов для мультимодальной обработки и несколько вариантов квантования, позволяющих выбирать компромисс между качеством и требованиями к ресурсам. Ограничением является отмеченная автором проблема с шаблоном чата: при загрузке с Hugging Face он может некорректно активировать теги рассуждений. Модель выпущена под лицензией Apache-2.0.

natong19/Mistral-Nemo-Instruct-2407-abliterated — версия Mistral-Nemo-Instruct-2407, обученной совместно Mistral AI и NVIDIA. Это плотная авторегрессионная языковая модель семейства Mistral с 12,1 млрд параметров, предназначенная для диалогов и генерации текста; интерфейс также поддерживает вызов инструментов. В README заявлено окно контекста 128 тыс. токенов, а метаданные указывают native context в 1 024 000 токенов, поэтому эти значения расходятся. Модель рассчитана на многоязычные задачи и код; среди языков указаны английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский. В этой версии наиболее сильные направления отказа ослаблены ортогонализацией весов, однако модель всё ещё может отказывать, неверно понимать запрос или давать непрошеные советы о безопасности. В приведённых тестах результаты близки к исходной версии Mistral-Nemo-Instruct-2407. Лицензия — Apache 2.0.

Qwen2.5-14B-Instruct-MLX-4bit — это 4-битная MLX-квантизация инструкционно дообученной языковой модели Qwen2.5-14B-Instruct. Исходную модель разработала команда Qwen, а квантизацию предоставил bartowski на основе mlx-examples. Модель предназначена для запуска на компьютерах Mac с Apple Silicon и использования в сценариях генерации текста и диалогового взаимодействия. Модель поддерживает контекст до 32 000 токенов и генерацию до 8 000 токенов, ориентирована на работу со структурированными данными и их генерацию. Заявлена поддержка более 29 языков, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Квантизация снижает требования к памяти, но README не содержит количественных оценок производительности и качества, поэтому её сильные стороны и ограничения относительно полной версии нельзя точно сравнить. Модель является текстовой и не предназначена для обработки изображений или других модальностей. Распространяется по лицензии Apache-2.0. Как и другие языковые модели, она может генерировать неточную, вредную или неподходящую информацию, поэтому результаты требуют проверки.

Карточка модели nuckcrews/Qwen3-0.6B-pub на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

Qwen3-128k-30B-A3B-NEO-MAX-Imatrix-gguf — набор GGUF-квантизаций модели Qwen3-30B-A3B, разработанной командой Qwen. Это разреженная Mixture-of-Experts-модель с 30 млрд общих параметров и 128 экспертами, из которых обычно активируются 8 в зависимости от содержания запроса; эффективный объём активных параметров составляет около 3 млрд. Автор сборки применил собственный NEO Imatrix-процесс и модификации, ориентированные на работу с различными уровнями квантования. Модель предназначена для генерации текста, творческого письма, ролевых сценариев, рассуждений, решения задач и использования инструментов. Заявлена поддержка контекста до 131072 токенов, расширенного с 32768 с применением YaRN. В README указана поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Ключевое преимущество сборки — возможность запуска всех вариантов на GPU, CPU или в режиме CPU с оперативной памятью благодаря MoE-архитектуре и активации только части параметров. NEO Imatrix-квантизация призвана сохранить пригодное качество даже у компактных вариантов, однако более низкие уровни квантования уступают старшим по качеству и могут требовать более подробных промптов. Скорость и качество зависят от конкретного варианта квантизации и оборудования; приведённые в README оценки производительности ограничены описанной конфигурацией. Модель распространяется по лицензии Apache-2.0.

Qwen3-1.7B-unsloth-bnb-4bit — компактная каузальная языковая модель семейства Qwen3, представленная Unsloth и основанная на базовой модели Qwen/Qwen3-1.7B, разработанной командой Qwen. Данная версия предназначена для запуска и дообучения в формате 4-bit с использованием Transformers, что снижает требования к памяти по сравнению с полноразмерными вариантами. Модель подходит для генерации текста, диалогов, следования инструкциям, математических и логических задач, программирования, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с интеграцией внешних инструментов. Qwen3 поддерживает переключение между thinking mode для сложного рассуждения и non-thinking mode для более быстрой генерации. Заявлена поддержка более 100 языков и диалектов, однако в карточке явно указан язык English. Архитектура — causal language model с 1,7 млрд параметров, из которых 1,4 млрд не являются embedding-параметрами; модель содержит 28 слоёв, использует GQA с 16 головами для Q и 8 для KV, а максимальная длина контекста составляет 32 768 токенов. К сильным сторонам относятся небольшой размер, сниженное потребление памяти благодаря 4-bit-квантизации, мультиязычность, режимы рассуждения и эффективная работа в задачах диалога, инструкций, кода и агентского взаимодействия. Ограничения включают меньшую ёмкость по сравнению с крупными моделями, возможное снижение точности из-за квантизации и отсутствие в README подробных результатов бенчмарков, требований к оборудованию и характеристик производительности. Модель распространяется по лицензии Apache-2.0.

duyntnet/Qwen3-4B-imatrix-GGUF — набор квантованных версий языковой модели Qwen3-4B, опубликованный пользователем duyntnet и основанный на модели Qwen/Qwen3-4B. Это каузальная текстовая модель с примерно 4 млрд параметров, включая 3,6 млрд параметров без учёта эмбеддингов, 36 слоями и архитектурой Grouped-Query Attention: 32 головы запросов и 8 голов ключей и значений. Модель предназначена для генерации текста, диалогов, следования инструкциям, написания кода, математических и логических задач, творческого письма, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов. Qwen3-4B поддерживает переключение между режимом рассуждений для сложных задач и нережимом рассуждений для более быстрых ответов в рамках одной модели. Указана поддержка более 100 языков и диалектов, однако для данной карточки в метаданных явно заявлен английский язык. Нативная длина контекста составляет 32 768 токенов, а с использованием YaRN может достигать 131 072 токенов. Формат GGUF и imatrix-квантизация ориентированы на локальный запуск через llama.cpp и совместимые приложения, включая KoboldCPP, Ollama, LM Studio, GPT4All и другие клиенты. Сильными сторонами модели являются сочетание компактного размера, мультиязычности, развитого следования инструкциям, рассуждений и агентских возможностей, а также возможность локального инференса в квантованном формате. Ограничения включают зависимость качества и скорости от выбранного уровня квантизации и оборудования, необходимость совместимого инференс-движка и отсутствие в карточке подробных результатов бенчмарков, требований к ресурсам и точных параметров конкретных квантованных файлов. В метаданных указана лицензия other; дополнительных условий лицензирования в README не приведено.

Mungert/Qwen3.5-122B-A10B-GGUF — это GGUF-квантизированная версия мультимодальной модели Qwen3.5-122B-A10B, разработанной командой Qwen. Репозиторий подготовлен Mungert с использованием llama.cpp и предназначен для локального запуска и эффективного инференса в совместимых инструментах, включая llama.cpp и связанные экосистемы GGUF. Модель представляет собой авторегрессионную языковую модель с vision encoder, поддерживающую обработку текста и изображений. Она рассчитана на рассуждения, программирование, работу с агентами, визуальное понимание и другие универсальные задачи. Заявлена поддержка 201 языка и диалекта. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture of Experts: всего 122 млрд параметров, из которых при генерации активируются около 10 млрд. Модель содержит 48 слоёв и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Ключевое преимущество этой сборки — специальная стратегия квантизации: важные слои вручную переводятся в более высокую точность сверх стандартной конфигурации IMatrix. По заявлению автора, это особенно улучшает точность при низкой разрядности и для MoE-моделей, но увеличивает размер файлов. Фактические характеристики зависят от выбранного GGUF-варианта и аппаратного обеспечения; README не приводит подробностей о конкретных уровнях квантизации, требованиях к памяти или независимых результатах тестирования. Исходная модель распространяется по лицензии Apache-2.0.