I.6Перевод и языковая адаптация

Карточка модели cpral/Bielik-PL-Minitron-7B-v3.0-Instruct-ungated на Hugging Face совпадает с карточкой speakleash/Bielik-PL-Minitron-7B-v3.0-Instruct, поэтому описание составлено по ней. Bielik-PL-Minitron-7B-v3.0-Instruct — генеративная языковая модель SpeakLeash и ACK Cyfronet AGH с архитектурой causal decoder-only и 7,35 млрд параметров. Это дообученная и сжатая версия Bielik-11B-v3-Base-20250730: модель прошла структурное прореживание и дистилляцию, затем настройку на следование инструкциям и выравнивание предпочтений. Для диалога используется шаблон ChatML. Модель предназначена для генерации ответов и выполнения языковых задач на польском и других европейских языках. Она обучалась на корпусе из 32 европейских языков с особым акцентом на польский; README сообщает о сохранении около 90% производительности исходной модели и ускорении вывода до 50% после сжатия. Лицензия Apache 2.0. Модель может выдавать фактически неверные, предвзятые или оскорбительные ответы; встроенных механизмов модерации нет, поэтому результаты следует проверять, а для сценариев с требованиями к модерации нужны внешние меры контроля.

ChatGLM-6B-INT4 — открытая квантованная версия диалоговой языковой модели ChatGLM-6B, разработанной командой THUDM/GLM. Модель основана на архитектуре General Language Model (GLM), оптимизирована для двуязычных китайско-английских вопросов и диалогов и обучалась на китайско-английском корпусе объёмом около 1 трлн токенов с применением监督微调, обучения на обратной связи и обучения с подкреплением на основе человеческих предпочтений. Веса 28 GLM-блоков преобразованы в формат INT4, тогда как Embedding и LM Head не квантизированы. Это снижает требования к памяти: для инференса теоретически достаточно около 6 ГБ видеопамяти или соответствующего объёма оперативной памяти при работе на CPU, что делает возможным локальный запуск на потребительских видеокартах и потенциально на встраиваемых устройствах. В метаданных Hugging Face указано 8,1 млрд параметров; README описывает базовую модель как модель на 6,2 млрд параметров. Модель подходит для локальных чат-ботов, ответов на вопросы, многошагового диалога, генерации текстов и прототипирования двуязычных NLP-приложений. Длина контекста в предоставленных данных не указана. Код распространяется по Apache-2.0, а использование весов регулируется отдельной Model License.

DeepSeek V4 Flash — REAM144 (163B) DS4 Q2 — это чат-модель WaveCut в формате GGUF, созданная на основе DeepSeek-V4-Flash-0731-REAM144-163B. В сборке сохранено 144 из исходных 256 экспертов на слой; модель квантизована до 2 бит для экспертов и 8 бит для attention, с использованием матрицы важности. Файл весит 49,3 ГБ, а автор указывает запуск на Mac с 64 ГБ памяти и контекстом 8 тыс. токенов. Модель предназначена для многоязычного диалога, рассуждений, ответов на вопросы по коду и сценариев с инструментами. По карточке она уверенно справляется с многоязычным чатом, рассуждениями и длинными диалогами, включая русский и переключение между английским и русским. Для запуска нужен DS4 fork с поддержкой переменного числа экспертов; обычный llama.cpp этот файл не загрузит. Квантизация 2 бит может ухудшать качество агентных задач: тесты показали непостоянные сбои при вызове инструментов, рефакторинге кода и цепочках «вызов инструмента — код». Лицензия — MIT.

mlx-community/DeepSeek-V4-Pro-Qwen3.5-9B-4bit — это 4-битная MLX-квантизированная версия модели Jackrong/DeepSeek-V4-Pro-Qwen3.5-9B, подготовленная сообществом mlx-community с использованием mlx-vlm 0.4.4. Модель предназначена прежде всего для запуска на компьютерах Apple Silicon через MLX и сохраняет шаблон диалогов и конфигурацию мультимодального процессора исходной модели. Модель поддерживает текстовые и программные запросы, работу с изображениями и входными данными в видеоформате, а также сценарии tool use и function calling. В карточке она обозначена как MoE-модель семейства Qwen3.5 с размером 9B; языки включают английский, китайский, испанский, русский и японский. Для мультимодальных задач рекомендуется использовать mlx-vlm, а для текстовых и кодовых сценариев возможен соответствующий инструментарий MLX. Ключевое преимущество версии — сниженное потребление памяти благодаря 4-битной affine-квантизации языковых весов при сохранении мультимодальных компонентов для изображений и видео. Ограничения связаны с зависимостью от экосистемы MLX и Apple Silicon, а также с возможной потерей точности из-за квантизации; сведения о контекстном окне, производительности и качестве по отдельным задачам в README не приведены. Лицензия — Apache 2.0, унаследованная от исходной модели.

unsloth/dots.llm1.inst-GGUF — GGUF-версия instruction-tuned модели dots.llm1.inst, разработанной командой rednote-hilab и подготовленной в формате GGUF проектом Unsloth. Это большая разреженная Mixture-of-Experts (MoE) языковая модель для генерации текста и диалоговых сценариев, включая работу в локальных средствах инференса, совместимых с GGUF. Модель предназначена для общения, ответов на вопросы и других задач обработки текста на английском и китайском языках. Модель содержит 142 млрд параметров, из которых при инференсе активируется 14 млрд. Архитектура включает 62 слоя, 32 attention heads, Multi-head Attention с QK-Norm, а также fine-grained MoE с выбором 6 из 128 маршрутизируемых экспертов и двумя общими экспертами. Контекстное окно составляет 32 768 токенов. Instruction-тюнинг выполнен после этапа предварительного обучения; при предварительном обучении использовались высококачественные данные без синтетических токенов. К сильным сторонам относятся сочетание возможностей крупной модели с меньшим числом активных параметров, потенциальная вычислительная эффективность MoE и открытость исходной модели. README не указывает конкретный метод или уровень GGUF-квантизации, поэтому характеристики качества, размера файла и требований к памяти для данной сборки определить нельзя. Для llama.cpp требуется включить параметр --jinja, чтобы корректно обрабатывался системный промпт. Лицензия модели — MIT.

ERNIE-4.5-300B-A47B-2Bits-TP2-Paddle — текстовая MoE-модель семейства ERNIE 4.5 от Baidu для диалогов, понимания языка и генерации текста. В карточке описана конфигурация ERNIE-4.5-300B-A47B с 300 млрд параметров, из которых активируется около 47 млрд на токен; метаданные репозитория указывают 47,1 млрд параметров. Архитектура использует 54 слоя и контекст до 131 072 токенов. Модель обучалась совместно на текстовых и визуальных данных, однако этот вариант обозначен как текстовый, поэтому его основной сценарий — текстовые запросы и ответы. Карточка описывает поддержку английского и китайского языков, а также развёртывание через FastDeploy на PaddlePaddle. Указана лицензия Apache-2.0. В README заявлена эффективная 2-битная квантизация, но метаданные форматов указывают safetensors, а не отдельный формат квантованных весов. Это крупная MoE-модель, для развёртывания которой требуется значительная инфраструктура; конкретные показатели качества и подробные ограничения в карточке не приведены.

Systran подготовила конверсию английской версии Whisper base.en от OpenAI в формат CTranslate2. Модель предназначена для автоматического распознавания речи на английском языке и может использоваться через CTranslate2 и проекты на его основе, включая faster-whisper. Веса сохранены в FP16; при загрузке тип вычислений можно выбрать через параметр compute_type в CTranslate2. Репозиторий распространяется по лицензии MIT. Подробности об исходной модели приведены в карточке OpenAI Whisper base.en.

Модель Zoont/faster-whisper-large-v3-turbo-int8-ct2 — преобразованная версия OpenAI Whisper large-v3-turbo в формате CTranslate2 с 8-битной квантизацией. Она предназначена для распознавания речи и преобразования аудио в текст с использованием faster-whisper; поддерживает мультиязычную обработку, включая русский и английский языки. Репозиторий создан 31 января 2025 года, использует библиотеку CTranslate2 и распространяется по лицензии MIT. Карточка отсылает к исходной модели за подробностями; в ней не приведены отдельные сведения о качестве распознавания или длине контекста.

Systran/faster-whisper-small — конверсия модели openai/whisper-small в формат CTranslate2, опубликованная для использования с CTranslate2 и проектами на его основе, включая faster-whisper. Это модель распознавания речи, которая преобразует аудио в текст и поддерживает распознавание речи на множестве языков, включая русский и английский. Веса сохранены в FP16; при загрузке через CTranslate2 тип вычислений можно выбирать с помощью параметра compute_type. Репозиторий предназначен для эффективного запуска Whisper в совместимых инструментах. Модель распространяется по лицензии MIT.

Gemma 3 4B IT QAT GGUF — квантизированная GGUF-версия инструкционно дообученной модели Gemma 3 с 4 млрд параметров. Модель разработана Google DeepMind, а данный вариант опубликован Unsloth. Она относится к семейству лёгких открытых моделей Gemma и предназначена для локального развёртывания и генерации текста. Модель поддерживает мультимодальный ввод: текст и изображения, при этом генерирует текст. Она подходит для ответов на вопросы, суммаризации, рассуждений и анализа изображений. Для версий 4B заявлено контекстное окно до 128K токенов, изображения нормализуются до 896×896 и кодируются в 256 токенов, максимальный объём генерируемого ответа составляет 8192 токена. Заявлена поддержка более 140 языков, однако в карточке отдельно указан английский язык. К сильным сторонам относятся сравнительно небольшой размер, возможность работы на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре, а также поддержка длинного контекста и изображений. Ограничения конкретного GGUF-файла, включая точный уровень квантизации, требования к памяти и производительность, в README не указаны. Модель распространяется по лицензии Gemma; применимые условия использования определяются соответствующими Terms of Use Google.

Это GGUF-квантизированная версия Mistral-Small-24B-Instruct-2501-abliterated, разработанная huihui-ai и подготовленная квантизатором bartowski. Модель предназначена для генерации текста и работы в формате инструкций, включая диалоговые сценарии, ответы на запросы и другие задачи text-generation. Варианты доступны для запуска через llama.cpp, LM Studio и совместимые проекты. Модель содержит около 24 млрд параметров и распространяется в форматах квантования от Q3 до Q8, а также в полном формате F32. Квантизация выполнена с использованием imatrix; варианты отличаются размером файлов, требованиями к памяти и сохранением качества. В README заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Формат приглашений использует конструкции SYSTEM_PROMPT и INST. К сильным сторонам относятся широкий выбор уровней квантования, возможность локального запуска и высокое качество рекомендуемых вариантов Q5–Q6. Ограничения включают значительные требования к оперативной или видеопамяти для версий высокого качества, а также отсутствие в предоставленных данных сведений о размере контекста, точной архитектуре, мультимодальности и результатах бенчмарков. Обозначение abliterated указывает на изменённую версию исходной instruct-модели, однако конкретные последствия этого изменения в README не описаны. Лицензия — Apache-2.0.

JiRackUltra_14b-i1-GGUF — GGUF-квантизированная версия модели CMSManhattan/JiRackUltra_14b, подготовленная mradermacher. Это текстовая генеративная модель с заявленным размером 14 млрд параметров, связанная с архитектурами Qwen2.5 и DeepSeek и ориентированная на эффективный запуск на CPU и устройствах с ограниченной памятью. В описании также указаны технологии ternary и BitNet 1.58bit. Модель предназначена для генерации текста, работы через web-интерфейсы, маршрутизации запросов, tool calling и робототехнических сценариев. Заявлена поддержка английского, китайского, японского, корейского, французского, испанского, португальского, немецкого, итальянского, русского, арабского, вьетнамского и тайского языков. Поддержка изображений или других модальностей, а также размер контекстного окна в README не указаны. Репозиторий содержит варианты квантизации IQ и Q разных размеров: примерно от 3,7 до 12,2 ГБ. Это позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством, причём для ряда вариантов автор рекомендует IQ-квантизации или i1-Q4_K_M. Ограничениями являются возможное снижение качества у низкобитных вариантов и отсутствие в README результатов бенчмарков, подробного описания обучения и точных характеристик контекста. Указанная лицензия — MIT.

mlx-community/LFM2.5-8B-A1B-MLX-4bit — 4-битная MLX-версия языковой модели LiquidAI LFM2.5-8B-A1B, конвертированная сообществом mlx-community с использованием mlx-lm 0.31.1. Модель предназначена для генерации текста и запуска в экосистеме MLX, в том числе для локального инференса через mlx-lm. Это авторегрессионная модель с архитектурой lfm2_moe: гибрид из 18 блоков double-gated short-conv и 6 блоков внимания GQA, с разреженным MoE на 32 эксперта и активацией 4 экспертов на токен. Она содержит около 8,3 млрд параметров, из которых активно используется около 1,5 млрд, и поддерживает контекст до 128 тысяч токенов. Заявлены языки: английский, арабский, китайский, французский, немецкий, японский, корейский, португальский и испанский. README не содержит сведений о мультимодальных возможностях или результатах бенчмарков. К сильным сторонам относятся разреженная MoE-архитектура, большой контекст и 4-битное представление, потенциально снижающее требования к памяти при запуске в MLX. Ограничения включают зависимость от экосистемы MLX и отсутствие в README подробностей о качестве на конкретных задачах. Модель является производной от LiquidAI LFM2.5-8B-A1B и распространяется по лицензии LFM Open License v1.0 (lfm1.0); применяются условия коммерческого использования этой лицензии.

MuXodious/LFM2.5-VL-3B-absolute-heresy — мультимодальная дообученная версия LFM2.5-VL-3B, созданная с помощью инструмента Heretic и метода abliteration для уменьшения отказов модели. Она принимает текст и изображения и предназначена для визуального диалога, распознавания текста на изображениях, анализа страниц с разметкой макета и обнаружения объектов по текстовому запросу. Модель использует языковую основу LFM2.5-2.6B и визуальный энкодер SigLIP2 NaFlex; контекст составляет 32 768 токенов. Поддерживает 17 языков, включая русский, английский, китайский, арабский, хинди и европейские языки. Базовая модель рассчитана на локальное и периферийное развертывание, а карточка этой версии приводит показатели снижения отказов и низкого KL-расхождения. Подходит для коротких запросов по изображениям, распознавания и структурирования сканированных документов, а также визуального поиска объектов. Разработчик базовой модели рекомендует сценарии с высокой пропускной способностью и малой задержкой; модель не рекомендуется для задач с длинным контекстом и интенсивными рассуждениями. В метаданных указана лицензия other; конкретные условия лицензии следует проверить в репозитории.

MLX-квантованная версия Llama 3.2 3B Instruct, опубликованная сообществом mlx-community на основе модели Meta. Это языковая модель для генерации текста и выполнения инструкций, подходящая для диалоговых систем, ответов на вопросы, создания и преобразования текста и других задач обработки естественного языка. Модель имеет размер 3 миллиарда параметров и представлена в 8-битном формате, что ориентировано на более эффективный запуск по сравнению с полноразмерной версией. Указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель текстовая; сведения о размере контекста и дополнительных модальностях в README не приведены. К сильным сторонам относятся компактный размер, instruction-tuning и возможность использования в экосистеме MLX. Ограничения включают отсутствие заявленных характеристик контекстного окна и результатов бенчмарков, а также возможные ошибки, неточности и ограничения качества при работе с языками и сценариями вне заявленного набора. Модель распространяется по Llama 3.2 Community License от Meta; при использовании и распространении действуют требования лицензии, включая соблюдение Acceptable Use Policy, указание «Built with Llama» и сохранение уведомления об атрибуции.

Llama-3.2-3B-Instruct-bf16 — компактная инструкционная языковая модель семейства Llama 3.2, разработанная Meta и представленная в формате mlx-community. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы, следование инструкциям, создание и преобразование текста. В идентификаторе указано около 3 млрд параметров и формат чисел bfloat16; README также указывает совместимость с Transformers и использование экосистемы MLX. Модель работает с текстом и не заявлена как мультимодальная. Поддерживаемые языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Размер контекста и точные архитектурные характеристики в README не указаны. К сильным сторонам относятся относительно небольшой размер, инструкционная настройка и многоязычная поддержка, что делает модель подходящей для локального запуска и прикладных текстовых задач при наличии совместимого оборудования. При этом в предоставленных данных нет результатов оценивания, сведений о фактическом качестве по языкам, ограничениях безопасности, производительности или рекомендуемых ресурсах, поэтому их нельзя оценить точнее. Модель распространяется по Llama 3.2 Community License от Meta. Лицензия разрешает использование, копирование, модификацию и распространение на установленных условиях, включая соблюдение Acceptable Use Policy, указание «Built with Llama», сохранение лицензионного уведомления и дополнительные требования для продуктов с более чем 700 млн ежемесячных активных пользователей.

Llama-3-Chinese-8B-Instruct-v3 — диалоговая языковая модель семейства Llama, опубликованная HFL. Это инструкционная модель на архитектуре LlamaForCausalLM с 7,5 млрд параметров и контекстом до 8192 токенов. По карточке, она создана на основе объединения трёх моделей: hfl/Llama-3-Chinese-8B-Instruct, hfl/Llama-3-Chinese-8B-Instruct-v2 и meta-llama/Meta-Llama-3-8B-Instruct. Модель предназначена для диалогов, ответов на вопросы и генерации текста. Заявлены китайский и английский языки; поддержка чата указана в метаданных. Репозиторий содержит веса safetensors. Использование регулируется лицензией Apache-2.0 в метаданных; README также требует соблюдать лицензионные условия исходной Meta Llama 3.

Llama 4 Maverick — мультимодальная инструкционная модель Meta на архитектуре авто-регрессионного Mixture-of-Experts с ранним объединением модальностей. Вариант Maverick включает 17 млрд параметров и 128 экспертов; модель работает через библиотеку Transformers и распространяется в формате safetensors. Модель предназначена для диалогового помощника и задач визуального рассуждения: она принимает текст и изображения, распознаёт и описывает содержимое изображений, отвечает на вопросы о них и поддерживает вызов инструментов через соответствующий интерфейс. Поддерживаемые языки: арабский, немецкий, английский, испанский, французский, хинди, индонезийский, итальянский, португальский, тайский, тагальский и вьетнамский. В README указано, что модель проверялась для понимания до пяти входных изображений. Модель подходит для коммерческого и исследовательского применения на условиях пользовательской Llama 4 Community License. Карточка отмечает статичный характер текущего чекпойнта и ограничивает заявленные сценарии поддерживаемыми языками и возможностями; результаты для большего числа изображений требуют отдельной проверки и настройки.

MamayLM-Gemma-3-27B-IT-v2.0 — украински адаптированная мультимодальная языковая модель, разработанная INSAIT на основе Google Gemma 3 27B IT. Это плотная модель архитектуры Gemma 3 с 27 млрд параметров, предназначенная для диалогов, следования инструкциям и понимания изображений вместе с текстом. Карточка описывает улучшенную поддержку украинского языка и культурного контекста, многоходовые беседы и сложные инструкции; также модель поддерживает английский язык. Модель подходит для ответов на вопросы по тексту и изображениям, диалоговых помощников и анализа визуального содержимого с учётом текстового контекста. Данные предобучения охватывают период до мая 2025 года, а инструкционная настройка — до октября 2025 года. Репозиторий содержит веса в формате Safetensors; для работы с изображениями требуется сохранять корректную обработку vision-компонентов. Лицензия — Gemma.

mini-magnum-12b-v1.1 — диалоговая instruct-модель на архитектуре Mistral, обученная alpindale при участии команды, указанной в карточке. Она предназначена для генерации текста в формате беседы и использует шаблон запросов Mistral с маркерами [INST] и [/INST]. Модель содержит 12,1 млрд параметров, распространяется в формате safetensors и рассчитана на контекст до 1 024 000 токенов. В метаданных перечислены английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский языки. Лицензия — Apache-2.0. Карточка описывает формат промптинга и участников обучения, но не приводит подробностей об оценке качества или конкретных специализациях. Поэтому модель уместно рассматривать как универсальную разговорную модель; качество на отдельных языках и задачах следует проверять самостоятельно.

EnlistedGhost/Ministral-3-8B-Instruct-2512-GGUF — это квантизированная версия мультимодальной модели Ministral 3 8B Instruct 2512 BF16, разработанной Mistral AI и преобразованной в формат GGUF пользователем EnlistedGhost с помощью llama.cpp. Модель предназначена для диалогов, выполнения инструкций и задач image-text-to-text с поддержкой текста и изображений. Указаны языки: английский, французский, испанский, немецкий, итальянский, португальский, нидерландский, китайский, японский, корейский и арабский. Доступны варианты квантования от Q2_K_L до Q8_0_L, а также F16 и мультимодальные vision-проекторы в форматах F16 и F32. Модель ориентирована на локальный запуск и совместима с llama.cpp, Ollama и Yollama. Семейство Ministral 3 разработано для edge-развёртывания; исходная версия 8B, по данным README, может работать примерно в пределах 32 ГБ VRAM в BF16 и менее 24 ГБ RAM или VRAM в квантизированном виде. К сильным сторонам относятся компактный размер, поддержка мультимодального ввода и широкий выбор квантованных вариантов, однако качество и требования к ресурсам зависят от выбранного варианта. Лицензия — Apache-2.0.

MaziyarPanahi/Mixtral-8x22B-v0.1-GGUF — это квантованная версия базовой языковой модели Mixtral-8x22B-v0.1, разработанной Mistral AI и преобразованной в формат GGUF пользователем MaziyarPanahi. Модель предназначена для генерации текста и может использоваться в локальных сценариях инференса, включая работу через llama.cpp. Базовая модель допускает дообучение. Модель использует разреженную архитектуру Mixture of Experts (MoE): заявлено 176 млрд параметров, из которых около 35 млрд активны при обработке токена; в другом описании также указано 141 млрд параметров MoE. Заявленная длина контекста составляет до 65 тысяч токенов. Доступны варианты квантования от 2 до 8 бит, а также 16-битный вариант, что позволяет выбирать между требованиями к памяти и качеством. Указана поддержка английского, французского, испанского, итальянского и немецкого языков. Сильной стороной модели являются большой контекст, высокая емкость MoE-архитектуры и возможность локального запуска в квантованных вариантах: для FP16 требуется около 260 ГБ видеопамяти, для INT4 — около 73 ГБ. Ограничения включают значительные аппаратные требования даже при квантовании, а также отсутствие в README подробных результатов оценки качества и гарантии одинаковых характеристик для всех вариантов квантования. Модель распространяется по лицензии Apache 2.0.

mlx-community/Mixtral-8x7B-v0.1-hf-4bit-mlx — 4-битная конверсия модели Mixtral 8x7B от сообщества mlx-community для запуска на MLX. В основе лежит mistralai/Mixtral-8x7B-v0.1; архитектура — языковая модель с разреженной смесью экспертов (MoE), предназначенная для генерации текста. Модель поддерживает контекст длиной до 32 768 токенов и распространяется по лицензии Apache-2.0. Её можно использовать для диалогов, генерации и продолжения текста. Метаданные карточки указывают английский, французский, итальянский, немецкий и испанский языки. README сообщает о конверсии в формат MLX и 4-битном представлении; опубликованные метаданные перечисляют файлы safetensors. Ограничения и дополнительные характеристики исходной модели следует сверять с её карточкой.

NB-Whisper Large — модель распознавания речи от NB AI-Lab Национальной библиотеки Норвегии, дообученная на основе openai/whisper-large. Модель семейства Whisper содержит около 905 млн параметров и предназначена для транскрибации речи; семейство также поддерживает перевод речи. Для обучения серии NB-Whisper использовали 8 млн аудиофрагментов общей длительностью около 66 000 часов, включая датасеты NbAiLab/ncc_speech, NbAiLab/NST и NbAiLab/NPSC. Модель ориентирована прежде всего на норвежский язык, включая букмол и нюношк, а также поддерживает английский. Она принимает аудио и генерирует текст; длинные записи можно обрабатывать сегментами, а Transformers позволяет получать временные метки слов и предложений. Для Large рекомендуется GPU; в README указано, что это релиз-кандидат, поэтому качество и стабильность могут измениться. Лицензия — Apache 2.0.

NB-Whisper Small — модель распознавания речи семейства Whisper, разработанная NB AI-Lab Национальной библиотекой Норвегии и дообученная на основе openai/whisper-small. Она предназначена прежде всего для транскрибирования норвежской речи, включая букмол и нюношк, а также поддерживает английский язык. Модель содержит 153,1 млн параметров и работает с аудио; для использования доступны реализации в форматах PyTorch, Safetensors, ONNX и Flax. Модель обучалась на 66 тысячах часов аудиозаписей и рассчитана на автоматическое преобразование речи в текст. Её можно запускать локально через Transformers; версия Small оптимизирована для работы на CPU. Для длинных записей README рекомендует обрабатывать аудио фрагментами, а увеличение beam size может повысить точность ценой скорости и памяти. Модель выпущена как кандидат на релиз, поэтому результаты и готовность следует оценивать с учётом её предварительного статуса. Лицензия — Apache 2.0. Распознавание может содержать ошибки и предвзятости; для длинного аудио нужны подходящие настройки разбиения на фрагменты. В README также описан перевод речи на английский, но основной pipeline-тег модели — распознавание речи.

6block/Nex-N2.5-Pro-GGUF — это GGUF-квантизации мультимодальной модели Nex-N2.5-Pro, разработанной nex-agi и преобразованной в формат GGUF с помощью llama.cpp командой 6block. Модель предназначена для генерации и анализа текста, а также для задач понимания изображений при использовании отдельного vision-проектора mmproj. Заявлены поддерживаемые языки английский и китайский. Модель имеет 397 млрд параметров, 60 слоёв в гибридной архитектуре: 45 слоёв Gated DeltaNet с линейным вниманием и 15 полноценных attention-слоёв с GQA. Это MoE-модель: каждый токен направляется к 10 из 512 экспертов и общему эксперту. Контекст составляет 262 144 токена, словарь — 248 320 токенов. Vision-энкодер содержит 27 слоёв, принимает изображения размером до 768 пикселей и использует патчи 16 пикселей. Поддерживаются адаптивный режим рассуждений и его отключение. Доступны варианты IQ4_XS, Q2_K и IQ2_XS размером примерно 200,1, 138,9 и 113,2 ГиБ соответственно, каждый в 19 сегментах. IQ4_XS наиболее близок к исходной BF16-версии по заявленным метрикам, Q2_K позиционируется как сбалансированный вариант для CPU, а IQ2_XS предназначен для систем с жёсткими ограничениями по памяти. Основные ограничения — очень большой размер, необходимость загрузить все сегменты, наличие совместимой сборки llama.cpp с поддержкой Qwen3.5-MoE и отдельного vision-проектора для работы с изображениями. Для изображений рекомендуется выделять не менее 1024 image tokens. Модель распространяется по лицензии Apache-2.0. Для запуска требуется llama.cpp; параметры и возможности использования изображений зависят от соответствующих инструментов и шаблона чата модели.

thesven/Phi-3.5-mini-instruct-awq — это сторонняя AWQ-квантизованная версия Microsoft Phi-3.5-mini-instruct, опубликованная пользователем thesven. Базовая модель разработана Microsoft и предназначена для генерации текста, диалогов, следования инструкциям, рассуждений и задач NLP, включая многоязычные сценарии. Репозиторий содержит 4-битные веса в формате Safetensors с AWQ и требует custom code для архитектуры Phi-3. Модель имеет около 4 млрд параметров, архитектуру decoder-only causal language model Phi3ForCausalLM, 32 слоя, 32 attention heads и заявленный контекст до 128K токенов. Это текстовая, а не мультимодальная модель; в карточке базовой модели заявлена многоязычная поддержка, включая английский, немецкий, испанский, французский, японский, русский, тайский и китайский. Квантизация уменьшает размер репозитория примерно до 2,28 ГБ и предназначена для более компактного локального запуска, однако для самой AWQ-версии отдельные результаты качества и подробные ограничения не опубликованы. Лицензия и условия использования у репозитория thesven явно не указаны. Для базовой Microsoft Phi-3.5-mini-instruct указана лицензия MIT. Поэтому при использовании квантизованной версии следует отдельно проверить права на распространение самой производной сборки и учитывать ограничения базовой модели, включая возможные пробелы многоязычного качества и необходимость тестирования в конкретном приложении.

Qwen3-4B-Instruct-2507-GGUF — квантизированная версия языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях, включая диалоговые сценарии, ответы на вопросы, подготовку и преобразование текстов, а также другие задачи общего назначения. Вариант распространяется в формате GGUF и создан bartowski на основе llama.cpp release b6096; LM Studio выступает площадкой распространения, а не разработчиком модели. Модель содержит 4 миллиарда параметров и относится к текстовым autoregressive-моделям для text generation. Формат GGUF и поддержка llama.cpp упрощают локальный запуск и позволяют использовать её в совместимых инструментах, однако конкретные уровни квантования, размер контекста, поддерживаемые языки и дополнительные характеристики в README не указаны. К преимуществам относятся относительно компактный размер и возможность локального использования; ограничения включают возможное снижение точности из-за квантования, меньшие возможности по сравнению с более крупными моделями и типичные риски генерации неточной или неподходящей информации. Лицензия в предоставленных данных не указана.

Qwen3.5-0.8B-MTP-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-0.8B, разработанной командой Qwen компании Alibaba и представленной пользователем prithivMLmods. Модель предназначена для локального понимания и генерации текста и изображений, включая лёгкое OCR, разбор документов, визуальные вопросы и ответы, многоязычные чат-боты и базовые задачи программирования. Поддерживаются интеграции с Ollama, vLLM и llama.cpp, что позволяет использовать модель без облачных зависимостей, в том числе на маломощных устройствах и встраиваемых системах. Модель содержит около 0,8 млрд параметров и использует плотную мультимодальную архитектуру с комбинацией Gated DeltaNet и разреженного MoE, 24 слоями, скрытым размером 1024 и словарём из 248 тысяч токенов. Заявлена поддержка 201 языка, работа с текстом и изображениями, нативное контекстное окно 262 тысячи токенов и возможность расширения свыше 1 млн токенов с помощью YaRN. Формат MTP добавляет несколько выходных головок для предсказания будущих токенов и ускорения локального вывода без отдельной draft-модели. К сильным сторонам относятся компактность, низкие требования к памяти, мультимодальность, широкий контекст и варианты квантования размером примерно от 430 МБ до 834 МБ; для BF16 заявлено около 1,6 ГБ VRAM. Ограничения включают малый размер модели, поэтому её возможности могут быть недостаточны для сложного программирования, глубокого анализа и требовательных генеративных сценариев. Модель распространяется по лицензии Apache 2.0.

voodooquant/Qwen3.5-0.8B-MTP-Voodoo — это квантизированная GGUF-версия базовой модели Qwen3.5-0.8B-Base, разработанная Voodoo Quant на основе модели Qwen от Alibaba Cloud. Веса не дообучались, архитектура исходной модели не изменялась; контрольные точки предназначены для запуска в неизменённом Llama.cpp и совместимы с экосистемой GGUF. Лицензия — Apache-2.0. Модель представляет собой каузальную языковую модель с vision encoder для мультимодальных задач, включая работу с текстом и изображениями, рассуждение, программирование, визуальное понимание и агентские сценарии. Она поддерживает 201 язык и диалект, а её нативная длина контекста составляет 262 144 токена. В README также указаны поддержка multi-step training (MTP), а также рекомендации использовать модель для прототипирования, исследовательских задач и специализированного дообучения. Размер модели — 0,8 млрд параметров. Архитектура сочетает Gated Delta Networks, Gated Attention и sparse Mixture-of-Experts; модель содержит 24 слоя, скрытое измерение 1024 и контекст до 262 144 токенов. Квантизация Voodoo Quant выбирает уровень сжатия отдельно для разных тензоров, чтобы снизить размер и сохранить качество; заявлено уменьшение perplexity до 89% относительно соответствующего уровня сравнения. Ограничения включают небольшой параметрический масштаб, возможные потери качества из-за квантизации и отсутствие в предоставленных данных подробных результатов бенчмарков или характеристик отдельных вариантов GGUF.