I.2Синтез, понимание и проверка знаний

Granite-4.2-3B (MXFP4) — квантизированная версия Granite-4.2-3B, разработанная командой Granite компании IBM. Это компактная авторегрессионная языковая модель для генерации текста, рассуждений, программирования, вызова инструментов, агентских рабочих процессов и многоязычного диалога. Базовая модель имеет архитектуру decoder-only Dense Transformer с 3 млрд параметров, Grouped Query Attention, 40 attention heads и 8 KV heads, RoPE, SwiGLU и RMSNorm. Она поддерживает текстовую модальность, встроенный режим рассуждений с тегами <think>...</think>, режимы полного, отключённого и облегчённого рассуждения, а также контекст длиной 128K токенов с заявленным расширением до 512K. Тестирование проводилось для английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков; работа с другими языками полностью не проверялась. Сильные стороны модели — компактный размер, поддержка длинного контекста, reasoning, tool calling и сценариев автоматизации, а также возможность выбирать баланс между качеством рассуждений и задержкой. MXFP4 уменьшает требования к хранению и инференсу по сравнению с полноформатной версией, но конкретные аппаратные требования и влияние квантизации на качество зависят от среды. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое и исследовательское использование.

Granite-4.2-3B (NVFP4) — компактная языковая модель семейства Granite, разработанная командой Granite компании IBM. Это NVFP4-квантизованная версия Granite-4.2-3B, предназначенная для генерации текста, диалога, рассуждений, написания кода, вызова инструментов и агентных рабочих процессов. Модель построена как плотный decoder-only Transformer с архитектурой GraniteForCausalLM и содержит около 3 млрд параметров. Она поддерживает встроенный режим рассуждений с тегами <think>...</think>, а также режимы полного, отключённого и облегчённого рассуждения. Архитектура использует Grouped Query Attention, 40 attention heads, 8 KV heads, RoPE, SwiGLU и RMSNorm. Нативная длина контекста составляет 128K токенов, заявлено расширение до 512K. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель работает с текстом; мультимодальность не заявлена. Сильные стороны модели — небольшие размеры, поддержка длинного контекста, reasoning, генерации кода, tool calling и многоязычного диалога, что упрощает локальное и ресурсно-ограниченное развертывание. Ограничения включают более слабую и вариативную производительность на языках, отличных от английского, а также возможность неточных, предвзятых или небезопасных ответов; результаты NVFP4-квантизации могут отличаться от полноточной версии. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое и исследовательское использование.

Hermes 4 14B — плотная языковая модель Nous Research на архитектуре Qwen3, дообученная на базе Qwen/Qwen3-14B. Она предназначена для диалогов и выполнения инструкций, включая задачи рассуждения, математики, программирования, STEM, логики, творческого письма и генерации ответов в заданном формате. Модель поддерживает гибридный режим рассуждений, следование схемам и вывод JSON, а также вызов инструментов при соответствующей настройке шаблона ChatML. Размер модели — 14 млрд параметров, длина контекста — 40 960 токенов; основным указанным языком карточки является английский. Модель распространяется под лицензией Apache-2.0. Для работы следует использовать формат ChatML; качество ответов и вызова инструментов зависит от корректной настройки шаблона и инференсного окружения. Заявления README о сравнительных результатах и улучшениях основаны на описании разработчика и не являются независимой оценкой.

JiRack Ultra 32B — плотная причинная языковая модель на 32 млрд параметров, разработанная CMSManhattan на основе архитектуры DeepSeek R1-32B и переработанная с поддержкой BitNet-подобных троичных весов. Модель предназначена для генерации текста и диалогов, запуска на CPU, использования в RAG-системах, программировании и агентных сценариях с вызовом инструментов. В README также заявлены токены для маршрутизации, мультимедиа, зрения, звука и робототехники, однако метаданные подтверждают только текстовую генерацию и чат. Контекстное окно составляет 131 072 токена. В репозитории представлены веса safetensors и варианты GGUF, включая Q2_K, Q3_K_M, Q4_K_M, Q5_K_M, Q6_K и Q8_0; доступное качество и требования к памяти зависят от квантования. В карточке указана поддержка английского, китайского, японского, корейского, французского, испанского, португальского, немецкого, итальянского, русского, арабского, вьетнамского и тайского языков. Заявлена лицензия MIT на веса; Docker-образ, интерфейс и готовые Ollama-квантизации могут распространяться на отдельных коммерческих условиях. Модель рассчитана на локальное или облачное развертывание, в том числе на CPU; для Q4_K_M рекомендуется не менее 24 ГБ оперативной памяти, а для полной точности — от 64 ГБ. README содержит заявления о высокой эффективности и расширенных возможностях инструментального взаимодействия, но не приводит сравнительных оценок качества; наличие специальных токенов само по себе не подтверждает полноценную обработку изображений, аудио или робототехнических действий.

JoyAI-LLM Flash-Base — базовая языковая модель семейства JoyAI-LLM Flash, представленная в карточке модели как разработанная для высокопроизводительных приложений с низкой задержкой и стоимостью запросов. Это плотная архитектура DeepseekV3ForCausalLM по метаданным; README описывает модель как смесь экспертов (MoE) с 48 млрд параметров всего и 3 млрд активируемых параметров, тогда как метаданные указывают общий размер 2,7 млрд параметров. Модель предназначена для генерации текста, рассуждений, работы со знаниями и кодом, а также сценариев с использованием инструментов и автономным решением задач. README сообщает об обучении с оптимизатором Muon и о варианте с MTP, который, по заявлению авторов, повышает пропускную способность в 1,3–1,7 раза относительно версии без MTP. Поддерживаемые языки по тегам карточки — китайский и английский; контекстное окно составляет 131 072 токена. В репозитории указаны веса safetensors. Лицензия в предоставленных данных не указана.

K2-Horizon-MoVA-36B-A4B-oQ4e — это MLX-конверсия и 4-битная смешанно-точная квантизированная версия модели IFM/K2-Horizon-MoVA-36B-A4B, разработанной командой IFM. Модель предназначена для генерации текста, рассуждений, ответов на научные вопросы, программирования, извлечения информации, структурированного вывода и агентских сценариев с вызовом инструментов и использованием терминала. Архитектура модели основана на разреженной Mixture-of-Experts и механизме внимания Mixture-of-Values (MoVA). Всего модель содержит 36 млрд параметров, из которых при обработке активны около 4 млрд. Заявлена поддержка контекста до 512 тысяч токенов. Это reasoning-модель; для наилучших результатов рекомендуется использовать высокий уровень усилий рассуждения. Данные о поддерживаемых языках и мультимодальных возможностях в README не указаны, поэтому модель следует рассматривать как текстовую. Сильными сторонами являются качество рассуждений, структурированный вывод, надёжность вызова инструментов и применение в локальных агентских конвейерах. По приведённым сравнениям модель превосходит Qwen 3.6 35B A3B в большинстве тестов, но уступает ему по скорости генерации: производительность ограничена большим общим размером модели, несмотря на небольшое число активных параметров. Для запуска требуется MLX-совместимая среда; при использовании oMLX необходима версия 0.6.4 или новее с патчем поддержки K2-Horizon. Модель распространяется по лицензии Apache-2.0, как и исходная модель.

Kanana 1.5 8B Instruct — разговорная языковая модель компании Kakao, представленная в мае 2025 года. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, предназначенная для генерации текста и диалогов; доступны веса в формате SafeTensors, библиотека — Transformers. Модель обучена с уточнённой постобработкой и поддерживает интерфейс вызова инструментов. Модель рассчитана на сложные диалоговые задачи, включая программирование, математику и вызов функций. Нативная длина контекста — 32 768 токенов; с настройкой YaRN в конфигурации можно обрабатывать последовательности до 128 тыс. токенов. Карточка указывает английский и корейский языки. По заявлению разработчика, пользовательские данные Kakao не входили в данные предобучения и постобучения. Модель распространяется по лицензии Apache 2.0. Качество ответов может варьироваться в зависимости от задачи; контекст длиннее 32 768 токенов требует настройки YaRN.

insraq/LFM2.5-2.6B-heretic — созданная с помощью Heretic v1.4.0 декензурированная версия языковой модели LiquidAI LFM2.5-2.6B. Это плотная гибридная текстовая модель семейства LFM2 для генерации текста и диалогов, содержащая 2,6 млрд параметров и рассчитанная на контекст до 128 000 токенов. По карточке исходная LFM2.5 обучена для локального и периферийного развёртывания, поддерживает многоязычный ввод и вывод, следование инструкциям и работу с инструментами. Модель подходит для агентных сценариев, вызова инструментов, извлечения данных, RAG и работы с длинным контекстом. В тесте из карточки версия Heretic дала 3 отказа из 100 против 95 из 100 у исходной модели; это указывает на снижение склонности к отказам, но не гарантирует корректность или безопасность ответов. Карточка не приводит отдельную лицензию этой производной модели; метаданные указывают лицензию «other».

QuantFactory/Llama-3.1-Nemotron-Nano-8B-v1-GGUF — квантизированная версия Llama-3.1-Nemotron-Nano-8B-v1, созданная QuantFactory с использованием llama.cpp на основе модели NVIDIA. Это текстовая reasoning- и chat-модель для генерации текста, решения математических и программных задач, рассуждений, instruction following, RAG, tool calling, чат-ботов и AI-агентов. Модель предназначена для локального использования и помещается на одной RTX GPU. Архитектура — плотный decoder-only Transformer семейства Llama 3.1, размер — 8B параметров. Модель работает только с текстом, поддерживает контекст до 131 072 токенов и генерирует текст. Основной язык — английский, также заявлена поддержка немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков, а также языков программирования. Reasoning mode управляется системным промптом; для режима рассуждений рекомендуются temperature 0.6 и top_p 0.95, для обычного режима — greedy decoding. Сильные стороны модели — сочетание качества рассуждений, поддержки чата, RAG и вызова инструментов с умеренными требованиями к вычислительным ресурсам и возможностью локального запуска. Ограничения включают текстовую модальность, зависимость поведения от правильной настройки reasoning mode и возможные особенности качества, связанные с квантизацией GGUF; конкретный уровень квантизации в README не указан. Использование регулируется NVIDIA Open Model License; также указана дополнительная Llama 3.1 Community License Agreement. Модель заявлена как пригодная для коммерческого использования.

Ministral-3-Instruct-2512-AIO-GGUF — набор квантованных моделей в формате GGUF, опубликованный prithivMLmods на основе семейства Ministral 3 Instruct от Mistral AI. В набор входят варианты на 3B, 8B и 14B параметров, совместимые с llama.cpp и интеграциями через Transformers. Модели предназначены для локального и эффективного запуска на устройствах с ограниченными ресурсами. Это мультимодальные vision-language модели для работы с текстом и изображениями. Они поддерживают анализ изображений, генерацию описаний, понимание документов, извлечение данных, перевод, краткую генерацию контента и агентские сценарии с function calling и JSON-выводом. Заявлено контекстное окно до 256K токенов и поддержка английского, французского, испанского, немецкого, итальянского, португальского, нидерландского, китайского, японского, корейского и арабского языков. Архитектура включает языковую модель и vision encoder примерно на 0,4B параметров. Сильные стороны набора — разнообразие размеров и уровней квантования, поддержка мультимодальных задач, многоязычность, следование системным инструкциям и возможность локального развертывания. Компромиссом квантованных вариантов могут быть снижение точности и качества по сравнению с полноразмерными версиями; требования к памяти зависят от размера модели и выбранного формата. Доступ предоставляется по лицензии Apache 2.0.

Это FP8-квантизированная версия инструкционной модели Mistral-Large-Instruct-2407, подготовленная Alpindale на основе Mistral AI. Модель относится к плотной архитектуре MistralForCausalLM и содержит 122,2 млрд параметров; веса, активации и KV-кэш представлены в FP8. Репозиторий содержит веса в формате safetensors. Модель предназначена для диалоговой генерации текста и запуска через vLLM или Aphrodite Engine. Контекстное окно составляет до 131 072 токенов. Метаданные указывают поддержку английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков, а также интерфейс для вызова инструментов. Квантизация уменьшает требования к памяти и вычислениям по сравнению с полной точностью, сохраняя возможности базовой инструкционной модели для диалога, рассуждений и программирования. FP8 требует совместимого оборудования и программного стека; квантизация может повлиять на точность. Лицензия указана как other, поэтому перед использованием следует проверить условия в карточке модели и лицензии базовой модели.

stelterlab/Mistral-Small-3.2-24B-Instruct-2506-FP8 — экспериментальная FP8 W8A8-квантизированная версия Mistral-Small-3.2-24B-Instruct-2506, разработанная stelterlab с использованием llm-compressor. Базовая модель создана Mistral AI. Формат FP8 предназначен для запуска модели с меньшими требованиями к памяти и вычислительным ресурсам при сохранении основных возможностей исходной модели. Модель рассчитана на выполнение инструкций, диалоговые сценарии, генерацию текста, решение задач STEM, программирование, работу с изображениями и вызов функций. Она поддерживает текстово-изобразительный ввод и заявлена для английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. По сравнению с версией 3.1 улучшены следование точным инструкциям, устойчивость к бесконечным повторениям и function calling; для сервинга рекомендуется vLLM. К ограничениям относятся экспериментальный статус FP8-квантизации и отсутствие в предоставленных данных сведений о точном размере контекста и детальной архитектуре. Качество может немного отличаться от полной версии модели, а по отдельным vision-бенчмаркам зафиксировано небольшое снижение результатов. Модель распространяется по лицензии Apache-2.0.

Карточка модели Darth-Coder/my-model3-8b-it на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

Nemotron-3-Nano-30B-A3B-FP8 — языковая модель NVIDIA для диалогов, рассуждений и типовых задач по инструкциям. Репозиторий unsloth содержит производную FP8-версию базовой модели nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16; веса представлены в формате safetensors. Модель предназначена для разработчиков чат-ботов, RAG-систем и агентных приложений, а также для решения задач общего назначения и программирования. Архитектура сочетает Mamba-2, Transformer и Mixture-of-Experts: 30 млрд параметров всего, из них 3,5 млрд активны на токен. Модель поддерживает английский, немецкий, испанский, французский, итальянский и японский языки. Контекст в конфигурации по умолчанию — 256 тыс. токенов; README заявляет возможность работы с контекстом до 1 млн токенов при соответствующих ресурсах. Доступен режим с рассуждениями и без их вывода; поддерживается интерфейс вызова инструментов. Модель рассчитана на коммерческое применение. Метаданные указывают лицензию «other», поэтому перед использованием следует проверить условия лицензии в карточке репозитория. Для работы с длинным контекстом нужны значительные ресурсы GPU; отключение режима рассуждений может немного снизить точность на сложных задачах.

Карточка модели Arsh9210/Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16 на Hugging Face совпадает с карточкой lactroiii/Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16, поэтому описание составлено по ней. NVIDIA Nemotron 3 Nano Omni — мультимодальная большая языковая модель семейства Nemotron, разработанная NVIDIA и дополнительно обученная на базе нескольких моделей, включая Qwen3-VL-30B-A3B-Instruct, Qwen3.5-122B-A10B, Qwen3.5-397B-A17B, Qwen2.5-VL-72B-Instruct и gpt-oss-120b. Репозиторий содержит веса в формате safetensors для Transformers; модель поддерживает чат и интерфейс вызова инструментов. В README рекомендуют начинать с контекста 131072 токена при развертывании на Spark. Модель предназначена для корпоративного мультимодального анализа видео, аудио, изображений и текста: ответов на вопросы, суммаризации, транскрибирования речи, OCR и анализа документов, а также понимания GUI. Примеры применения — поиск и краткое изложение видео, проверка заказов по видеозаписям, анализ договоров и финансовых документов, автоматизация браузера и почты. Ключевые ограничения и характеристики, включая точное число параметров и перечень поддерживаемых естественных языков, в предоставленных данных не раскрыты. Модель доступна для коммерческого использования; метаданные указывают лицензию other, поэтому перед внедрением следует свериться с условиями лицензии в карточке репозитория.

Карточка модели LimitlessMindd/Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16 на Hugging Face совпадает с карточкой lactroiii/Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16, поэтому описание составлено по ней. NVIDIA Nemotron 3 Nano Omni — мультимодальная большая языковая модель семейства Nemotron, разработанная NVIDIA и дополнительно обученная на базе нескольких моделей, включая Qwen3-VL-30B-A3B-Instruct, Qwen3.5-122B-A10B, Qwen3.5-397B-A17B, Qwen2.5-VL-72B-Instruct и gpt-oss-120b. Репозиторий содержит веса в формате safetensors для Transformers; модель поддерживает чат и интерфейс вызова инструментов. В README рекомендуют начинать с контекста 131072 токена при развертывании на Spark. Модель предназначена для корпоративного мультимодального анализа видео, аудио, изображений и текста: ответов на вопросы, суммаризации, транскрибирования речи, OCR и анализа документов, а также понимания GUI. Примеры применения — поиск и краткое изложение видео, проверка заказов по видеозаписям, анализ договоров и финансовых документов, автоматизация браузера и почты. Ключевые ограничения и характеристики, включая точное число параметров и перечень поддерживаемых естественных языков, в предоставленных данных не раскрыты. Модель доступна для коммерческого использования; метаданные указывают лицензию other, поэтому перед внедрением следует свериться с условиями лицензии в карточке репозитория.

Nemotron-H-4B-Instruct-128K — языковая модель NVIDIA для диалогов, следования инструкциям и вызова инструментов. Она дообучена на базе nvidia/Nemotron-H-4B-Base-8K и сочетает архитектуру Nemotron-Hybrid с преимущественно слоями Mamba-2 и MLP и четырьмя слоями Attention. Модель содержит 4 млрд параметров и поддерживает контекст до 128 тысяч токенов. Модель предназначена для одно- и многоходового общения, генерации кода и ответов на математические и научные запросы. Она поддерживает английский, немецкий, испанский, французский, итальянский, корейский, португальский, русский, японский и китайский языки. Для запуска NVIDIA указывает NeMo 24.12, Linux и ускорители H100 80 ГБ или A100; модель рассчитана на системы с GPU NVIDIA. Модель прошла несколько этапов дообучения для математики, программирования, естественных наук, чата, инструкций и вызова инструментов, а также предпочтительную настройку. Данные предварительного обучения актуальны по сентябрь 2024 года. NVIDIA позиционирует модель для исследований и разработок; лицензия указана как other, поэтому конкретные условия использования следует уточнить на странице модели.

Это конвертированная для MLX и Apple Silicon версия NVIDIA Nemotron 3.5 Lightning 30B-A3B-NVFP4. Её подготовил автор репозитория Sawfwair на основе официального чекпойнта NVIDIA; это детерминированная конверсия, а не оригинальная раскладка TensorRT-LLM или vLLM. Модель предназначена для диалогов, рассуждений, следования инструкциям и генерации кода, а также для чат-ботов, RAG-систем и агентных приложений. Архитектура — гибридная MoE с чередованием слоёв Mamba-2 и MoE, отдельными слоями Attention и компонентами Multi-Token Prediction. В официальной карточке указано 30 млрд параметров, из которых активно около 3 млрд; репозиторные метаданные для этого артефакта указывают 1,9 млрд параметров. Контекст модели достигает 1 048 576 токенов. Она принимает текст и генерирует текст; заявлена поддержка английского, испанского, французского, немецкого, итальянского и японского языков, а также задач программирования. Вариант MLX рассчитан на запуск на Apple Silicon. README характеризует исходную модель как пригодную для коммерческого использования, но метаданные этой конверсии указывают лицензию «other»; перед коммерческим внедрением следует проверить условия исходной модели и артефакта. Показатели тестов в README измерены NVIDIA для официального NVFP4-чекпойнта и не являются отдельной оценкой этой конверсии.

Это текстовая модель-чат Ishowbackup/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16-heretic на базе NVIDIA Nemotron-3-Nano-30B-A3B-BF16. Репозиторий представляет версию с abliteration: в карточке указаны параметры изменения слоёв и снижение доли отказов с 99 из 100 у исходной модели до 6 из 100. Архитектура семейства Nemotron-H использует сочетание Mamba-2, MoE и attention; карточка описывает исходную модель как имеющую 30 млрд параметров, из которых активны 3,5 млрд на токен. Метаданные каталога указывают 1,9 млрд параметров, поэтому размер этой версии по источникам расходится. Модель предназначена для диалогов, следования инструкциям, рассуждений, программирования и создания агентных приложений, включая чат-боты и RAG-системы. Поддерживает английский, испанский, французский, немецкий, итальянский и японский языки, интерфейс вызова инструментов и контекст 262 144 токена в конфигурации; README также сообщает о возможности увеличить контекст до 1 млн токенов. Исходная модель разработана NVIDIA, а карточка этой версии сообщает об улучшении с использованием Qwen. В README модель названа пригодной для коммерческого использования, однако метаданные указывают лицензию «other», поэтому перед внедрением следует проверить условия лицензии конкретного репозитория. Снижение числа отказов означает, что модель может чаще отвечать на запросы, которые исходная версия отклоняет; результаты измерения отказов приведены на выборке из 100 запросов и не гарантируют поведение во всех сценариях.

NVIDIA Nemotron Nano 9B v2 — языковая модель NVIDIA для диалогов, следования инструкциям и задач с рассуждением. Она генерирует текстовый ответ и позволяет управлять режимом и бюджетом рассуждения. Архитектура Nemotron-Hybrid сочетает Mamba-2 и MLP-блоки с четырьмя слоями Attention; заявленная длина контекста — до 128 тыс. токенов. Модель рассчитана на чат-боты, RAG-системы и агентные приложения, а также на программирование и типовые задачи по инструкциям. Модель поддерживает английский, немецкий, испанский, французский, итальянский и японский; в README также перечислены русский, корейский, португальский и китайский. Она принимает и выдаёт текст. В карточке указана коммерческая применимость, но метаданные обозначают лицензию как other, поэтому точные условия следует проверять в файлах лицензии репозитория. Для корректного вывода при запуске через vLLM README рекомендует тип кэша Mamba SSM float32; без него качество может снижаться.

NVIDIA-Nemotron-Nano-9B-v2-FP8 — языковая модель NVIDIA для диалогов, следования инструкциям и задач с рассуждением. Это FP8-квантизированная версия NVIDIA-Nemotron-Nano-9B-v2; гибридная архитектура Nemotron-H сочетает слои Mamba-2 и MLP с четырьмя слоями внимания. В FP8 переведены слои Mamba и MLP, а слои внимания и компоненты Conv1d сохранены в BF16. Метаданные указывают 15,1 млрд параметров и контекст до 131 072 токенов. Модель принимает и генерирует текст, поддерживает чат и интерфейс вызова инструментов. Режим рассуждения можно включать или отключать через системный промпт; она подходит для чат-ботов, AI-агентов, RAG-систем, программирования и типовых задач по инструкциям. Основные языки по карточке — английский, немецкий, испанский, французский, итальянский и японский; README также перечисляет корейский, португальский, русский и китайский как поддерживаемые во входных данных. Доступна коммерческая эксплуатация; в метаданных лицензия обозначена как other. Для инференса указана оптимизация под GPU NVIDIA; README предупреждает, что в vLLM точность может снизиться без параметра mamba_ssm_cache_dtype float32.

unsloth/Qwen2.5-14B-bnb-4bit — 4-битная версия базовой языковой модели Qwen2.5-14B, подготовленная Unsloth на основе Qwen/Qwen2.5-14B, разработанной командой Qwen. Модель предназначена для задач генерации и продолжения текста, а также для последующего дообучения, включая SFT, RLHF и continued pretraining. Для диалоговых сценариев базовую модель использовать не рекомендуется без дополнительного постобучения. Это авторегрессионная текстовая модель с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm и смещениями в QKV-внимании. Она содержит 14,7 млрд параметров, из которых 13,1 млрд не относятся к эмбеддингам, включает 48 слоёв и использует GQA с 40 головами для Q и 8 для KV. Контекстное окно составляет 131 072 токена. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Модель ориентирована только на работу с текстом; сведения о других модальностях отсутствуют. К сильным сторонам относятся улучшенные по сравнению с Qwen2 возможности в программировании и математике, следование инструкциям, обработка структурированных данных и генерация структурированных ответов, включая JSON, а также поддержка длинного контекста. 4-битное представление снижает требования к памяти и удобно для локального запуска и дообучения, однако может приводить к потере точности по сравнению с полной версией. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen2.5-7B-unsloth-bnb-4bit — четырёхбитная версия базовой языковой модели Qwen2.5-7B, подготовленная Unsloth с использованием динамического 4-bit-квантования. Разработчик исходной модели — команда Qwen; Unsloth предоставляет оптимизированный формат для запуска и дообучения с меньшими требованиями к памяти. Модель предназначена для генерации и понимания текста, программирования, математических задач, следования инструкциям, работы со структурированными данными и формирования структурированных ответов, включая JSON. Она поддерживает китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский, арабский и другие языки. Для серии Qwen2.5 заявлена поддержка контекста до 128 тысяч токенов и генерация до 8 тысяч токенов. Ключевые преимущества — размер около 7 миллиардов параметров, экономичное 4-bit-представление и заявленное Unsloth улучшение точности по сравнению со стандартным 4-bit-квантованием. Модель является текстовой causal language model и не предназначена для работы с изображениями или другими модальностями. Как базовая, а не instruction-tuned модель, она не рекомендуется для диалогового использования без дополнительного дообучения или подходящего шаблона запросов. Лицензия — Apache 2.0.

geoffmunn/Qwen3-14B-f16 — версия модели Qwen3-14B в формате GGUF F16, подготовленная Geoff Munn для локального запуска через llama.cpp и совместимые приложения. Это языковая модель на 14 млрд параметров для диалогов, следования инструкциям, рассуждений, генерации кода и работы с многоязычным текстом. Карточка описывает варианты квантования, но этот репозиторий содержит веса F16. Модель подходит для локальных ассистентов, генерации и отладки кода, ответов по документам в RAG-системах и многошаговых задач. Метаданные указывают поддержку английского, китайского, испанского, французского, немецкого, русского, арабского, японского, корейского и хинди. Указана лицензия Apache-2.0. Размер модели составляет 14 млрд параметров. README заявляет о работе с длинными входами, но точную длину контекста не приводит. Для локального запуска требуются ресурсы, соответствующие размеру модели; потребление памяти и скорость зависят от формата весов и оборудования. Приведённые в карточке оценки квантованных вариантов не следует напрямую переносить на F16.

RedHatAI/Qwen3-4B-Instruct-2507-quantized.w8a8 — это квантизированная версия языковой модели Qwen/Qwen3-4B-Instruct-2507, разработанная Red Hat совместно с Neural Magic. Модель построена на архитектуре Qwen3ForCausalLM, работает с текстом на входе и генерирует текст на выходе. Размер базовой модели — 4 млрд параметров; поддерживается контекст до 262 144 токенов в конфигурации развертывания, указанной в README. Модель предназначена для рассуждений, следования многоязычным инструкциям, перевода и function calling. Её также можно адаптировать под предметные области с помощью дообучения. Языки перечислены обобщённо как многоязычные, без указания конкретного набора языков. Поддерживается эффективное развертывание через vLLM, включая OpenAI-совместимый API. Веса и активации линейных операторов в блоках Transformer квантизированы в INT8; применяются SmoothQuant и GPTQ. Это примерно вдвое снижает требования к памяти и размер модели на диске, а также может увеличить пропускную способность матричных умножений примерно в 2 раза. Ограничение модели — использование квантованного представления и текстовая модальность; сведения о конкретном влиянии квантования на качество и подробные результаты оценки в README не приведены. Модель распространяется по лицензии Apache 2.0.

Qwen3.5-35B-A3B-GGUF — это квантизированная GGUF-версия мультимодальной модели Qwen3.5-35B-A3B, разработанной командой Qwen. Репозиторий подготовлен ugreen-ai с использованием материалов и методов Unsloth. Модель предназначена для локального запуска и совместима с инструментами экосистемы GGUF; исходная модель также поддерживает Transformers, vLLM, SGLang и KTransformers. Модель представляет собой каузальную языковую модель с vision encoder и поддерживает работу с текстом и изображениями. Архитектура сочетает Gated Delta Networks и разреженный Mixture-of-Experts. Всего модель содержит 35 млрд параметров, из которых активируется около 3 млрд; указаны 40 слоёв, hidden dimension 2048 и словарь размером 248 320 токенов. Заявлена поддержка 201 языка и диалекта. Модель ориентирована на рассуждения, программирование, визуальное понимание, агентские сценарии, вызов инструментов и задачи с длинным контекстом, однако точный максимальный размер контекста для этой версии в README не указан. К сильным сторонам относятся мультимодальность, высокая вычислительная эффективность разреженной MoE-архитектуры, улучшенные возможности coding и tool calling, а также обновлённые данные и алгоритм квантования Unsloth Dynamic 2.0. GGUF-квантизация упрощает локальный запуск и снижает требования к ресурсам, но конкретные характеристики зависят от выбранного варианта квантизации и могут сопровождаться потерей точности по сравнению с исходными весами. Для управления режимом рассуждений предусмотрена настройка enable_thinking. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B — мультимодальная модель Qwen, разработанная командой Qwen и представленная в формате Hugging Face Transformers. Это дообученная версия Qwen/Qwen3.5-9B-Base: причинная языковая модель с визуальным энкодером, 9 млрд параметров и гибридной архитектурой с Gated Delta Networks и разреженными Mixture-of-Experts. Модель принимает текст и изображения и генерирует текст; поддерживает чат и вызов инструментов. Модель предназначена для диалога, рассуждений, программирования, визуального понимания и агентных сценариев с использованием инструментов. Нативная длина контекста — 262 144 токена, с расширением до 1 010 000; в режиме по умолчанию перед ответом генерируется содержимое рассуждений. В карточке заявлена поддержка 201 языка и диалекта, но список языков в предоставленных данных опущен. В README заявлены высокая эффективность гибридной архитектуры и улучшенные результаты на задачах рассуждения, кода и визуального понимания; независимых оценок в предоставленном тексте недостаточно для проверки этих утверждений. Для длинного контекста могут потребоваться значительные ресурсы, а совместимость и пропускная способность зависят от версии и конфигурации сервера. Лицензия — Apache-2.0.

cyankiwi/Qwen3.6-27B-AWQ-INT4 — квантизированная версия мультимодальной модели Qwen3.6-27B, разработанной командой Qwen. Модель представлена в формате Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и KTransformers. Вариант использует квантизацию AWQ в формате INT4; размер файлов модели составляет около 20,44 ГБ. Лицензия — Apache 2.0. Модель предназначена для генерации текста, программирования, работы с агентными сценариями и анализа изображений с текстовым ответом. В README отдельно отмечены улучшения в агентном программировании, включая работу с frontend-задачами и рассуждение на уровне репозитория, а также возможность сохранять контекст рассуждений из предыдущих сообщений. Поддерживаются английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Архитектура представляет собой авторегрессионную языковую модель с vision encoder, 27 миллиардами параметров, 64 слоями и контекстом 262 144 токена с заявленной возможностью расширения до 1 010 000 токенов. В составе используются Gated DeltaNet, Gated Attention и многошаговое обучение MTP. Квантизация снижает требования к памяти и упрощает локальное развертывание, но может несколько ограничивать точность по сравнению с полноразмерной версией; конкретные потери качества для данного варианта в README не указаны.

unsloth/Qwen3.6-35B-A3B-UD-MLX-4bit — 4-битная MLX-версия открытой мультимодальной модели Qwen3.6-35B-A3B. Модель разработана командой Qwen, а данная адаптация опубликована Unsloth. Это авторегрессионная языковая модель с vision encoder, предназначенная для генерации текста, анализа изображений, программирования и агентных сценариев. Модель имеет 35 млрд параметров, из которых 3 млрд активируются при обработке запроса. Архитектура сочетает Mixture of Experts с 256 экспертами, Gated DeltaNet и Gated Attention; содержит 40 слоёв и скрытое измерение 2048. Нативная длина контекста составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Поддерживаются текстовая и визуальная модальности, однако конкретный набор языков в README не указан. К сильным сторонам относятся улучшенная работа с кодированием, репозиториями и frontend-задачами, поддержка сохранения контекста рассуждений между сообщениями и улучшенный вызов инструментов, включая вложенные объекты. 4-битное представление снижает требования к памяти и подходит для запуска через MLX, но может уступать полноразмерным вариантам по точности, а производительность зависит от совместимого оборудования и программного окружения. Модель распространяется по лицензии Apache-2.0.

nicosuter/Qwen3.8-27B-AWQ — это мультимодальная квантованная версия модели Qwen/Qwen3.8-27B, подготовленная разработчиком nicosuter. Модель предназначена для обработки текста и изображений, включая программирование, математические и научные задачи, вызов инструментов, анализ документов, таблиц и визуальных вопросов. Архитектура и исходные веса унаследованы от Qwen3.8-27B; точное число параметров — 27 млрд. В модели применяется смешанная квантализация: большинство линейных слоёв используют асимметричный AWQ W4A16 с размером группы 128, а отдельные входные проекции Gated DeltaNet квантованы в int8. Зрительный модуль, MTP head, lm_head и ряд других компонентов сохранены в исходной точности, поэтому модель сохраняет мультимодальные возможности. Калибровка включала текстовые, длинноконтекстные, визуальные и связанные с вызовом инструментов примеры длиной до 32 768 токенов, однако точный максимальный контекст модели в карточке не указан. По приведённым тестам, относительно версии Qwen3.8-27B-FP8, среднее снижение качества составило около 0,12 процентного пункта; результаты на задачах вызова функций, программирования и мультимодального анализа практически сохранились. Ограничения включают возможную потерю качества из-за квантализации и отсутствие полноценных оценок агентного применения. Модель распространяется по лицензии Apache 2.0 и использует формат compressed-tensors, совместимый с указанным стеком Transformers и llm-compressor.