II.4Отладка, тестирование и качество ПО

Карточка модели Tooony133/Qwen-3.8-27B-PinkmanWhite на Hugging Face совпадает с карточкой Qwen/Qwen3.8-27B, поэтому описание составлено по ней. Qwen3.8-27B — плотная мультимодальная модель семейства Qwen от команды Qwen. Это постобученная причинная языковая модель с визуальным энкодером, содержащая 27 млрд параметров и построенная на архитектурной основе Qwen3.5. Репозиторий включает веса и конфигурацию в формате Hugging Face Transformers; модель также совместима с vLLM, SGLang и другими средами инференса. Лицензия — Apache-2.0. Модель предназначена для диалогов, программирования, профессиональных и исследовательских задач, а также многошаговых агентных сценариев. Она принимает текст, изображения и видео и умеет разбирать документы, диаграммы и длительные видеоматериалы. Режим рассуждения включён по умолчанию, его можно отключить для отдельного запроса, а глубину настраивать параметром reasoning_effort. Контекст составляет 262 144 токена и может расширяться до 1 000 000 токенов. Архитектура сочетает Gated DeltaNet, Gated Attention и FFN-блоки; предусмотрено обучение с Multi-Token Prediction. В карточке заявлены улучшения планирования и выполнения задач с учётом обратной связи среды, однако приведённые описания бенчмарков сами по себе не гарантируют качество в конкретном применении. Модель ориентирована на применение и распространяется по лицензии Apache-2.0.

Qwen3-8B-GGUF — квантизированная версия причинной языковой модели Qwen3-8B, разработанной командой Qwen компании Alibaba Cloud. Модель предназначена для локального запуска в формате GGUF через llama.cpp, Ollama и совместимые инструменты генерации текста. Модель подходит для диалогов, следования инструкциям, генерации и анализа кода, математического и логического рассуждения, творческого письма, ролевого взаимодействия, перевода и многоязычных задач. Она поддерживает переключение между режимом рассуждения для сложных задач и нережимом рассуждения для более быстрых ответов, а также сценарии взаимодействия с внешними инструментами и агентами. Заявлена поддержка более 100 языков и диалектов. Qwen3-8B содержит 8,2 млрд параметров, 36 слоёв и использует Grouped Query Attention с 32 головами Q и 8 головами KV. Нативная длина контекста составляет 32 768 токенов; с масштабированием YaRN заявлена работа до 131 072 токенов. Доступны варианты квантизации q4_K_M, q5_0, q5_K_M, q6_K и q8_0. Квантизация облегчает локальный запуск, но может снижать качество по сравнению с полной версией; использование YaRN на коротких текстах также способно ухудшать производительность. Модель распространяется по лицензии Apache-2.0. README не содержит точных требований к аппаратному обеспечению и подробных результатов бенчмарков, поэтому фактическая скорость и требуемый объём памяти зависят от выбранного варианта квантизации и используемого оборудования.

Карточка модели tangyunbo/RL на Hugging Face совпадает с карточкой Qwen/Qwen3-4B-Instruct-2507, поэтому описание составлено по ней. Qwen3-4B-Instruct-2507 — плотная причинно-языковая модель семейства Qwen3, разработанная командой Qwen. Это обновлённая версия Qwen3-4B в режиме без рассуждений: модель обучена следовать инструкциям и вести диалог, а также поддерживает интерфейс вызова инструментов. В репозитории указано 4,0 млрд параметров, метаданные Hugging Face указывают 3,7 млрд; нативная длина контекста составляет 262 144 токена. Модель предназначена для генерации ответов, понимания текста, логических и математических задач, вопросов по естественным наукам, программирования и работы с инструментами. Большое окно контекста подходит для анализа длинных документов и диалогов; заявлена поддержка нескольких языков и улучшенное покрытие редких знаний. Модель принимает текст и выдаёт текст. В README отмечены улучшения следования инструкциям, рассуждений, генерации текста и работы с длинным контекстом. Модель работает только в режиме без рассуждений и не выводит блоки рассуждений. Лицензия — Apache-2.0.

C4AI Command R7B — открытая исследовательская модель с весами, разработанная Cohere и Cohere For AI. Данный репозиторий содержит её квантизированные версии в формате GGUF с использованием imatrix, предназначенные для локального запуска через llama.cpp и совместимые с рядом клиентских интерфейсов, включая KoboldCPP, Ollama, Jan, text-generation-webui и GPT4All. Модель имеет 7 миллиардов параметров и контекстное окно 128K токенов. Это мультиязычная text-generation модель, обученная на 23 языках. Она предназначена для рассуждений, суммаризации, ответов на вопросы, генерации кода, Retrieval Augmented Generation (RAG) и использования инструментов. Также заявлены агентные возможности: модель может комбинировать несколько инструментов и выполнять многошаговые задачи. К её сильным сторонам относятся широкий контекст, поддержка нескольких языков и ориентация на корпоративные сценарии, включая работу с кодом. Ограничения связаны с относительно небольшим размером по сравнению с крупными моделями и необходимостью использовать совместимое программное обеспечение; для запуска GGUF-файлов требуется llama.cpp версии b4415 или новее. Модель распространяется по лицензии CC-BY-NC, которая не допускает коммерческое использование, а также требует соблюдения Acceptable Use Policy от C4AI. Репозиторий содержит квантизированные производные исходной модели c4ai-command-r7b-12-2024, опубликованной Cohere For AI.

FluentlyQwen2.5-32B, также называемая FluentlyLM Prinum, — самостоятельная языковая модель от Project Fluently LM на архитектуре Qwen2 с причинным Transformer-декодером. В модели около 32,5 млрд параметров, 64 слоя и групповое внимание с 40 головами Q и 8 головами KV. Метаданные указывают контекст до 32 768 токенов; в README заявлено 131 072 токена. Модель предназначена для генерации текста в диалогах и по инструкциям, а также для задач рассуждения, математики, ролевого общения и программирования. Заявлена поддержка английского, французского, испанского, русского, китайского, японского и персидского языков. Модель распространяется в формате Safetensors и выпущена под лицензией MIT. README приводит результаты Open LLM Leaderboard, включая средний балл 47,22 и IFEval 80,90.

Карточка модели utkarsh2439/gemma-4-12B-it на Hugging Face совпадает с карточкой RedHatAI/gemma-4-12B-it, поэтому описание составлено по ней. Gemma 4 12B IT — мультимодальная модель Google DeepMind на архитектуре Gemma4 Unified, дообученная для следования инструкциям. Она принимает текст, изображения, видео и аудио и генерирует текст; поддерживает диалоги, рассуждения, программирование и вызов инструментов. Модель подходит для локального развёртывания на потребительских устройствах и для задач с длинным контекстом до 256 тыс. токенов. Модель может анализировать изображения и документы, распознавать текст и рукописный ввод, разбирать диаграммы и интерфейсы, а также анализировать видео по кадрам. Для аудио доступны распознавание речи и перевод речи в текст. Семейство Gemma 4 поддерживает более 140 языков в обучении, а карточка сообщает о мультиязычных возможностях; точный список языков для этой версии не приведён. Модель распространяется под лицензией Apache 2.0. Как и другие генеративные модели, она может допускать фактические ошибки; результаты распознавания, перевода и анализа следует проверять. Для видеовхода анализ выполняется по последовательностям кадров.

Gemma 4 26B A4B IT QAT GGUF — это мультимодальная instruction-tuned модель семейства Gemma 4, разработанная Google DeepMind и представленная в формате GGUF пользователем prithivMLmods. Она основана на разреженной Mixture-of-Experts архитектуре: содержит около 25,2 млрд параметров, из которых при генерации активны примерно 3,8 млрд. Модель поддерживает текст и изображения, но не аудио, и предназначена для диалогов, анализа изображений, OCR, анализа кадров видео, генерации текста и кода, вызова функций и задач, требующих рассуждений. Доступен настраиваемый режим reasoning. Модель использует около 550 млн параметров в vision encoder, контекстное окно до 256K токенов, скользящее окно 1024 токена и словарь примерно из 262 тысяч токенов для более чем 140 языков. Quantization-Aware Training помогает сохранить качество, близкое к bfloat16, при меньших требованиях к памяти. Репозиторий предоставляет варианты GGUF с квантованием от Q2_K до Q8_0, а также BF16, F16 и F32; размеры файлов составляют примерно от 10,6 до 101 ГБ, поэтому практическое использование зависит от доступной памяти и аппаратных ресурсов. К ограничениям относятся отсутствие аудиомодальности, высокие требования к ресурсам для полноразмерных вариантов и зависимость качества от выбранного уровня квантования. Лицензия — Apache 2.0.

Карточка модели alekshandru/gemma-4-E4B на Hugging Face совпадает с карточкой google/gemma-4-E4B, поэтому описание составлено по ней. Gemma 4 E4B — мультимодальная плотная модель семейства Gemma, разработанная Google DeepMind и представленная в виде весов с лицензией Apache 2.0. Она принимает текст, изображения и аудио и генерирует текст; аудиовозможности включают распознавание речи и перевод речи в текст. Модель рассчитана на запуск на мобильных устройствах и ноутбуках, а также на диалоговые сценарии, рассуждения, программирование и работу с инструментами. Архитектура реализует гибридное внимание: чередует локальные окна внимания с глобальным вниманием. Для E4B заявлено контекстное окно до 128 тысяч токенов. Модель понимает изображения, в том числе документы, графики и интерфейсы, а также аудио; семейство Gemma 4 поддерживает более 140 языков при обучении и более 35 языков при использовании. Карточка описывает семейство в целом, поэтому отдельные языковые возможности E4B могут зависеть от задачи и конфигурации.

Gemma 4 E4B IT QAT Unquantized — мультимодальная модель Google DeepMind с открытыми весами, полученная дообучением Gemma 4 E4B Instruct с применением обучения с учётом квантования (QAT). Репозиторий содержит веса safetensors в половинной точности, извлечённые из QAT-конвейера; эта версия предназначена для собственной компиляции и исследований. Лицензия — Apache 2.0. Модель принимает текст и изображения и генерирует текст. Семейство поддерживает контекст до 128 тысяч токенов для E4B и более 140 языков в обучающих данных; в README заявлена поддержка более 35 языков. Возможности включают диалог, рассуждения, программирование, распознавание речи, перевод речи в текст, понимание изображений и видео, OCR, разбор документов и вызов инструментов. Архитектура — плотная Gemma 4 для условной генерации. QAT ориентирован на снижение требований к памяти при сохранении качества, близкого к bfloat16, однако конкретный репозиторий содержит не готовую к обычному запуску квантованную сборку, а веса половинной точности для последующей компиляции. Аудио указано для E4B, но конкретный формат входов зависит от используемого конвейера.

Nemotron-3-Ultra-550B-A55B-BF16 — большая языковая модель NVIDIA для диалога, рассуждений и агентных сценариев. Она предназначена для разработчиков чат-ботов, RAG-систем и ИИ-агентов, которым нужны сложное следование инструкциям, анализ больших документов и кодовых баз, а также задачи в математике и науке. Модель использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2 и Mixture-of-Experts, отдельными слоями внимания и Multi-Token Prediction. Всего в ней 550 млрд параметров, из которых активно используются 55 млрд; метаданные указывают контекст до 262 144 токенов. README заявляет поддержку английского, французского, испанского, итальянского, немецкого, японского, хинди, корейского, бразильского португальского и китайского; теги карточки также включают арабский и иврит. Модель распространяется в формате safetensors, работает через Transformers и заявлена как пригодная для коммерческого и некоммерческого применения. Лицензия обозначена как other, поэтому перед использованием следует проверить её условия у разработчика.

Nemotron-Labs-3-Puzzle-75B-A9B — большая языковая модель NVIDIA для диалога, рассуждений и агентных приложений. Это сжатая и дообученная производная Nemotron-3-Super-120B-A12B: модель содержит 75,3 млрд параметров, из которых 9,3 млрд активны. Она предназначена для чат-ботов, RAG-систем и AI-агентов, а также для сложного следования инструкциям и работы с длинным контекстом. Модель использует гибридную архитектуру Mamba2, Transformer и LatentMoE с Multi-Token Prediction. Контекст составляет 262 144 токена; в карточке заявлена поддержка английского, французского, немецкого, итальянского, японского, испанского и китайского языков. NVIDIA сообщает об оптимизации для высокой пропускной способности и сохранении качества на задачах рассуждения, программирования, многоязычия, длинного контекста и агентного взаимодействия. Модель предназначена для коммерческого использования. В метаданных указана лицензия «other» без конкретных условий. Описанный репозиторий содержит веса BF16; заявленные варианты FP8 и NVFP4 относятся к развертыванию модели.

Qwen2.5-3B-Instruct-bnb-4bit — 4-битная версия инструкционно дообученной языковой модели Qwen2.5-3B-Instruct, опубликованная в экосистеме Unsloth на базе модели Qwen от Alibaba Cloud. Это авторегрессионная causal language model для диалогов, генерации и обработки текста, выполнения инструкций, написания кода, решения математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Модель содержит около 3,09 млрд параметров, из которых 2,77 млрд не относятся к эмбеддингам, и включает 36 слоёв. Архитектура использует transformers, RoPE, SwiGLU, RMSNorm, смещения в Attention QKV и связанные эмбеддинги слов; применяется Grouped Query Attention с 16 головами для Q и 2 для KV. Полная длина контекста составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Поддерживается более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся улучшенное следование инструкциям, работа с длинными текстами, таблицами и другими структурированными данными, а также относительно низкие требования к памяти благодаря 4-битному квантованию. Ограничения включают меньший размер по сравнению с крупными моделями и возможное снижение точности из-за квантования; конкретные показатели качества для этой версии в README не приведены. Для работы рекомендуется актуальная версия библиотеки transformers; версии ниже 4.37.0 могут быть несовместимы. Лицензия модели — Apache-2.0.

Qwen2-57B-A14B-Instruct — инструктивная чат-модель семейства Qwen2, разработанная командой Qwen. Это языковая модель с архитектурой Transformer и смесью экспертов (MoE): всего около 57 млрд параметров, из которых при генерации активируется примерно 14 млрд. В метаданных репозитория указано 7,1 млрд параметров; модель распространяется в формате Safetensors и использует лицензию Apache 2.0. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы, понимание и создание текстов, рассуждения, математику и программирование. Карточка заявляет контекст до 65 536 токенов с применением YARN для обработки длинных запросов; метаданные каталога указывают нативный контекст 32 768 токенов. Многоязычный токенизатор рассчитан на естественные языки и код, однако метаданные карточки подтверждают только английский язык. Среди сильных сторон — большая длина контекста и широкая направленность на языковые задачи; в README также приведены сравнительные оценки на бенчмарках. Для длинного контекста с YARN описана настройка развёртывания через vLLM, причём фиксированный коэффициент масштабирования может снижать качество на коротких текстах. Для работы с архитектурой Qwen2MoE рекомендуется Transformers версии 4.40.0 или новее.

Qwen2-72B-Instruct-GGUF — крупная языковая модель с 72 миллиардами параметров, разработанная командой Qwen. Это instruction-tuned версия Qwen2, предназначенная для диалогов, генерации и понимания текста, многоязычных задач, программирования, математики и рассуждений. Модель относится к семейству decoder-only языковых моделей и распространяется в формате GGUF для запуска с помощью llama.cpp. Модель построена на архитектуре Transformer с активацией SwiGLU, смещениями в QKV-внимании и group query attention. В README указана улучшенная токенизация для нескольких естественных языков и языков программирования, однако точный список языков и размер контекстного окна не приведены. Доступны варианты квантования q5_0, q5_k_m, q6_k и q8_0, что позволяет выбирать компромисс между качеством, размером модели и требованиями к памяти. Поддерживается локальный запуск через llama.cpp и совместимый с OpenAI API сервер. К сильным сторонам относятся заявленная конкурентоспособность с проприетарными моделями и высокое качество на задачах понимания, генерации, многоязычности, кодинга, математики и рассуждений. Основные ограничения — очень большой размер, высокие требования к вычислительным ресурсам и возможная потеря качества при агрессивном квантовании. В метаданных указана лицензия other; конкретные условия использования в README не описаны.

Qwen3-14B-AWQ — квантизированная 4-битная версия языковой модели Qwen3-14B, разработанной командой Qwen. Это причинная языковая модель для генерации текста, диалогов, следования инструкциям, решения математических и логических задач, написания кода, творческих сценариев и интеграции с внешними инструментами в агентных системах. Модель содержит 14,8 млрд параметров, из которых 13,2 млрд не являются embedding-параметрами, и включает 40 слоёв. Она использует Grouped Query Attention с 40 головами для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Поддерживаются более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Модель поддерживает переключение между режимом рассуждений и обычным режимом генерации. Сильные стороны модели — развитые возможности рассуждений, генерации кода, многоязычного общения, многошагового диалога и использования инструментов. Формат AWQ 4-bit снижает требования к памяти по сравнению с полноразмерной версией, но README не содержит количественной оценки возможной потери качества, требований к аппаратному обеспечению или результатов бенчмарков. Для работы рекомендуется использовать актуальную версию Transformers; также поддерживается развёртывание через SGLang и vLLM. Модель распространяется по лицензии Apache 2.0.

Qwen3-235B-A22B — большая языковая модель семейства Qwen3 от команды Qwen, разработанная Alibaba. Это причинная языковая модель архитектуры Mixture of Experts: всего 235 млрд параметров, из которых при генерации активируются 22 млрд; используются 128 экспертов, из них активны 8. Модель доступна в формате safetensors и рассчитана на работу через Transformers. Модель предназначена для диалогов и генерации текста, следования инструкциям, рассуждений, математики, программирования, творческого письма, перевода и сценариев с вызовом внешних инструментов. В одном чекпойнте можно переключать режимы рассуждения и обычного ответа. README заявляет поддержку более 100 языков и диалектов. Контекст в README указан как 32 768 токенов нативно и до 131 072 с YaRN; метаданные каталога указывают нативную длину 40 960 токенов. Модель принимает текст и выдаёт текст. Репозиторий лицензирован по Apache-2.0. Для практического использования следует учитывать большой общий размер модели и требования к инфраструктуре; README не приводит конкретных аппаратных требований или оценок качества для отдельных задач.

Карточка модели ygal33/Qwen3-235B-A22B на Hugging Face совпадает с карточкой Qwen/Qwen3-235B-A22B, поэтому описание составлено по ней. Qwen3-235B-A22B — большая языковая модель семейства Qwen3 от команды Qwen, разработанная Alibaba. Это причинная языковая модель архитектуры Mixture of Experts: всего 235 млрд параметров, из которых при генерации активируются 22 млрд; используются 128 экспертов, из них активны 8. Модель доступна в формате safetensors и рассчитана на работу через Transformers. Модель предназначена для диалогов и генерации текста, следования инструкциям, рассуждений, математики, программирования, творческого письма, перевода и сценариев с вызовом внешних инструментов. В одном чекпойнте можно переключать режимы рассуждения и обычного ответа. README заявляет поддержку более 100 языков и диалектов. Контекст в README указан как 32 768 токенов нативно и до 131 072 с YaRN; метаданные каталога указывают нативную длину 40 960 токенов. Модель принимает текст и выдаёт текст. Репозиторий лицензирован по Apache-2.0. Для практического использования следует учитывать большой общий размер модели и требования к инфраструктуре; README не приводит конкретных аппаратных требований или оценок качества для отдельных задач.

Это Flax-представление Qwen3-4B-Instruct-2507, опубликованное Benjamin Minixhofer на Hugging Face. Модель разработана командой Qwen как причинная языковая модель для диалогов и генерации текста по инструкциям; репозиторий содержит веса в формате Flax. Базовая версия имеет около 4 млрд параметров, 36 слоёв и контекст до 262 144 токенов. Модель предназначена для следования инструкциям, понимания текста, ответов на вопросы, логических и математических задач, программирования и вызова инструментов. Она работает в режиме без цепочки рассуждений в специальных блоках, поддерживает многоязычные сценарии и длинный контекст. Карточка базовой модели указывает лицензию Apache-2.0; метаданные репозитория Flax лицензию отдельно не приводят.

Mungert/Qwen3-4B-Instruct-2507-GGUF — GGUF-квантизированная версия языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen и преобразованной с использованием llama.cpp. Это авторегрессионная causal language model с 4 млрд параметров, из которых 3,6 млрд не относятся к эмбеддингам; модель содержит 36 слоёв и использует grouped-query attention с 32 головами для Q и 8 для KV. Модель предназначена для генерации текста по инструкциям, понимания текста, логических рассуждений, математики, науки, программирования, работы с инструментами, творческого письма и агентских сценариев. Она поддерживает многоязычные задачи и контекст длиной до 262 144 токенов. Модель работает только в non-thinking mode и не формирует блоки <think></think>. К сильным сторонам относятся улучшенные следование инструкциям, открытые и субъективные задачи, покрытие редких знаний, мультиязычность и обработка длинного контекста. GGUF-формат подходит для локального запуска в совместимых инструментах llama.cpp, а применённый автором подход selective layer bumping повышает точность отдельных важных слоёв при выбранном уровне квантизации, хотя увеличивает размер файла. Ограничения конкретного варианта зависят от используемого уровня квантизации и аппаратных ресурсов; сведения о точном размере файла, битности и требованиях к памяти в README не указаны. Лицензия — Apache-2.0.

karlsencoin/Qwen3.5-9B-GGUF — вариант модели Qwen3.5-9B, разработанной командой Qwen; репозиторий подготовлен с использованием технологий Unsloth и распространяется в формате GGUF для локального запуска. Модель предназначена для генерации и понимания текста, программирования, рассуждений, агентских сценариев и обработки визуальной информации. Это каузальная языковая модель с vision-энкодером и мультимодальным ранним объединением токенов. Она содержит около 9 млрд параметров, 32 слоя и гибридную архитектуру на основе Gated Delta Networks, Gated Attention и разреженной Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов. Модель поддерживает 201 язык и диалект; заявлены текстовая и визуальная модальности. К сильным сторонам относятся мультимодальное понимание, высокая эффективность архитектуры, поддержка длинного контекста и пригодность для локального инференса. Ограничения конкретной GGUF-сборки, включая точный уровень квантизации, требования к памяти и совместимость с отдельными рантаймами, в README не указаны. Модель распространяется по лицензии Apache-2.0.

Smoffyy/Qwen3.5-9B-Instruct-Pure-GGUF — квантизированная версия официальной модели Qwen3.5-9B, созданная автором Smoffyy на основе исходных весов Qwen с использованием официальных инструментов llama.cpp. Модель распространяется в формате GGUF и позиционируется как «чистая» квантизация без изменений или дополнительных модификаций весов. Модель предназначена для задач генерации текста, рассуждений, программирования, агентских сценариев и мультимодального понимания изображений. Это единая vision-language модель с гибридной архитектурой, объединяющей Gated Delta Networks и разреженную Mixture-of-Experts. Указана поддержка 201 языка и диалекта. Для работы с изображениями требуется дополнительный файл mmproj-f16.gguf. Доступен управляемый режим рассуждений через параметр enable_thinking в API или конфигурацию шаблона чата. Основное преимущество модели — сохранение исходных официальных весов при уменьшении требований к памяти благодаря квантизации. Доступны варианты с разным соотношением качества и размера, включая q4_k_m, q5_k_m и q8_0; при контексте 64k вариант q4_k_m использует около 10 ГБ памяти. Ограничения зависят от выбранного уровня квантизации и оборудования: более компактные варианты могут уступать исходной модели по качеству, а для визуальных возможностей необходим отдельный проектор. Модель и производные распространяются по лицензии Apache 2.0.

palmfuture/Qwen3.6-35B-A3B-GPTQ-Int4 — GPTQ-квантизированная версия модели Qwen3.6-35B-A3B, разработанная сообществом palmfuture на базе модели Qwen. Это мультимодальная модель для работы с текстом и изображениями, поддерживающая задачи генерации текста, следования инструкциям, программирования, математических рассуждений, агентских сценариев и обработки визуально-текстовых запросов. Заявлены языки English, Thai, Chinese и multilingual. Модель использует MoE-архитектуру Qwen3_5MoeForConditionalGeneration с 35 млрд параметров в общей сложности и примерно 3 млрд активных параметров на токен. В ней 256 экспертов, из которых для каждого токена выбираются 8, и 40 скрытых слоёв. Контекстное окно составляет 262 144 токена. Квантизация выполнена в формате GPTQ v2, 4-bit, с group_size=128 и симметричным представлением; размер модели вместе с MTP-весами — около 24,4 ГБ. Веса MTP (Multi-Token Prediction) сохранены в BF16 и поддерживают speculative decoding в vLLM и SGLang. К сильным сторонам относятся существенно уменьшенный размер по сравнению с полноформатной моделью, сохранение заявленного качества на уровне около 97,9% от BF16-версии по perplexity на wikitext-2-raw-v1, поддержка мультимодальности, длинного контекста и ускоренного декодирования. Ограничения связаны с требованиями к ресурсам: для рекомендованных конфигураций требуется несколько GPU, а совместимость и параметры запуска зависят от версий vLLM, SGLang и Transformers. Квантизация может приводить к некоторой потере качества, а для архитектуры требуется trust_remote_code. Модель распространяется по лицензии Apache-2.0.

cyankiwi/Qwen3.8-27B-AWQ-BF16-INT4 — квантованная версия Qwen3.8-27B, разработанного командой Qwen. Модель представляет собой плотную причинную языковую модель с vision-энкодером, предназначенную для работы с текстом, изображениями и видео. Она поддерживает интеграцию через Hugging Face Transformers, vLLM, SGLang и другие совместимые инструменты. Модель рассчитана на программирование, профессиональные и исследовательские задачи, обработку документов и STEM-диаграмм, а также долгие агентские сценарии с планированием и взаимодействием со средой. Доступно управление режимом рассуждений: его можно отключать и настраивать глубину через reasoning_effort, а контекст рассуждений из предыдущих сообщений — сохранять с помощью preserve_thinking. Языковая часть содержит 27 млрд параметров, 64 слоя и имеет архитектуру с чередованием Gated DeltaNet и Gated Attention. Нативная длина контекста составляет 262 144 токена, с возможным расширением до 1 000 000 токенов. Заявлена поддержка английского, китайского, хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков. Размер файлов модели — около 28,85 ГБ. К сильным сторонам относятся мультимодальность, поддержка видео, гибкое управление рассуждениями и ориентация на сложные многошаговые задачи. Ограничения конкретной квантованной сборки и результаты бенчмарков в предоставленных данных подробно не указаны. Модель распространяется по лицензии Apache-2.0.

Umranz/Qwen3.8-27B-heretic — версия Qwen3.8-27B с ослабленным отказом от ответов, созданная с помощью Heretic v1.4.0. Это плотная мультимодальная модель типа причинной языковой модели с визуальным энкодером, содержащая 27 млрд параметров и совместимая с Transformers, vLLM и SGLang. Модель предназначена для диалогов и многошаговых задач с текстом, изображениями и видео: анализа документов и диаграмм, программирования, исследований и агентных сценариев. Поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 млн токенов. Модель унаследовала архитектуру Qwen3.5; README приводит параметры абляции и сравнение с исходной моделью, но не описывает отдельные языки. По сравнению с исходной Qwen3.8-27B модель сильнее отклоняется от её поведения: в README указаны оценка Keywords 59/100 против 94/100 и KL divergence 0,0101. Это может быть важно при выборе версии с меньшим числом отказов, но само по себе не гарантирует качество или безопасность ответов. Лицензия — Apache-2.0.

Карточка модели Z-keiu/Qwen3-8B на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

unsloth/Qwen3-8B-GGUF — версия языковой модели Qwen3-8B, подготовленная Unsloth в формате GGUF на базе Qwen/Qwen3-8B. Qwen разработана Alibaba Cloud. Модель предназначена для диалоговых приложений, следования инструкциям, генерации текста и кода, математического и логического рассуждения, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с использованием внешних инструментов. Это каузальная языковая модель с 8,2 млрд параметров, из которых 6,95 млрд приходятся не на embedding-слои. Архитектура включает 36 слоёв и Grouped-Query Attention с 32 головами для Q и 8 для KV. Поддерживаются режимы «мышления» и «без мышления», между которыми можно переключаться в запросах. Нативная длина контекста составляет 32 768 токенов, а с YaRN — до 131 072 токенов. Заявлена поддержка более 100 языков и диалектов; в метаданных README отдельно указан английский язык. Сильными сторонами являются рассуждение, следование инструкциям, многоязычность, генерация кода и поддержка агентских задач, а также возможность выбирать между качеством рассуждения и скоростью ответа. Ограничения включают отсутствие в предоставленных данных подробностей о фактической производительности, требованиях к оборудованию и поддерживаемых инструментах запуска. Модель распространяется по лицензии Apache-2.0.

Falcon-H1-34B-Instruct-GGUF — квантизированное в формате GGUF представление инструкционной языковой модели Falcon-H1-34B-Instruct, разработанной Technology Innovation Institute (TII). Это каузальная decoder-only модель с гибридной архитектурой, объединяющей Transformer attention и State Space Models на основе Mamba, что ориентировано на эффективную обработку длинного контекста и снижение вычислительных затрат. Вариант предназначен для запуска через совместимые инструменты, включая custom fork llama.cpp; семейство также поддерживается Transformers и vLLM. Модель рассчитана на генерацию текста, следование инструкциям, рассуждения, математические и научные задачи, программирование и многоязычное взаимодействие. Семейство Falcon-H1 поддерживает до 256K токенов контекста и 18 языков, включая русский, английский, арабский, китайский, японский, корейский, немецкий, французский, испанский, итальянский, португальский, польский, нидерландский, чешский, румынский, шведский, хинди и урду. Размер исходной модели — 34 млрд параметров; конкретные параметры квантизации данного GGUF-файла в README не указаны. К сильным сторонам относятся гибридная архитектура, эффективность по отношению к размеру, работа с длинным контекстом и высокие результаты в ряде общих, научных, математических и инструкционных тестов. Ограничения включают высокие требования к ресурсам по сравнению с небольшими моделями, возможные потери качества из-за квантизации и отсутствие в README подробностей о точном формате и уровне квантизации конкретного файла. Модель распространяется по лицензии Falcon-LLM License; условия доступны по ссылке, указанной разработчиком.

unsloth/gemma-4-31B-it-qat-w4a16 — инструктивно дообученная мультимодальная модель семейства Gemma 4, разработанная Google DeepMind. Это вариант с Quantization-Aware Training (QAT), представленный в формате compressed-tensors w4a16 для оптимизированного инференса через vLLM. Модель принимает текст и изображения и генерирует текст; поддерживает более 140 языков и контекст до 256K токенов. Аудиовход для версии 31B не заявлен. Модель предназначена для генерации текста, программирования, рассуждений, мультимодального анализа, агентских сценариев и вызова функций. Она использует плотную (Dense) архитектуру с 30,7 млрд параметров, 60 слоями, размером скользящего окна внимания 1024 токена и словарём из 262 тысяч токенов. Гибридный механизм внимания сочетает локальное скользящее и глобальное внимание, что помогает снижать затраты памяти при работе с длинным контекстом. Поддерживаются настраиваемые режимы рассуждений и системные промпты. Ключевое преимущество версии QAT — существенно сниженные требования к памяти при сохранении качества, близкого к bfloat16, а формат w4a16 ориентирован на эффективное развёртывание. Ограничение модели — отсутствие заявленной поддержки аудио, а также необходимость совместимой инфраструктуры для работы с форматом compressed-tensors и vLLM. Модель распространяется по лицензии Apache 2.0.

Это производная мультимодальная модель семейства Gemma 4 E4B, представленная пользователем aifeifei798 на базе Google Gemma 4 E4B. В карточке указано, что Gemma 4 разработана Google DeepMind; данная версия предназначена для диалога и генеративных сценариев с текстом и изображениями, а семейство поддерживает также видео и аудио на отдельных размерах. Архитектура — плотная Gemma4ForConditionalGeneration с гибридным вниманием: локальные окна чередуются с глобальными слоями. Модель подходит для ответов на вопросы, суммаризации, генерации и исправления кода, извлечения сведений из изображений и документов, распознавания текста на изображениях, понимания диаграмм и интерфейсов, а также агентных сценариев с вызовом инструментов. В README для E4B указано контекстное окно до 128K токенов и поддержка более 35 языков на уровне семейства. Указанные в карточке возможности видео и аудио относятся к семейству, но конкретно для этой версии их поддержка не подтверждена. Веса доступны в формате safetensors; лицензия — Apache-2.0. Карточка предупреждает о возможных фактических ошибках, предвзятости данных, трудностях с языковыми нюансами и сложными открытыми задачами.

tripolskypetr/gemma-4-it-GGUF — GGUF-версия инструкционно настроенной мультимодальной модели Gemma 4 31B-it, основанной на google/gemma-4-31B-it. Семейство Gemma разработано Google DeepMind, а данный вариант опубликован в формате GGUF для удобного локального запуска и квантования, в том числе с использованием инструментов Unsloth. Модель предназначена для генерации и понимания текста, рассуждений, программирования, агентских сценариев и работы с изображениями. Она принимает текстовые и графические данные и генерирует текст; заявлена поддержка более 140 языков. Для управления поведением поддерживаются системные сообщения, режимы рассуждения и нативный function calling. Это плотная архитектура с 30,7 млрд параметров, 60 слоями и словарём размером 262 тысячи токенов. Используется гибридное внимание с чередованием локального скользящего окна размером 1024 токена и глобального внимания; максимальная длина контекста составляет 256 тысяч токенов. В состав входят визуальный энкодер примерно на 550 млн параметров. Большой размер модели и мультимодальность обеспечивают широкие возможности, но требуют значительных вычислительных ресурсов, поэтому локальное развертывание зависит от доступной памяти и выбранного варианта квантования. Модель распространяется по лицензии Apache 2.0.