II.7DevOps, облако и эксплуатация IT-систем

cyankiwi/Qwen3-Next-80B-A3B-Instruct-AWQ-4bit — 4-битная AWQ-квантизованная версия инструкционной языковой модели Qwen3-Next-80B-A3B-Instruct, опубликованная пользователем cyankiwi и разработанная в рамках семейства Qwen. Это каузальная текстовая модель для генерации текста, ответов на вопросы, программирования, следования инструкциям, агентских сценариев и работы с длинными контекстами. Модель поддерживает только instruct-режим без блоков рассуждений <think></think>. Архитектура сочетает Gated DeltaNet и Gated Attention с разреженной Mixture-of-Experts. Всего модель содержит 80 млрд параметров, из которых около 3 млрд активируются на каждом токене; используется 512 экспертов, 10 активных экспертов и один общий эксперт. Модель имеет 48 слоёв, контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. В README языки и мультимодальные возможности не указаны; заявлена работа с текстом. Сильные стороны — высокая эффективность по числу активируемых параметров, потенциально высокая скорость инференса, поддержка ультрадлинного контекста и конкурентные результаты в задачах знаний, рассуждений, программирования, следования инструкциям и мультиязычности. Ограничения включают необходимость совместимой версии transformers и значительные требования к вычислительным ресурсам, несмотря на 4-битную квантизацию; качество на конкретных задачах зависит от реализации инференса и квантизации. Лицензия базовой модели — Apache-2.0.

Sarvam-105B — созданная Sarvam AI языковая модель с архитектурой Mixture-of-Experts и MLA-style attention. По README, у неё 10,3 млрд активных параметров, 128 экспертов с маршрутизацией top-8 и контекст до 128 тыс. токенов; метаданные Hugging Face указывают общий размер 9,7 млрд параметров. Модель предназначена для генерации текста и диалогов, сложных рассуждений, математики, программирования и агентных сценариев, включая веб-поиск и техническую диагностику. При обучении особое внимание уделялось индийскому контексту и 22 языкам Индии. В метаданных перечислены английский и ряд языков Южной Азии; карточка заявляет сильные результаты на тестах рассуждений и агентных задач. Для запуска README описывает использование Transformers и варианты развёртывания через vLLM и SGLang, включая специальные настройки. Модель распространяется по лицензии Apache 2.0.

Seed-OSS-36B-Instruct — открытая языковая модель команды ByteDance Seed для диалогов, рассуждений, длинного контекста и агентных сценариев. Это плотная авторегрессионная модель с архитектурой Seed-OSS и классом SeedOssForCausalLM; в метаданных указано 31,7 млрд параметров, а карточка описывает семейство как 36B. Модель принимает текст и генерирует текст, поддерживает контекст до 524 288 токенов и ориентирована на международное использование. Модель предназначена для ответов на вопросы, сложных рассуждений, программирования и задач с использованием инструментов. Можно задавать бюджет рассуждения: настройка длины позволяет регулировать глубину анализа и расход вычислений. Для работы доступны веса в формате safetensors и библиотека Transformers; README также описывает использование с vLLM. Модель выпущена под лицензией Apache-2.0. Карточка сообщает о сильных результатах на ряде популярных открытых бенчмарков, но не приводит в доступном тексте подробные результаты. Качество зависит от задачи и настройки бюджета рассуждения; для сложных запросов увеличение бюджета может улучшать результат, а на простых задачах эффект может колебаться.

Apriel-5B-Instruct — языковая модель общего назначения от ServiceNow AI, дообученная на Apriel-5B-Base с помощью продолженного предобучения, supervised fine-tuning и этапов выравнивания DPO и RLVR. Это плотный авторегрессионный Transformer-декодер с grouped-query attention и позиционными эмбеддингами YARN; в репозитории указаны 4,6 млрд параметров и контекст до 16 384 токенов. Веса опубликованы в формате safetensors и доступны по лицензии MIT. Модель предназначена для диалога и следования инструкциям, ответов на вопросы, генерации и краткого изложения текста, помощи с кодом, логических рассуждений и творческого письма. Она поддерживает структурированные диалоги и сценарии вызова инструментов. Основной язык — английский; качество на менее представленных языках может быть ниже. Модель может выдавать фактически неверные, вводящие в заблуждение или устаревшие ответы и отражать смещения обучающих данных. Её не следует применять в критически важных сценариях без проверки человеком и дополнительных мер защиты; для медицинских, юридических и финансовых решений она не подходит без специальных safeguards.

Blossom-V7.1-27B-GGUF — открытая мультимодальная модель общего назначения, разработанная Azure99 для локального развертывания. Это GGUF-вариант модели Blossom-V7.1-27B, построенной на базе Qwen3.8-27B. Модель предназначена для повседневного диалога, работы с общими знаниями, математики и рассуждений, программирования, веб-разработки, визуализации данных, понимания изображений и агентских сценариев с использованием инструментов. Заявлены английский и китайский языки. Модель имеет плотную архитектуру размером 27B параметров, поддерживает текстовые и графические входы и контекст до 262 144 токенов, при этом для наилучших результатов рекомендуется контекст до 131 072 токенов. Доступны два режима рассуждения — medium и max; по умолчанию используется max. Модель поддерживает чередование рассуждений и вызовов инструментов, а также ускорение инференса посредством Multi-Token Prediction в vLLM и llama.cpp. Сильными сторонами модели являются сочетание рассуждений, мультимодального понимания, программирования и инструментального использования, а также поддержка локального запуска и длинного контекста. Для работы требуется учитывать специальный chat template Blossom, который нельзя заменять шаблоном Qwen. В многоходовых диалогах рекомендуется сохранять полное сообщение ассистента вместе с данными рассуждений и вызовами инструментов; 27B-вариант ориентирован на GPU, где веса модели помещаются в видеопамять. Модель распространяется по лицензии Apache-2.0.

Blossom-V7.1-35B-A3B-GGUF — открытая мультимодальная модель общего назначения из семейства Blossom-V7.1, разработанная командой Azure99. Это GGUF-вариант модели Blossom-V7.1-35B-A3B на базе Qwen3.6-35B-A3B, предназначенный прежде всего для локального запуска и совместимый с llama.cpp и другими поддерживающими GGUF инструментами. Модель рассчитана на повседневный диалог, работу с общими знаниями, математические задачи и рассуждения, программирование, веб-разработку, визуализацию данных и агентские сценарии с использованием инструментов. Она принимает текст и изображения, поддерживает английский и китайский языки, использует два режима рассуждений — medium и max — и допускает интерливинг рассуждений с вызовами инструментов. Максимальная длина контекста составляет 262 144 токена, при этом для лучших результатов рекомендуется использовать до 131 072 токенов. Также поддерживается ускорение инференса с помощью Multi-Token Prediction. К сильным сторонам относятся мультимодальное понимание изображений, длинный контекст, ориентированность на агентские рабочие процессы и возможность локального развертывания. Вариант 35B-A3B позиционируется как компромисс между качеством и скоростью для CPU или гибридной CPU/GPU-инференции, включая частичную выгрузку на CPU. Для корректной работы необходимо использовать встроенный пользовательский chat template, а в многошаговых диалогах сохранять полное предыдущее сообщение ассистента вместе с данными о рассуждениях и вызовах инструментов. Лицензия — Apache-2.0.

calme-2.3-rys-78b — дообученная MaziyarPanahi диалоговая языковая модель на базе dnhkng/RYS-XLarge. Она предназначена для ответов на вопросы, чат-ботов и виртуальных помощников, генерации и суммаризации текстов, работы с кодом, решения сложных задач и поддержки принятия решений. Модель использует архитектуру Qwen2 с 76,7 млрд параметров, работает с текстом и поддерживает шаблон диалога ChatML; заявленная длина контекста — 32 768 токенов. В карточке указан английский язык, а в качестве обучающего набора — truthy-dpo-v0.1-axolotl. Модель распространяется по лицензии MIT. Как и другие большие языковые модели, она может воспроизводить смещения и выдавать ненадёжные ответы; для ответственных сценариев нужны проверка результатов и человеческий контроль.

DeepSeek-V2-Chat — диалоговая языковая модель компании DeepSeek AI на архитектуре Mixture-of-Experts (DeepSeekMoE) с механизмом внимания MLA. В README указаны 236 млрд параметров всего и 21 млрд активируемых на каждом токене; метаданные репозитория сообщают 18,1 млрд параметров. Модель дообучена методами supervised fine-tuning и reinforcement learning на базе предварительно обученной DeepSeek-V2. Модель предназначена для диалога, генерации текста, ответов на вопросы, рассуждений и задач по программированию. Она поддерживает контекст до 128 тысяч токенов по README; механизм MLA сокращает KV-кэш. В README приведены результаты оценки на английских и китайских тестах и описаны сильные результаты в открытой генерации и кодировании. Для локального запуска в BF16 README требует восемь GPU по 80 ГБ. Лицензия в метаданных обозначена как other; конкретные условия следует сверять с лицензией репозитория.

Andycurrent/gemma-3-12b-it-uncensored-GGUF — производная instruction-tuned модель Gemma 3 с 12 млрд параметров, разработанная на базе Google Gemma 3 12B IT. Базовую архитектуру разработала Google, а кураторство и выпуск этой версии указаны за BrainDAO. Репозиторий также содержит вариант Vision-Language Model (VLM), поддерживающий работу с изображениями и текстом. Модель предназначена для общего ассистирования, диалогов, следования инструкциям, логического и аналитического рассуждения, написания и отладки кода, исследовательского анализа, агентных сценариев с инструментами, а для VLM-варианта — для описания изображений, визуальных вопросов и ответов и мультимодального общения. Заявлена поддержка английского языка. Модель ориентирована на локальное и приватное развертывание; для работы следует использовать формат инструкций Gemma, а VLM-вариант требует мультимодального формата входных данных, поддерживаемого конкретным inference-фреймворком. Ключевая особенность версии — минимальные дополнительные ограничения выравнивания: заявлено отсутствие специально добавленных слоёв безопасности, отказов и alignment-ограничений сверх базовой модели. Это может дать больше контроля над системными промптами и меньше искусственных отказов, но одновременно означает необходимость самостоятельной оценки рисков, фильтрации и безопасного применения. Ограничения включают отсутствие дополнительных гарантий безопасности, а также потенциальную зависимость возможностей и производительности от используемого варианта, GGUF-квантизации и среды инференса; подробности о размере контекста и конкретных параметрах квантизации в README не указаны. Модель распространяется по пользовательской Gemma License, унаследованной от базовой модели Google. Это не Apache-2.0, MIT или другая стандартная open-source-лицензия; перед использованием, распространением или встраиванием необходимо ознакомиться с условиями Gemma License и соблюдать применимое законодательство.

GLM-4.5-FP8 — открытая большая языковая модель семейства GLM-4.5, разработанная организацией Z.ai (Zhipu AI). Это вариант GLM-4.5 с точностью FP8, предназначенный для генерации текста, рассуждений, программирования и создания интеллектуальных агентов, включая сценарии с использованием инструментов. Модель построена по архитектуре Mixture-of-Experts (MoE) и содержит 355 млрд параметров, из которых активно используются 32 млрд. Она поддерживает гибридное рассуждение в двух режимах: thinking mode для сложных задач и работы с инструментами и non-thinking mode для быстрых прямых ответов. В карточке указаны языки English и Chinese; модель интегрируется с Transformers, vLLM и SGLang. Размер контекста в предоставленных данных не указан. Сильные стороны модели — сочетание возможностей рассуждения, программирования и агентных задач, а также сниженная точность FP8, потенциально позволяющая эффективнее использовать вычислительные ресурсы по сравнению с полноточными вариантами. В README приведены высокие результаты на TAU-Bench, AIME 24 и SWE-bench Verified, однако конкретные требования к аппаратному обеспечению и ограничения производительности для данной конфигурации в предоставленном фрагменте не раскрыты. Модель распространяется по лицензии MIT и допускает коммерческое использование и вторичную разработку.

GLM-4.7-Flash-GGUF — это GGUF-версия модели GLM-4.7-Flash, подготовленная Unsloth на основе модели Z.ai. Это языковая модель для генерации текста с архитектурой MoE: 30 млрд параметров, из которых при обработке активируется около 3 млрд. Модель поддерживает английский и китайский языки; размер контекста в README не указан. Модель предназначена для общего диалога, рассуждений, программирования, агентских сценариев, вызова инструментов и локального развертывания. Заявлены сильные результаты на задачах математического и научного рассуждения, программирования, веб-поиска и взаимодействия с инструментами. Для локального запуска указана поддержка llama.cpp, vLLM, SGLang и Transformers; также допускается дообучение через Unsloth. Ключевое преимущество модели — сочетание высокой заявленной производительности с относительно компактным числом активных параметров, что делает её подходящей для более эффективного развертывания по сравнению с плотными моделями сопоставимого общего размера. Ограничения включают необходимость использовать актуальные версии некоторых фреймворков, а для GGUF-файлов — корректные параметры генерации; в README отдельно рекомендуется отключить repeat penalty и учитывать настройки temperature, top-p и min-p. Модель распространяется по лицензии MIT.

unsloth/gpt-oss-20b-bnb-4bit — 4-битная версия модели gpt-oss-20b, опубликованная Unsloth и основанная на открытой модели OpenAI. Она предназначена для генерации текста, локального и специализированного использования, сценариев с пониженной задержкой, рассуждений и агентских задач. Модель поддерживает вызов функций, веб-браузинг, выполнение кода на Python и структурированные ответы. gpt-oss-20b — разреженная MoE-модель с 21 млрд параметров, из которых при обработке активны 3,6 млрд. Она обучена в формате ответов harmony и должна использоваться с ним. Доступна настройка интенсивности рассуждений — низкая, средняя или высокая. Модель поддерживает дообучение, а 4-битное представление снижает требования к памяти; исходная модель рассчитана на работу в пределах 16 ГБ памяти. В README не указаны языки и размер контекстного окна. Полный процесс рассуждений доступен для отладки и повышения прозрачности, но не предназначен для показа конечным пользователям. Лицензия Apache 2.0 разрешает использование, модификацию и коммерческое развертывание без требований copyleft. Ограничения связаны с необходимостью корректно применять формат harmony и с тем, что README не содержит подробной оценки качества, перечня поддерживаемых языков или гарантий безопасности.

unsloth/gpt-oss-20b-GGUF — GGUF-версия открытой весовой модели gpt-oss-20b, разработанной OpenAI и подготовленной к распространению командой Unsloth. Модель предназначена для генерации текста, задач, требующих рассуждений, агентских сценариев и локального или специализированного использования с пониженной задержкой. Это MoE-модель примерно на 21 млрд параметров, из которых при обработке активны около 3,6 млрд. Она поддерживает настраиваемый уровень рассуждений — low, medium или high — и возможности function calling, веб-браузинга, выполнения Python-кода и Structured Outputs. Модель обучена работать в формате harmony, который необходимо использовать для корректной работы. GGUF-вариант рассчитан на запуск через совместимые инструменты, а нативная MXFP4-квантизация позволяет разместить модель примерно в 16 ГБ памяти; конкретные характеристики зависят от варианта квантизации. Сильные стороны модели — открытые веса, возможность тонкой настройки, агентские функции, гибкое соотношение качества и задержки, а также удобство локального запуска. Ограничения включают обязательное использование harmony-формата и необходимость самостоятельно оценивать качество, безопасность и пригодность результатов для конкретного применения. Указанная лицензия Apache 2.0 допускает свободное использование, модификацию и коммерческое развертывание без copyleft-ограничений.

DeepXR/Helion-V2.0-Thinking — мультимодальная модель семейства LLaVA от DeepXR для диалогов и анализа изображений. По README, она содержит 10,2 млрд параметров: языковую часть на базе Llama 2 и визуальный энкодер SigLIP; заявлены контекст до 200 000 токенов, поддержка нескольких изображений и работа через Transformers. Модель принимает текст и изображения и генерирует текст, включая ответы на вопросы, пояснения и вызовы инструментов в структурированном формате. Модель предназначена для анализа документов, диаграмм, графиков и скриншотов, генерации и объяснения кода, многошаговых диалогов и интеграции с API. README заявляет поддержку более 12 языков, однако указывает, что модель в первую очередь оптимизирована для английского. Репозиторий распространяется по лицензии Apache 2.0. Заявленные ограничения: качество визуального анализа зависит от четкости и освещения изображения; обработка контекста длиной свыше 150 000 токенов требует значительной видеопамяти; ответы могут содержать ошибки. Для медицинских и юридических решений README рекомендует проверку человеком.

K2-Horizon-32B — плотная авторегрессионная языковая модель с архитектурой K2HorizonForCausalLM, разработанная IFM. Модель содержит 31,2 млрд параметров и предназначена для генерации текста в диалогах, решения задач на рассуждение, программирование и сценариев с агентами. Для работы с чатом и вызовом инструментов предусмотрены соответствующие парсеры; основной pipeline-тег — text-generation. Модель поддерживает контекст до 524 288 токенов и опубликована в формате Safetensors для Transformers. В карточке указаны английский язык и открытая публикация обучающих данных, рецепта и кода обучения. Указанная лицензия — Apache-2.0. Для заявленного качества авторы рекомендуют высокий уровень рассуждений; для обслуживания описаны конфигурации vLLM и SGLang, включая использование двух ускорителей H200.

Llama-3.3-Nemotron-Super-49B-v1 — языковая модель NVIDIA, созданная на основе Meta Llama-3.3-70B-Instruct и оптимизированная методом Neural Architecture Search. Это плотный decoder-only Transformer с нестандартными блоками: в части блоков пропущено внимание или оно заменено линейным слоем, а соотношение размеров слоёв FFN различается. В метаданных указано 87 млрд параметров; модель принимает текстовый контекст до 131 072 токенов и выдаёт текст. Модель предназначена для рассуждений, диалогов и следования инструкциям, включая задачи с кодом и математикой, работу с RAG и вызов инструментов в агентных системах. Она прошла многоэтапное дообучение с SFT и обучением с подкреплением; итоговый чекпойнт объединяет SFT- и RPO-чекпойнты. Оптимизация архитектуры нацелена на снижение потребления памяти и повышение пропускной способности при небольшом снижении качества; модель рассчитана, в частности, на высокую нагрузку на одном GPU NVIDIA H200. Основной язык — английский; также заявлена поддержка немецкого, французского, итальянского, португальского, хинди, испанского и тайского. Модель предназначена для коммерческого использования, однако в метаданных лицензия обозначена как other, поэтому перед внедрением следует проверить условия лицензии на странице модели. Конкретные показатели качества и ограничения по задачам в предоставленной карточке не приведены.

unsloth/Phi-3.5-mini-instruct-bnb-4bit — 4-битная версия инструкционной языковой модели Phi-3.5-mini-instruct, разработанной Microsoft и опубликованной в формате, совместимом с Transformers. Модель относится к семейству Phi-3, обучалась на синтетических данных и отфильтрованных общедоступных веб-материалах с акцентом на плотные по содержанию данные для рассуждений. Указана поддержка многоязычного применения и контекста до 128K токенов. Модель предназначена для создания генеративных AI-систем и функций общего назначения, особенно в средах с ограниченными ресурсами и требованиями к низкой задержке. Она ориентирована на выполнение инструкций, а также задачи программирования, математики, логики и других сценариев, требующих рассуждений. Квантование BNB до 4 бит снижает требования к памяти и может упростить запуск и дообучение, однако конкретные характеристики производительности зависят от оборудования и конфигурации. К ограничениям относятся возможные ошибки, неточности, проблемы безопасности и смещения, типичные для языковых моделей. Модель не оценивалась отдельно для всех прикладных областей, поэтому перед использованием в критически важных или регулируемых сценариях необходимы самостоятельная проверка качества, безопасности, справедливости и соответствия требованиям законодательства. В README указана лицензия MIT.

duyntnet/cogito-v1-preview-llama-8B-imatrix-GGUF — это набор imatrix-квантизированных версий текстовой instruction-tuned модели Cogito v1-preview-llama-8B, разработанной командой deepcogito и опубликованной пользователем duyntnet в формате GGUF. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования, задач STEM, общего помощника и вызова инструментов. Модель относится к гибридным reasoning-моделям: она может отвечать напрямую в стандартном режиме или выполнять расширенное самообдумывание перед ответом. Обучение проводилось с использованием метода Iterated Distillation and Amplification (IDA). Указаны поддержка контекста до 128K токенов, более 30 языков, включая английский, а также текстовый ввод и текстовый вывод. Заявлены улучшенные многоязычные, программные и tool-calling возможности по сравнению с сопоставимыми по размеру моделями. Формат GGUF подходит для локального запуска через llama.cpp и совместимые приложения, включая KoboldCPP, Ollama, text-generation-webui, LM Studio и GPT4All. Расширенное мышление включается специальной системной инструкцией или параметром enable_thinking в chat template. К ограничениям относятся отсутствие в README точных характеристик базовой архитектуры и параметров квантизации, а также возможное снижение качества по сравнению с исходной моделью из-за квантизации. Лицензия обозначена как other; при этом исходное описание указывает на открытую лицензию с разрешением коммерческого использования, но её точные условия не приведены.

Dolphin 2.7 Mixtral 8X7B AWQ — квантизированная 4-битная версия языковой модели Dolphin 2.7 Mixtral 8X7B, разработанной Cognitive Computations и подготовленной TheBloke. Модель основана на архитектуре Mixtral и предназначена для генерации текста, выполнения инструкций, диалоговых сценариев и задач программирования. При обучении использовались наборы данных Dolphin, Airoboros, Dolphin Coder, OpenHermes, Magicoder, Capybara и другие. Основной язык модели — английский. Модель использует квантизацию AWQ с параметрами 4 бит, group size 128 и форматом GEMM. Максимальная заявленная длина последовательности составляет 8192 токена, размер файлов модели — около 24,65 ГБ. Предусмотрен шаблон запросов ChatML с отдельными ролями system, user и assistant. Квантизация уменьшает требования к памяти и ускоряет инференс при сохранении качества, однако может незначительно влиять на точность по сравнению с исходной версией в формате FP16. Для запуска поддерживаются AutoAWQ, vLLM, Transformers и text-generation-webui; для Mixtral AWQ подтверждена работа vLLM версии 0.2.6. AWQ-версии рассчитаны преимущественно на Linux и Windows с GPU NVIDIA, поэтому на macOS рекомендуется использовать формат GGUF. В README указано, что модель распространяется по лицензии Apache-2.0.

coder3101/gemma-4-26B-A4B-it-heretic — мультимодальная диалоговая модель на базе Google Gemma 4 26B A4B IT, дообученная автором репозитория. Она принимает текст и изображения и генерирует текст; подходит для диалогов, рассуждений, программирования, анализа изображений и агентных сценариев с вызовом инструментов. По карточке базовой модели Gemma 4 поддерживает распознавание объектов, чтение документов и экранов, OCR, анализ диаграмм и последовательностей видеокадров. Для этой версии доступны веса SafeTensors и библиотека Transformers; контекст базовой модели составляет до 256 тысяч токенов. Модель обозначена как uncensored/decensored/abliterated. Эти метки указывают на изменение поведения относительно базовой модели, но карточка не описывает методику или объём изменений и не приводит отдельную оценку качества. Поддержка аудио заявлена только для вариантов Gemma 4 E2B и E4B, поэтому её не следует приписывать этой версии. Возможны ошибки в фактах, трудности с нюансами языка и сложными открытыми задачами, а также смещения из обучающих данных. Лицензия — Apache-2.0.

AtomicChat/gemma-4-31B-it-assistant-GGUF — квантизированная в формат GGUF версия модели google/gemma-4-31B-it-assistant, подготовленная Atomic Chat на основе оригинальных весов Google. Модель предназначена для локальной и полностью офлайн-генерации текста, работы в чат-сценариях, решения задач рассуждения, программирования, анализа документов и других задач, поддерживаемых базовой моделью. Для запуска доступны варианты Q4_K_S, Q4_K_M, Q5_K_M, Q8_0 и F16; рекомендуется Q4_K_M как компромисс между размером, скоростью и качеством. Модель содержит 30,7 млрд параметров и 60 слоёв. Это плотный decoder-only трансформер с гибридным вниманием: sliding-window с окном 1024 токена и глобальным вниманием; используется 32 attention heads и 16 KV heads. Заявленная длина контекста — до 256 тысяч токенов, словарь содержит 262 тысячи токенов. Базовая модель поддерживает текст и изображения, однако представленный репозиторий содержит только текстовые GGUF-кванты без vision projector. Семейство Gemma 4 ориентировано на развитое рассуждение и поддерживает настраиваемые режимы размышления. Сильными сторонами являются большой контекст, высокая заявленная производительность базовой модели в задачах общего тестирования, математики, программирования и мультимодального анализа, а также возможность эффективного локального запуска благодаря квантизации и калибровке importance matrix. Ограничения связаны с потерями качества по сравнению с полной точностью, зависимостью требований к памяти от выбранного варианта квантизации и отсутствием обработки изображений в файлах этого репозитория. Приведённые результаты бенчмарков относятся к базовой модели Google, а не к независимым измерениям этих квантизированных файлов. Для корректного применения чат-шаблона Gemma 4 при запуске в llama.cpp требуется параметр --jinja. Модель распространяется по лицензии Apache 2.0.

RedHatAI/gemma-4-31B-it-FP8-dynamic — квантизированная FP8-версия мультимодальной модели google/gemma-4-31B-it, подготовленная RedHatAI. Модель построена на архитектуре Gemma4ForConditionalGeneration, принимает текст и изображения и генерирует текст. Она предназначена для генерации текста, диалоговых сценариев, следования инструкциям, рассуждений и вызова инструментов. Веса модели статически квантизированы в FP8 с масштабированием по каналам, а активации динамически квантизируются во время инференса с масштабированием по токенам. Квантизация применяется к линейным операторам трансформерных блоков; vision tower, embedding-слои и выходная голова сохраняют исходную точность. Это примерно вдвое уменьшает число бит на параметр, размер модели на диске и требования к памяти GPU по сравнению с 16-битной версией. Заявлены поддержка tool calling и режим reasoning/thinking. Модель оптимизирована для инференса через vLLM; в предоставленной конфигурации используется максимальная длина контекста 32768 токенов, а также специальные reasoning- и tool-call-парсеры Gemma 4. Оценки на GSM8K Platinum, MMLU-Pro, IFEval, MATH-500, AIME 2025, GPQA Diamond, LiveCodeBench v6 и BFCLv4 показывают близкие к исходной модели результаты, однако конкретные значения зависят от режима thinking. Модель распространяется по лицензии Apache 2.0.

Google DeepMind Gemma 4 31B IT QAT — мультимодальная инструкционно настроенная модель с плотной архитектурой для генерации текста и диалогов, а также понимания изображений. Эта версия представляет собой unquantized QAT-чекпойнт: веса в формате safetensors извлечены из конвейера обучения с учётом квантования; для неё указана базовая модель google/gemma-4-31B-it-assistant. Лицензия — Apache 2.0. Модель подходит для рассуждений, программирования, ответов на вопросы и агентных сценариев с вызовом инструментов. Она принимает текст и изображения и выдаёт текст; семейство Gemma 4 поддерживает контекст до 256 тысяч токенов, а также многоязычную работу. В карточке описаны распознавание текста и документов на изображениях, понимание диаграмм и интерфейсов, но обработка аудио заявлена только для меньших моделей семейства, а не для 31B. QAT-чекпойнты предназначены для снижения требований к памяти при сохранении качества, близкого к bfloat16; конкретный объём экономии для этой версии не приведён. Для ускорения генерации с помощью спекулятивного декодирования совместимая assistant-модель должна быть QAT-чекпойнтом той же точности. Модель может ошибаться в ответах и коде; карточка не приводит количественных оценок качества именно этого чекпойнта.

openai/gpt-oss-20b — открытая по весам языковая модель, разработанная OpenAI для задач рассуждения, агентных сценариев и универсального использования разработчиками. Она предназначена для локального запуска, специализированных решений и приложений, где важны сниженная задержка и умеренные требования к ресурсам, включая генерацию текста, вызов функций, веб-б browsing, выполнение Python-кода и Structured Outputs. Модель построена на архитектуре Mixture of Experts (MoE) и содержит 21 млрд параметров, из которых 3,6 млрд активны при обработке запроса. Она поддерживает настраиваемый уровень рассуждений — низкий, средний или высокий — и обучена работать с форматом ответов harmony, использование которого обязательно для корректной работы. Модель доступна для запуска через Transformers, vLLM, PyTorch/Triton, Ollama и LM Studio; благодаря квантованию весов MoE в формате MXFP4 она может работать примерно в пределах 16 ГБ памяти. К сильным сторонам относятся открытая настройка, возможность дообучения, агентные инструменты и гибкое управление балансом качества рассуждений и задержки. При этом модель является текстовой, а README не содержит сведений о поддерживаемых языках, размере контекстного окна, результатах оценивания и ограничениях качества. Полная цепочка рассуждений доступна разработчику для отладки и повышения доверия, но не предназначена для показа конечным пользователям. Лицензия Apache 2.0 допускает свободное использование, модификацию и коммерческое развертывание.

FastFlowLM/GPT-OSS-20B-NPU2 — текстовая генеративная модель на базе openai/gpt-oss-20b, разработанной OpenAI. Она предназначена для задач рассуждения, универсальной генерации текста, локального и специализированного применения, а также агентских сценариев для разработчиков, включая вызов функций, веб-б browsing, выполнение Python-кода и Structured Outputs. Модель относится к серии open-weight gpt-oss-20b: заявлено 21 млрд параметров, из которых 3,6 млрд активны при инференсе. Используется архитектура MoE с постобучением весов в формате MXFP4; модель рассчитана на работу примерно в пределах 16 ГБ памяти. Поддерживается настраиваемый уровень рассуждения — low, medium или high, а также дообучение. Формат входа и ответа должен соответствовать harmony response format, иначе модель может работать некорректно. README не содержит подтвержденных сведений о языках, размере контекста и мультимодальных возможностях; по указанному pipeline_tag модель предназначена для генерации текста. Сильными сторонами являются относительно низкие требования к памяти, возможность локального запуска, настраиваемый баланс качества рассуждений и задержки, а также пригодность для кастомизации и агентских приложений. К ограничениям относятся обязательное использование harmony response format и то, что цепочку рассуждений не рекомендуется показывать конечным пользователям. Модель распространяется по лицензии Apache 2.0, допускающей свободное использование, модификацию и коммерческое развертывание.

Карточка модели stapspop/Hermes-3-Llama-3.1-405B на Hugging Face совпадает с карточкой NousResearch/Hermes-3-Llama-3.1-405B, поэтому описание составлено по ней. Hermes 3 405B — большая языковая модель общего назначения от Nous Research, созданная полным дообучением Meta-Llama-3.1-405B. Она рассчитана на диалог с ассистентом, следование инструкциям, рассуждения, ролевые сценарии, генерацию кода и работу с инструментами. Модель поддерживает многошаговые беседы и контекст до 131 072 токенов; для диалога используется формат ChatML, также предусмотрены вызовы функций и структурированный вывод JSON. Модель содержит около 403,7 млрд параметров, использует плотную архитектуру Llama и распространяется в формате Safetensors. Для запуска полной версии в FP16 требуется более 800 ГБ видеопамяти; в README также упоминается отдельная FP8-квантизация NeuralMagic для VLLM, требующая около 430 ГБ. Лицензия — Llama 3.1 Community License (llama3). Карточка позиционирует Hermes 3 как модель общего назначения с улучшенными агентными возможностями, управляемостью и генерацией кода.

Hermes 3 Llama 3.1 405B FP8 — языковая модель общего назначения от Nous Research, дообученная на основе Meta Llama 3.1 405B. Это плотная авторегрессионная модель семейства Llama с 403,7 млрд параметров и контекстом до 131 072 токенов. Данная версия квантизована в FP8 методом NeuralMagic и предназначена для запуска через vLLM; по данным карточки, для неё требуется около 430 ГБ видеопамяти. Модель предназначена для диалогового ассистента, следования инструкциям, рассуждений, ролевого общения, генерации кода и работы с длинным контекстом. Она поддерживает формат диалога ChatML, вызов функций и структурированный вывод JSON, позволяя интегрировать её в агентные сценарии и приложения с инструментами. Основной язык, подтверждённый карточкой, — английский. Модель выдаёт конкурентные результаты относительно инструкционных моделей Llama 3.1, но качество зависит от задачи и сценария. Это текстовая модель, поэтому она не принимает изображения или аудио. FP8-вариант требует значительных ресурсов для запуска и совместим с vLLM. Лицензия — Llama 3; применяются её условия использования.

unsloth/Kimi-K2-Thinking-BF16 — публикация модели Kimi K2 Thinking в формате BF16, размещённая Unsloth и основанная на moonshotai/Kimi-K2-Thinking. Это текстовая разговорная модель с архитектурой DeepSeek V3; карточка описывает исходную Kimi K2 Thinking как модель с архитектурой Mixture-of-Experts, примерно 1 трлн параметров и 32 млрд активируемых параметров. В метаданных данной публикации указано 37,9 млрд параметров. Модель предназначена для сложных рассуждений, работы с инструментами, исследований, программирования и написания текстов. Заявлены контекст до 256 тыс. токенов и способность поддерживать длинные последовательности вызовов инструментов; результаты тестов в README получены с поиском, браузером и интерпретатором кода там, где указано использование инструментов. Это текстовая модель, а не модель для обработки изображений или аудио. Метаданные указывают лицензию «other», поэтому конкретные условия использования следует сверять с лицензией и уведомлениями в репозитории. README описывает INT4-квантизацию исходной Kimi K2 Thinking, однако эта публикация заявлена как BF16, а в метаданных указан формат safetensors; результаты и характеристики исходной версии не следует автоматически переносить на эту публикацию.

Ling-3.0-flash-int4 — текстовая генеративная модель от inclusionAI, представленная в формате int4 и распространяемая по лицензии MIT. Она предназначена для генерации текста, рассуждений, следования инструкциям, программирования, задач общего назначения, глубокого исследования и агентских рабочих процессов, включая взаимодействие с инструментами и выполнение многошаговых задач. Модель использует гибридную линейную MoE-архитектуру с чередованием 35 слоёв Kimi Delta Attention (KDA) и 7 слоёв Gated MLA в соотношении 5:1, двумя плотными слоями, 512 маршрутизируемыми и одним общим экспертом; на токен активируется 8 экспертов. Общий объём составляет 124 млрд параметров, активный — 5,1 млрд. Размер скрытого состояния — 2560, число голов внимания — 32, словарь содержит 157184 токена. Контекст обучался поэтапно от 8K до 256K токенов. README не указывает поддерживаемые языки и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Сильные стороны модели — высокая вычислительная эффективность, поддержка длинного контекста, рассуждений и агентских сценариев, а также оптимизация для производственного развёртывания. Указана интеграция с иерархическим кэшированием SGLang HiCache и Mooncake, которое, по данным разработчика, снижает время до первого токена на 60–80% при длинных входах. Ограничения включают отсутствие в README подробностей о точности int4, фактических требованиях к аппаратному обеспечению, качестве на конкретных языках и результатах независимой проверки. Лицензия — MIT.

bullerwins/Meta-Llama-3.1-8B-Instruct-GGUF — GGUF-квантизированная версия инструкционной модели Meta-Llama-3.1-8B-Instruct, разработанной Meta. Это авторегрессионная языковая модель на основе оптимизированной архитектуры Transformer; инструкционная настройка выполнена с использованием supervised fine-tuning и обучения с подкреплением на основе обратной связи от людей. Модель предназначена для диалоговых ассистентов, генерации текста и кода, а также коммерческого и исследовательского применения, включая создание синтетических данных и дистилляцию. Она работает только с текстом на входе и выходе, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Размер модели — 8B параметров, контекст — до 128K токенов, используется Grouped-Query Attention. Ключевые преимущества — мультиязычность, поддержка длинного контекста и локального запуска через совместимые инструменты llama.cpp. Эта версия требует llama.cpp 5e2727f или более новой из-за исправлений токенизатора и RoPE. Модель является статичной и обучена на офлайн-данных с отсечкой знаний в декабре 2023 года, поэтому не обладает актуальными знаниями без внешних источников. Качество и потребление ресурсов зависят от выбранного уровня GGUF-квантизации, который в README не указан. Распространяется по коммерческой лицензии Llama 3.1 Community License; использование также ограничено применимыми законами, Acceptable Use Policy и условиями лицензии.