II.7DevOps, облако и эксплуатация IT-систем

Virtuoso-Medium-v2 — языковая модель на 32 млрд параметров от Arcee AI для генерации текста и диалоговых сценариев. Она основана на архитектуре Qwen2.5-32B и использует токенизатор Qwen; по карточке модели, её обучали дистилляцией логитов Deepseek-v3 на большом объёме данных, затем применяли слияние и DPO. Метаданные каталога обозначают связь с Qwen/Qwen2.5-32B как дообучение, поэтому происхождение модели указано как дообучение. Модель рассчитана на чат-ботов и виртуальных помощников, анализ данных и автоматизацию рабочих процессов, а также задачи в технических, научных и STEM-сценариях, включая код и математику. Контекст достигает 131 072 токенов. Модель поддерживает генерацию текста и имеет интерфейс для вызова инструментов. В карточке заявлены высокие результаты на ряде бенчмарков, однако конкретные численные результаты и условия оценки не приведены. База знаний может не охватывать события после июня 2024 года, а ответы могут содержать ошибки, предвзятость или вредный контент. Лицензия — Apache-2.0.

C4AI Command R7B — открытая исследовательская модель с весами, разработанная Cohere и Cohere For AI. Данный репозиторий содержит её квантизированные версии в формате GGUF с использованием imatrix, предназначенные для локального запуска через llama.cpp и совместимые с рядом клиентских интерфейсов, включая KoboldCPP, Ollama, Jan, text-generation-webui и GPT4All. Модель имеет 7 миллиардов параметров и контекстное окно 128K токенов. Это мультиязычная text-generation модель, обученная на 23 языках. Она предназначена для рассуждений, суммаризации, ответов на вопросы, генерации кода, Retrieval Augmented Generation (RAG) и использования инструментов. Также заявлены агентные возможности: модель может комбинировать несколько инструментов и выполнять многошаговые задачи. К её сильным сторонам относятся широкий контекст, поддержка нескольких языков и ориентация на корпоративные сценарии, включая работу с кодом. Ограничения связаны с относительно небольшим размером по сравнению с крупными моделями и необходимостью использовать совместимое программное обеспечение; для запуска GGUF-файлов требуется llama.cpp версии b4415 или новее. Модель распространяется по лицензии CC-BY-NC, которая не допускает коммерческое использование, а также требует соблюдения Acceptable Use Policy от C4AI. Репозиторий содержит квантизированные производные исходной модели c4ai-command-r7b-12-2024, опубликованной Cohere For AI.

calme-2.2-qwen2-72b — плотная языковая модель на базе Qwen2-72B-Instruct, дообученная MaziyarPanahi. Она предназначена для диалоговых систем, генерации и обобщения текста, ответов на вопросы, работы с кодом и решения сложных задач. Модель содержит 71,5 млрд параметров, использует архитектуру Qwen2 и шаблон диалога ChatML; контекст — до 32 768 токенов. Поддерживаемый в метаданных язык — английский. Модель подходит для виртуальных помощников, генерации контента, суммаризации, анализа кода и систем поддержки решений. В README приведены результаты оценок на нескольких бенчмарках, включая TruthfulQA. Это текстовая модель, работающая через библиотеку Transformers; веса доступны в формате safetensors. Лицензия указана как other, поэтому перед использованием следует проверить условия лицензирования репозитория. Как и другие большие языковые модели, она может выдавать предвзятые или ошибочные ответы; при внедрении рекомендованы safeguards и проверка человеком.

calme-2.3-llama3.1-70b — языковая модель MaziyarPanahi, дообученная на базе Meta Llama 3.1 70B Instruct с использованием датасета truthy-dpo-v0.1-axolotl. Это плотная авторегрессионная архитектура LlamaForCausalLM на 69,5 млрд параметров; модель предназначена для генерации текста в формате чата ChatML и поддерживает контекст до 131 072 токенов. Модель подходит для ответов на вопросы, чат-ботов и виртуальных помощников, создания и суммаризации текстов, генерации и анализа кода, а также решения сложных задач и поддержки принятия решений. В карточке приведены результаты Open LLM Leaderboard, включая IFEval и BBH, но они не гарантируют качество в конкретном приложении. Возможны смещения и ошибки; при использовании следует предусмотреть проверки человеком. Доступна в формате safetensors через Transformers. Лицензия в предоставленных данных не указана.

duyntnet/cogito-v1-preview-qwen-14B-imatrix-GGUF — набор imatrix-квантизаций языковой модели Cogito v1-preview Qwen 14B, первоначально разработанной deepcogito. Это instruction-tuned генеративная модель формата «текст на входе — текст на выходе», предназначенная для диалогов, генерации текста, программирования, задач STEM, следования инструкциям, общего ассистирования и вызова инструментов. Репозиторий предоставляет варианты в формате GGUF для локального запуска через llama.cpp и совместимые приложения, включая KoboldCPP, text-generation-webui, Ollama, Jan и LM Studio. Модель использует гибридный подход к рассуждениям: может отвечать напрямую в стандартном режиме или выполнять дополнительную саморефлексию в режиме extended thinking. Поддерживаются одиночные, параллельные и комбинированные вызовы инструментов. Модель обучалась более чем на 30 языках и поддерживает контекст до 128k токенов; заявлены улучшенные многоязычные возможности, качество программирования и tool calling по сравнению с моделями сопоставимого размера. Архитектура описана как Qwen 14B, однако точные параметры GGUF-квантизаций в README не приведены. К сильным сторонам относятся сочетание стандартного и рассуждающего режимов, широкий контекст, поддержка многоязычных сценариев, программирования и инструментов, а также возможность локального инференса. Ограничения включают preview-статус исходной модели, зависимость характеристик от конкретного варианта квантизации и отсутствие в README точных данных о размерах файлов, требованиях к оборудованию и результатах бенчмарков. Указана лицензия other; при этом исходное описание сообщает, что модели Cogito выпущены по открытой лицензии с разрешением коммерческого использования, но точные условия лицензии для данного репозитория не раскрыты.

cyankiwi/gemma-4-26B-A4B-it-AWQ-4bit — это 4-битно квантованная версия Gemma 4 26B A4B instruction-tuned, подготовленная cyankiwi на базе модели Google DeepMind. Квантование выполнено в формате AWQ, а калибровочный набор ориентирован на STEM-задачи и агентские сценарии. Размер модели составляет 17,19 ГБ. Модель предназначена для генерации текста, программирования, рассуждений, агентских рабочих процессов и мультимодального понимания изображений и текста. Архитектура базовой модели — Mixture-of-Experts; для варианта 26B A4B заявлено 26 млрд общих параметров и около 4 млрд активных параметров. Для средних моделей Gemma 4 заявлено контекстное окно до 256K токенов. Поддерживаются английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Ключевые преимущества — уменьшенное потребление памяти благодаря AWQ-квантованию, поддержка длинного контекста, мультимодальный ввод и возможности Gemma 4 в области рассуждений, кодирования и вызова функций. Ограничением является возможная потеря качества по сравнению с полной точностью, характерная для 4-битных квантованных моделей; конкретные требования к видеопамяти и результаты бенчмарков в README не указаны. Лицензия — Apache 2.0.

unsloth/gemma-4-31B-it-GGUF — квантизированная GGUF-версия инструкционно дообученной модели Google DeepMind Gemma 4 31B, подготовленная Unsloth. Модель предназначена для локального запуска и использования в приложениях, где необходимы генерация текста, программирование, рассуждения, агентские сценарии и мультимодальное понимание изображений. Она поддерживает нативный system prompt, function calling и настраиваемые режимы рассуждений. Модель имеет плотную архитектуру с 30,7 млрд параметров, 60 слоями, размером скользящего окна 1024 токена и контекстом до 256K токенов. Она принимает текст и изображения, генерирует текст, поддерживает более 140 языков и использует гибридное внимание, объединяющее локальное скользящее и глобальное внимание. Формат GGUF ориентирован на эффективный запуск через совместимые инструменты, включая llama.cpp, однако конкретный уровень квантизации в представленном README не указан. Сильными сторонами являются большой контекст, мультимодальность, возможности рассуждения и программирования, а также поддержка локального развертывания. Ограничения связаны с высокой вычислительной и оперативной нагрузкой, характерной для модели такого размера, и с тем, что аудиовход для версии 31B не заявлен. Модель распространяется по лицензии Apache 2.0; авторами семейства Gemma 4 указаны Google DeepMind.

GLM-4.6-Flash-text — текстовая версия модели GLM-4.6V-Flash от zai-org, опубликованная в репозитории sartajbhuvaji. Из исходной мультимодальной модели удалена система обработки изображений; дообучение, дистилляция и переобучение не выполнялись. Текстовый путь сохранён побитово идентичным исходной модели, что подтверждено сравнением логитов на коротких и длинных последовательностях. Модель предназначена для генерации и обработки текста, включая ответы на вопросы, программирование, объяснение понятий, перевод и работу с длинным контекстом. Поддерживаются английский и китайский языки. Архитектура представляет собой декодер GLM-4: 40 слоёв, скрытое представление размерностью 4096, 32 головы внимания и 2 KV-головы с GQA, словарь на 151 552 токена и максимальная длина позиций 131 072 токена. Количество параметров составляет около 9,4 млрд, размер BF16-весов — около 18,8 ГБ. Доступны также варианты GGUF с квантованием Q8_0, Q6_K, Q5_K_M и Q4_K_M. Главное преимущество — сохранение качества текстовой части исходной модели при уменьшении размера весов и снижении требований к памяти при серверном запуске. В описанном сценарии vLLM на A100-SXM4-40GB модель обеспечивала больше доступной KV-кэш-памяти, более высокую максимальную параллельность и существенно более быструю инициализацию по сравнению с исходной мультимодальной конфигурацией. Ограничение модели — отсутствие поддержки изображений и других мультимодальных входов; она предназначена только для текста. Лицензия — MIT.

QuantTrio/GLM-4.7-Flash-AWQ — квантованная версия модели GLM-4.7-Flash, разработанной командой GLM (Z.ai). Модель предназначена для генерации текста, рассуждений, программирования, решения задач и агентских сценариев, включая использование инструментов. Она поддерживает английский и китайский языки и рассчитана на работу с Transformers, vLLM и SGLang. В основе лежит MoE-архитектура размером 30B-A3B: общий объём параметров составляет около 30 млрд, при этом в вычислениях активируется примерно 3 млрд параметров. Версия AWQ занимает около 19 GiB и ориентирована на более эффективное локальное развёртывание. В README для запуска через vLLM указан максимальный контекст 32 768 токенов, а также поддержка tensor parallelism, expert parallelism, tool calling и speculative decoding. Приведённые результаты показывают сильные показатели в математике, общих знаниях, программировании, агентских задачах и веб-поиске, однако сравнительные результаты зависят от конкретного бенчмарка. Основные ограничения — необходимость актуальных версий vLLM и Transformers, поддержка модели только в основных ветках соответствующих проектов, требование CUDA 12.8 для указанной конфигурации и рекомендованный запуск с распределением на два GPU. Лицензия модели — MIT.

GLM-5.3-Flash — мультимодальная модель семейства GLM, разработанная zai-org. Она принимает текст и изображения и предназначена для диалогов, анализа визуальных данных, программирования и агентных сценариев с использованием инструментов. Модель имеет плотную архитектуру Glm5NextForConditionalGeneration с гибридным механизмом разреженного и линейного внимания; заявлены 320 млрд параметров, из которых активно используются 18 млрд. В репозитории представлены веса safetensors в формате FP8, библиотека для работы — Transformers. Разработчик сообщает о предварительном обучении на мультимодальном корпусе объёмом 30 трлн токенов и о поддержке длинного контекста, однако приведённые в README пределы контекста относятся к отдельным оценочным сценариям и не задают универсальный лимит модели. Можно регулировать объём рассуждений параметром reasoning_effort. В карточке указаны английский и китайский языки. Модель доступна под лицензией MIT. Заявления о сравнительных результатах и стоимости приведены разработчиком и зависят от условий тестирования и развёртывания.

Granite-4.2-8B — языковая модель команды Granite компании IBM для диалогов, рассуждений и работы с инструментами. Это плотный декодерный трансформер GraniteForCausalLM с 8,4 млрд параметров, доступный в формате safetensors и рассчитанный на библиотеку Transformers. Модель дообучена на базе ibm-granite/granite-4.1-8b-base; лицензия Apache 2.0 разрешает коммерческое и академическое использование. Модель предназначена для ответов на вопросы, многошаговых рассуждений, математических и программных задач, а также сценариев, где нужно выбирать и вызывать инструменты. Поддерживаются режимы полного, облегчённого и отключённого рассуждения. Метаданные указывают контекст до 131 072 токенов. Архитектура включает Grouped Query Attention, RoPE, SwiGLU и RMSNorm. Модель обучалась преимущественно на английских инструкциях, также включает многоязычные данные для немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Качество на других языках может уступать английскому; ответы могут быть неточными, предвзятыми или небезопасными. Текст рассуждений может содержать промежуточные мысли и не отражать итоговый ответ.

QuantFactory/Llama-3.1-Nemotron-Nano-8B-v1-GGUF — квантизированная версия Llama-3.1-Nemotron-Nano-8B-v1, созданная QuantFactory с использованием llama.cpp на основе модели NVIDIA. Это текстовая reasoning- и chat-модель для генерации текста, решения математических и программных задач, рассуждений, instruction following, RAG, tool calling, чат-ботов и AI-агентов. Модель предназначена для локального использования и помещается на одной RTX GPU. Архитектура — плотный decoder-only Transformer семейства Llama 3.1, размер — 8B параметров. Модель работает только с текстом, поддерживает контекст до 131 072 токенов и генерирует текст. Основной язык — английский, также заявлена поддержка немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков, а также языков программирования. Reasoning mode управляется системным промптом; для режима рассуждений рекомендуются temperature 0.6 и top_p 0.95, для обычного режима — greedy decoding. Сильные стороны модели — сочетание качества рассуждений, поддержки чата, RAG и вызова инструментов с умеренными требованиями к вычислительным ресурсам и возможностью локального запуска. Ограничения включают текстовую модальность, зависимость поведения от правильной настройки reasoning mode и возможные особенности качества, связанные с квантизацией GGUF; конкретный уровень квантизации в README не указан. Использование регулируется NVIDIA Open Model License; также указана дополнительная Llama 3.1 Community License Agreement. Модель заявлена как пригодная для коммерческого использования.

Llama-3.3-Nemotron-Super-49B-v1.5 — большая языковая модель NVIDIA, созданная на основе Meta Llama-3.3-70B-Instruct и оптимизированная с помощью Neural Architecture Search. В метаданных указано 87 млрд параметров; модель использует плотную архитектуру и поддерживает контекст до 131 072 токенов. Модель предназначена для рассуждений, диалогов и выполнения инструкций на английском языке, а также для задач с кодом. Она дообучалась на математике, программировании, естественных науках и вызове инструментов; дополнительные этапы постобучения улучшили следование предпочтениям в чате, рассуждения и агентные сценарии. Подходит для чат-ботов, AI-агентов и систем RAG, а интерфейс вызова инструментов позволяет подключать внешние функции. README указывает поддержку немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Оптимизация архитектуры рассчитана на более эффективное использование памяти и пропускной способности; заявлена возможность размещения на одном GPU H200 при высокой нагрузке. Модель предназначена для коммерческого использования; в метаданных лицензия обозначена как other, поэтому конкретные условия следует сверять с лицензией репозитория. Для практического развертывания нужны значительные вычислительные ресурсы.

Mistral Small 3 (2501) — инструктивно дообученная языковая модель Mistral AI Team на базе Mistral-Small-24B-Base-2501. Это плотная авторегрессионная модель семейства Mistral с 23,4 млрд параметров и контекстом 32 768 токенов; репозиторий содержит веса в safetensors и рассчитан на запуск, в частности, через vLLM. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений и задач программирования, а также для сценариев с вызовом функций и формированием JSON. Карточка описывает многоязычную поддержку, включая английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский. Разработчик отмечает возможность локального развёртывания; после квантизации модель может помещаться в память RTX 4090 или MacBook с 32 ГБ ОЗУ. Для работы без квантизации указано требование около 55 ГБ видеопамяти в bf16 или fp16. Модель подходит для локальных диалоговых агентов с низкой задержкой и настройки под специализированные задачи. Она распространяется по лицензии Apache 2.0, допускающей коммерческое и некоммерческое использование и модификацию. Приведённые в карточке оценки получены на конкретных внутренних и публичных тестах и не гарантируют аналогичного качества на других данных; для заявленных возможностей вызова функций и JSON важно использовать подходящий формат шаблона и совместимые инструменты.

Карточка модели nasooh1/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4 на Hugging Face совпадает с карточкой baseten/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4-dequant-to-BF16, поэтому описание составлено по ней. Nemotron-3-Ultra-550B-A55B-NVFP4-dequant-to-BF16 — большая языковая модель NVIDIA для диалогов, рассуждений и агентных сценариев. Она использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2 и Mixture of Experts, отдельными слоями Attention и Multi-Token Prediction. Всего в модели 550 млрд параметров, из них 55 млрд активны при вычислении; репозиторий содержит веса SafeTensors в BF16, полученные из NVFP4-чекпойнта. Модель предназначена для сложных многошаговых задач, следования инструкциям, анализа длинных документов и кодовых баз, а также для создания чат-ботов, RAG-систем и AI-агентов. Она поддерживает генерацию текста и чат на английском, французском, испанском, итальянском, немецком, португальском, японском, корейском, хинди, арабском, китайском и иврите. Карточка заявляет контекст до 1 млн токенов, тогда как метаданные указывают 262 144 токена; фактический предел зависит от конфигурации используемого чекпойнта и среды запуска. Модель рассчитана на крупные многонодовые развёртывания и требует мощного оборудования NVIDIA. Лицензия указана как other; README разрешает коммерческое и некоммерческое использование, но конкретные условия следует сверить с текстом лицензии репозитория.

mlx-community/Qwen3-14B-bf16 — версия Qwen3-14B, подготовленная сообществом mlx-community для запуска через библиотеку MLX. Модель преобразована из Qwen/Qwen3-14B с помощью mlx-lm версии 0.24.0; в репозитории используются веса safetensors. Это плотная авторегрессионная языковая модель с 14 млрд параметров и контекстом до 40 960 токенов. Модель предназначена для диалогов, следования инструкциям, рассуждений, генерации кода и многоязычного текста. Интерфейс поддерживает чат и вызов инструментов. Она принимает текст и генерирует текст; отдельные языки в предоставленных метаданных не перечислены. Лицензия Apache-2.0 разрешает использование на её условиях.

sirigidipandu/qwen3-4b-instruct-2507 — текстовая причинно-авторегрессионная модель семейства Qwen3 на 3,7 млрд параметров. Карточка описывает её как обновлённую instruct-версию Qwen3-4B, обученную на этапах предварительного и последующего обучения. Модель принимает текст и генерирует ответы в диалоговом формате; поддерживает контекст до 262 144 токенов и режим без рассуждений в специальном формате thinking. Модель предназначена для следования инструкциям и диалогов, рассуждений, понимания текста, математики, естественных наук, программирования и использования инструментов. В карточке также отмечены улучшения многоязычных знаний и работы с открытыми запросами. Репозиторий использует Transformers и содержит веса в формате safetensors; предусмотрен интерфейс вызова инструментов. Ограничение: модель работает только в режиме без thinking и не предназначена для генерации специальных блоков thinking. Лицензия Apache-2.0 разрешает коммерческое использование с соблюдением её условий.

Qwen3-4B-Instruct-2507 — плотная причинно-языковая модель семейства Qwen3, представленная в репозитории Unsloth как вариант исходной Qwen/Qwen3-4B-Instruct-2507. Она предназначена для диалогов и следования инструкциям, рассуждений, понимания текста, математики, естественных наук, программирования и использования инструментов. Модель работает только в режиме без явного пошагового рассуждения и поддерживает вызов инструментов через соответствующий интерфейс. В модели около 3,7 млрд параметров; архитектура — Qwen3ForCausalLM, формат весов — safetensors. Нативная длина контекста составляет 262 144 токена. Карточка заявляет улучшенные многоязычные возможности, но не перечисляет конкретные языки. Модель выпущена под лицензией Apache-2.0. Веса доступны для применения в задачах генерации текста и построения диалоговых и агентных систем.

unsloth/Qwen3-4B-Instruct-2507-bnb-4bit — 4-битная квантованная версия Qwen3-4B-Instruct-2507, подготовленная Unsloth на основе модели Qwen, разработанной командой Qwen. Это авторегрессионная языковая модель для генерации текста и диалогового взаимодействия; она ориентирована на следование инструкциям, логическое рассуждение, понимание текста, математику, научные задачи, программирование, использование инструментов и открытые текстовые сценарии. Модель поддерживает только non-thinking режим и не формирует блоки <think></think>. Модель содержит около 4 млрд параметров, из которых 3,6 млрд не относятся к embedding, имеет 36 слоёв и архитектуру Grouped Query Attention с 32 головами для Q и 8 для KV. Нативная длина контекста составляет 262 144 токена. Заявлены улучшения в многоязычных задачах и покрытии редких знаний, однако конкретный список поддерживаемых языков в README не приведён. Модель предназначена для text-generation и может использоваться через Transformers, а также разворачиваться с помощью SGLang или vLLM. К сильным сторонам относятся компактный размер, сниженные требования к памяти благодаря 4-битной квантованию, длинный контекст и улучшенные результаты в рассуждениях, кодировании, следовании инструкциям, творческом письме и агентских сценариях. Ограничения включают отсутствие режима reasoning с отдельными блоками размышлений, возможные потери точности из-за квантования и отсутствие в README подробностей о требованиях к оборудованию и фактической производительности именно квантованной версии. Лицензия указана как Apache-2.0.

ISTA-DASLab/Qwen3.8-27B-3Bit-GSQ — это квантованная версия Qwen/Qwen3.8-27B, опубликованная ISTA-DASLab и созданная с применением метода GSQ (Gumbel-Softmax Quantization). Модель предназначена для рассуждений, программирования, научных и общих текстовых задач, многоязычного понимания, обработки длинного контекста и агентских сценариев. В контрольную выборку для квантования также входили математические, кодовые, научные, мультиязычные и длинноконтекстные данные. Веса transformer-корпуса квантованы до 3 бит с размером группы 128. Слой эмбеддингов и LM head квантованы отдельно до 4 бит методом RTN с размером группы 64 для сохранения качества вывода и эмбеддингов. Контрольная точность на AIME 2025 составила 100%, а на GPQA Diamond — 91,41% в одном прогоне; авторы предупреждают о значительной вариативности таких результатов. Чекпойнт поддерживает vision-компоненты, однако они не калибровались на мультимодальных данных, поэтому качество работы с изображениями может быть ограничено. Размер составляет около 11,83 ГБ с vision-компонентами и 10,90 ГБ в text-only режиме. Для сервинга через vLLM требуется версия 0.27.1 и специальный патч для поддержки квантованных embedding-весов. Спекулятивное декодирование не поддерживается: компоненты MTP удалены из опубликованного чекпойнта. Лицензия — Apache-2.0.

Qwen3.8-27B-GPTQ-INT4 — квантованная версия базовой модели Qwen/Qwen3.8-27B, опубликованная пользователем abhishekchohan. Модель предназначена для диалогов, следования инструкциям, математических и научных задач, программирования, агентских сценариев и мультиязычной работы. Она поддерживает текстовые и визуальные входы, а также нативный контекст до 262 144 токенов. Используется 4-битное асимметричное квантование весов INT4 с GPTQ, group_size=32 и статическим упорядочиванием активаций. Квантированы основные линейные слои 64 текстовых слоёв, тогда как нормализации, эмбеддинги, языковая голова, визуальный ViT-энкодер, слои DeltaNet и предиктор MTP сохранены в BF16. Размер весов составляет около 27 ГБ вместо примерно 55,6 ГБ у версии BF16. Калибровка выполнена на данных по следованию инструкциям, математике, науке, коду и мультиязычным задачам. По представленным оценкам, модель в целом сохраняет качество BF16-версии в пределах статистического шума на большинстве тестов и полностью сохраняет результаты поиска информации в контексте до 262 144 токенов. При этом на MathVision зафиксировано снижение результата на 2,5 пункта, а поведение агентских сценариев и вызова инструментов отдельно не оценивалось. Поддерживаются thinking, tool calling и speculative decoding при использовании совместимой версии vLLM; полный контекст требует значительного объёма видеопамяти. Лицензия — Apache-2.0. Расширение контекста до 1 млн токенов через YaRN в этом чекпойнте не проверялось.

calme-2.2-qwen2.5-72b — плотная языковая модель MaziyarPanahi, дообученная на основе Qwen2.5-72B-Instruct. Она предназначена для диалогов и генерации текста: ответов на вопросы, работы виртуальных помощников, создания и суммаризации текстов, генерации и анализа кода, а также решения сложных задач. Модель содержит 71,5 млрд параметров, использует архитектуру Qwen2ForCausalLM и формат весов safetensors; для общения применяется шаблон ChatML. Контекст составляет до 32 768 токенов. В метаданных указан английский язык; README описывает широкие языковые сценарии, но не подтверждает поддержку конкретных дополнительных языков. README приводит результаты Open LLM Leaderboard, в том числе 84,77 по IFEval и 61,80 по BBH; оценки относятся к указанным настройкам тестирования и не гарантируют качество в конкретном применении. Известные ограничения — возможные предвзятость и ошибки, поэтому при внедрении важны проверка ответов и человеческий контроль. Лицензия обозначена как other, без уточнения конкретных условий в предоставленных данных.

Falcon3-10B-Instruct — инструкция-ориентированная языковая модель семейства Falcon3, разработанная Technology Innovation Institute. Она предназначена для диалогов и выполнения инструкций, включая задачи рассуждения, понимания языка, программирования и математики. Модель основана на причинном декодере Transformer с 40 блоками, архитектурой GQA, SwiGLU и RMSNorm; содержит 9,9 млрд параметров и работает с контекстом до 32 тыс. токенов. Она дообучена на разговорных, STEM-, программных, безопасностных данных и примерах вызова функций. Поддерживает английский, французский, испанский и португальский языки; репозиторий содержит веса Safetensors для Transformers. Модель подходит для создания диалоговых помощников, анализа и генерации текста, помощи с кодом и решения математических задач. Качество зависит от задачи, а результаты бенчмарков в карточке отражают оценки на момент выпуска. Лицензия — TII Falcon-LLM License 2.0.

QuantTrio/gemma-4-31B-it-AWQ — это квантизированная версия инструкционно дообученной мультимодальной модели google/gemma-4-31B-it, разработанной Google DeepMind. Репозиторий QuantTrio содержит AWQ-квантизацию, выполненную методом data-free quantization без калибровочного датасета. Модель принимает текст и изображения и генерирует текст, поэтому предназначена для диалогов, анализа изображений, генерации текста, программирования, рассуждений и агентских сценариев с вызовом инструментов. Базовая модель относится к плотной архитектуре Gemma 4 и содержит около 30,7 млрд параметров, 60 слоёв и словарь размером 262 тысячи токенов. Она использует гибридный механизм внимания с чередованием локального sliding-window attention и глобального внимания; размер локального окна составляет 1024 токена. Заявленное контекстное окно — до 256 тысяч токенов. Для мультимодальной обработки используется визуальный энкодер примерно на 550 млн параметров; аудио для версии 31B не заявлено. Семейство Gemma 4 поддерживает более 140 языков, однако отдельные характеристики языкового покрытия именно этой сборки в README не уточняются. К сильным сторонам относятся большой контекст, поддержка изображений, возможности рассуждения, кодирования, native function calling и оптимизация для эффективного серверного развёртывания через vLLM. AWQ-квантизация уменьшает размер модели: указанный размер файлов составляет около 20 GiB, что может снизить требования к видеопамяти по сравнению с полной точностью. Ограничениями являются возможная потеря качества из-за квантизации, необходимость совместимых версий vLLM и Transformers, CUDA 12.8 и конфигурации с tensor parallelism; фактические требования зависят от выбранных параметров запуска и оборудования. Модель распространяется по лицензии Apache 2.0 с дополнительными условиями лицензии Gemma 4, ссылка на которую указана в README.

GigaChat 3.1 Lightning — компактная instruct-модель семейства GigaChat 3.1 от ai-sage. Это модель класса Mixture-of-Experts с архитектурой DeepSeek V3: 10 млрд параметров, из которых при генерации активны 1,8 млрд. В этой версии веса представлены в BF16; используются Multi-head Latent Attention для сокращения KV-кэша и Multi-Token Prediction, которое может ускорять декодирование. Контекст составляет до 262 144 токенов. Модель предназначена для многоязычных диалогов и инструкций, рассуждений, программирования, вызова функций и развёртывания в прикладных продуктах. Карточка указывает поддержку русского и английского; обучающий корпус семейства охватывает 10 языков. Среди описанных сценариев — работа с поиском и цитированием, интерпретация кода с учётом файлов и диалоги с инструментами. Репозиторий использует Transformers и формат safetensors. Разработчик сообщает об улучшениях на задачах математики, программирования и других сложных областях, а также о высокой скорости генерации; приведённые результаты зависят от бенчмарка и конфигурации оборудования. Лицензия — MIT. Модель может ошибаться, а заявленные характеристики скорости требуют подходящей инфраструктуры и поддержки MTP в используемом движке.

cyankiwi/GLM-4.7-Flash-AWQ-4bit — 4-битная AWQ-квантизованная версия GLM-4.7-Flash, разработанной командой GLM и распространяемой организацией zai-org. Это языковая модель для генерации текста, рассуждений, программирования и агентских сценариев, включая взаимодействие с инструментами и решение задач, требующих многошагового планирования. Модель построена по архитектуре MoE с конфигурацией 30B-A3B: общий размер составляет около 30 млрд параметров, при этом на каждом шаге активируется примерно 3 млрд. Указаны поддерживаемые языки English и Chinese, библиотека Transformers и текстовая модальность. В README приведены настройки генерации с максимальной длиной нового вывода до 131 072 токенов, однако размер контекстного окна явно не указан. Для локального запуска заявлена совместимость с Transformers, vLLM и SGLang; для этой версии также требуется учитывать поддержку AWQ-квантизации используемым фреймворком. Сильными сторонами являются сочетание производительности и эффективности при локальном развертывании, а также результаты на задачах рассуждений, программирования, веб-поиска и взаимодействия с инструментами. Ограничениями выступают возможные потери качества из-за 4-битной квантизации и необходимость актуальных версий программного обеспечения для поддержки модели. В README указана лицензия MIT.

Карточка модели crusoeai/gpt-oss-120b-BF16 на Hugging Face совпадает с карточкой unsloth/gpt-oss-120b-BF16, поэтому описание составлено по ней. unsloth/gpt-oss-120b-BF16 — вариант модели gpt-oss-120b от Unsloth, основанный на openai/gpt-oss-120b. Это генеративная языковая модель с архитектурой MoE; карточка описывает исходную gpt-oss-120b как модель на 117 млрд параметров, из которых активно 5,1 млрд, а метаданные этого репозитория указывают 2,1 млрд параметров. Модель предназначена для диалога, сложных рассуждений, агентных сценариев и задач разработчиков. Она поддерживает настройку уровня рассуждений и работу с вызовом функций, веб-поиском, выполнением Python-кода и структурированными ответами. Контекстное окно — 131 072 токена. Для корректной работы требуется формат диалога Harmony; в README также отмечено, что цепочку рассуждений не следует показывать конечным пользователям. Репозиторий содержит веса Safetensors и рассчитан на Transformers. Лицензия — Apache 2.0, допускающая коммерческое использование.

Hermes 4 70B — большая языковая модель Nous Research для диалога и генерации текста, дообученная на базе Meta Llama 3.1 70B. Она содержит около 69,5 млрд параметров, использует плотную архитектуру Llama и поддерживает контекст до 131 072 токенов. Модель рассчитана на ответы ассистента, рассуждения, математику, программирование, STEM-задачи, логику и творческое письмо; также заявлены следование инструкциям, вызов инструментов и генерация структурированных ответов, включая JSON. Hermes 4 предлагает гибридный режим рассуждений, в котором модель может выводить отдельные сегменты обдумывания, а также обучена точнее придерживаться заданных схем и форматов. README описывает улучшенную управляемость и снижение отказов, но эти характеристики заявлены разработчиком и не гарантируют корректность или безопасность каждого ответа. В карточке указаны английский язык и лицензия Llama 3; использование регулируется условиями этой лицензии. Для запуска модели такого размера обычно требуется мног GPU или подходящая квантизированная версия.

Hunyuan-4B-Instruct — языковая модель Tencent на архитектуре HunYuan Dense V1 с 3,9 млрд параметров, дообученная для выполнения инструкций и диалогов на основе tencent/Hunyuan-4B-Pretrain. Она предназначена для генерации ответов, решения математических и научных задач, программирования, рассуждений и сценариев с использованием инструментов. Модель поддерживает режимы быстрого и пошагового рассуждения и контекст до 262 144 токенов; для инференса использует Transformers, также в карточке описано развертывание через TensorRT-LLM, vLLM и SGLang. Среди заявленных сильных сторон — работа с длинными текстами и агентными задачами, а также эффективный инференс благодаря Grouped Query Attention. В README приведены результаты бенчмарков для задач математики, науки, программирования, рассуждений, следования инструкциям, работы с агентами и длинным контекстом; таблица отдельно предупреждает, что часть результатов получена для базовых моделей семейства. Данных о лицензии в предоставленной карточке нет.

Hunyuan-7B-Instruct — плотная языковая модель Tencent с 7,5 млрд параметров, дообученная для следования инструкциям на базе tencent/Hunyuan-7B-Pretrain. Она предназначена для диалогов, ответов на вопросы, рассуждений, решения математических задач, программирования и агентных сценариев. Модель поддерживает быстрый и медленный режимы рассуждения, а также эффективный вывод с Grouped Query Attention; карточка модели описывает поддержку контекста до 256K токенов, тогда как метаданные репозитория указывают нативный контекст 32 768 токенов. Модель принимает текст и генерирует текст. Для запуска доступны Transformers, TensorRT-LLM, vLLM и SGLang; для развертывания описаны варианты квантования. Карточка указывает на высокие результаты в математике, программировании, следовании инструкциям и агентных бенчмарках, однако приведенные результаты включают тестирование базовых моделей и не являются гарантией качества в конкретном применении. Лицензия в предоставленных данных не обозначена.