II.7DevOps, облако и эксплуатация IT-систем

Duyntnet/stable-code-instruct-3b-imatrix-GGUF — набор imatrix-квантизованных версий модели Stable Code Instruct 3B, разработанной Stability AI. Модель предназначена для генерации текста и выполнения инструкций, связанных прежде всего с программированием, например для написания HTML-кода и других фрагментов программ. Поддерживаемый язык — английский. Модель содержит около 3 миллиардов параметров и распространяется в формате GGUF, что ориентировано на запуск с использованием совместимых локальных средств инференса. В README не указаны точная архитектура, размер контекстного окна, перечень поддерживаемых модальностей и конкретные варианты квантизации. Пример использования предусматривает диалоговый шаблон, генерацию до 1024 новых токенов и настройку параметров sampling. Сильной стороной модели является специализация на инструкциях для задач программирования и возможность локального запуска в квантизованном формате. Ограничения включают англоязычную специализацию, отсутствие заявленной поддержки других модальностей и неполное описание технических характеристик. В метаданных указана лицензия other, однако её точные условия в README не приведены.

Yi-9B-Coder — языковая модель для генерации кода, созданная дообучением Yi-9B командой TechxGenus. Модель содержит 8,6 млрд параметров, использует плотную архитектуру семейства Llama и доступна в формате safetensors для Transformers. Контекст составляет 4096 токенов. Модель обучали на дополнительных 0,5 млрд токенов, связанных с программированием, в течение трёх эпох. Она принимает текстовые инструкции в формате Alpaca без системного промпта и генерирует текст, прежде всего код. В README приведён результат 69,5 pass@1 на HumanEval-Python. Подходит для генерации кода по инструкциям и решения задач программирования. По заявлению авторов, модель может ошибаться и выдавать вводящую в заблуждение информацию, слабо справляется с задачами вне программирования и прошла ограниченное тестирование. Лицензия — Apache-2.0.

Granite-4.2-30B (MXFP4) — квантизированная версия языковой модели Granite-4.2-30B, разработанная командой Granite компании IBM. Это открытая text-generation модель для рассуждений, генерации и анализа кода, многошаговых задач, диалога, вызова инструментов и агентных рабочих процессов. Вариант MXFP4 предназначен для инференса с уменьшенными требованиями к памяти; он получен квантизацией исходной модели с помощью GPTQ, калиброванной на 2 тысячах примеров из SFT-датасета. Исходная модель представляет собой decoder-only dense Transformer с архитектурой GraniteForCausalLM, примерно 30 млрд параметров, 64 слоями, Grouped Query Attention с 32 attention heads и 8 KV heads, RoPE, SwiGLU, RMSNorm и раздельными входными и выходными embedding. Модель поддерживает текстовую модальность, встроенное рассуждение в режимах полного, отключённого и low-effort thinking, native tool calling и OpenAI-совместимые сценарии развёртывания. Нативный контекст составляет 128K токенов; заявлено расширение long-context до 512K. Тестировались English, German, Spanish, French, Japanese, Portuguese, Arabic, Czech, Italian, Korean, Dutch и Chinese. Сильные стороны модели — рассуждения, программирование, следование инструкциям, вызов инструментов, агентные задачи и работа с длинным контекстом. Ограничения включают возможное снижение качества на языках кроме English, а также риск неточных, предвзятых или небезопасных ответов; раскрываемое содержимое reasoning может быть промежуточным и не отражать окончательный вывод. Модель распространяется по лицензии Apache 2.0.

GLM-5.3-GGUF — квантизированная версия модели GLM-5.3, распространяемая Unsloth на основе базовой модели zai-org/GLM-5.3. Это текстовая генеративная модель для задач, требующих рассуждений, написания и анализа кода, длительных многоэтапных рабочих процессов, взаимодействия с инструментами и автоматизации. Заявлена поддержка английского и китайского языков. Модель использует архитектуру GLM-5.3; точный размер, число параметров, тип и уровни GGUF-квантизации, а также максимальная длина контекста в представленном README не указаны. Доступно управление бюджетом рассуждений через параметр reasoning_effort со значениями low, high и max; по умолчанию используется max. В описании особо отмечены улучшения в сложном программировании и задачах с длинным горизонтом по сравнению с GLM-5.2, а также высокие результаты в тестах на поиск уязвимостей и эксплуатацию. Сильные стороны модели — программирование, агентные сценарии, работа с терминалом, автоматизация и кибербезопасность; при этом приведённые результаты являются заявленными бенчмарками и не гарантируют аналогичное качество в каждом применении. Для чат-сценариев рекомендуется явно задавать clear_thinking=true. Модель распространяется по лицензии glm-5.3; условия этой лицензии в README не приведены.

unsloth/gpt-oss-120b-GGUF — это GGUF-квантизированная версия открытой весовой модели gpt-oss-120b, разработанной OpenAI и подготовленной Unsloth. Модель предназначена для генерации текста, сложного рассуждения, универсальных задач разработки и агентных сценариев, включая вызов функций, веб-браузинг, выполнение Python-кода и Structured Outputs. Модель имеет MoE-архитектуру и 117 млрд параметров, из которых 5,1 млрд активны при обработке токена. Она поддерживает настраиваемый уровень рассуждения — низкий, средний или высокий — и обучена работать только с форматом ответов harmony. GGUF-версии содержат исправления Unsloth; F16-вариант сохраняет исходную точность. Формат GGUF ориентирован на запуск через совместимые инструменты, включая llama.cpp, при этом конкретные характеристики памяти и производительности зависят от выбранного уровня квантизации и оборудования. Сильные стороны модели — высокая способность к рассуждению, агентные возможности, доступность открытых весов, возможность дообучения и гибкая настройка компромисса между качеством и задержкой. Ограничения включают необходимость корректного применения harmony-формата, значительный общий размер модели и потенциальное снижение качества в квантизированных версиях. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое использование без copyleft-ограничений.

MiniMax-M2.7-NVFP4 — это текстовая большая языковая модель MiniMax M2.7, разработанная MiniMaxAI и опубликованная NVIDIA в варианте с квантизацией NVFP4. Модель предназначена для сложной разработки программного обеспечения, агентских сценариев с использованием инструментов, длительных многоэтапных задач, поиска и исправления ошибок в продуктивных системах, а также создания и редактирования офисных документов, исследовательской и аналитической автоматизации. Поддерживаются текстовые входы и выходы, включая длинные системные инструкции и контекст до 204 800 токенов. Модель построена на архитектуре Transformer со Sparse Mixture-of-Experts: содержит около 230 млрд параметров, из которых 10 млрд активируются при обработке, 62 слоя, размер скрытого представления 3072, 256 локальных экспертов и 8 активируемых экспертов на токен. Доступны интеграции с SGLang и vLLM; целевая аппаратная платформа — GPU NVIDIA с микроархитектурой Blackwell, предпочтительная операционная система — Linux. Сильными сторонами являются большой контекст, специализация на программировании, агентских рабочих процессах и многошаговом рассуждении, однако модель принимает только текст, сведения о языковом охвате и обучающих данных ограничены, а качество и безопасность требуют дополнительного тестирования под конкретные сценарии. Модель предназначена только для исследований и разработок. Использование регулируется NVIDIA Software and Model Evaluation License; дополнительно указана Non-Commercial MiniMax License.

NVIDIA-Nemotron-3-Super-120B-A12B-NVFP4 — большая языковая модель NVIDIA для диалогов, рассуждений и создания агентных систем. Она рассчитана на работу с английским, французским, немецким, итальянским, японским, испанским и китайским языками, а также с кодом. Модель подходит для чат-ботов, RAG-систем, обработки сложных инструкций и рассуждений по длинному контексту, включая автоматизацию IT-заявок и координацию нескольких агентов. Модель использует гибридную архитектуру LatentMoE: слои Mamba-2 чередуются со слоями Mixture-of-Experts и выборочными слоями внимания; также применяются Multi-Token Prediction для ускорения генерации и обучение с NVFP4-квантизацией. Всего в модели 120 млрд параметров, из которых активны 12 млрд. Заявленная длина контекста — до 1 млн токенов. Для вывода README указывает проверку с vLLM 0.18.0, RHAIIS 3.4 и RHOAI 3.4. Возможности модели включают диалог, рассуждения, следование инструкциям и работу в агентных сценариях. Она оптимизирована для высокой пропускной способности, но требует инфраструктуры для обслуживания крупной модели; фактическая производительность зависит от оборудования и конфигурации. В карточке лицензия обозначена как other, при этом README заявляет готовность модели к коммерческому использованию; конкретные условия лицензии следует сверить с файлами репозитория.

GLM-5.3-BF16 — открытая модель с весами от Z.ai для диалогов, программирования и выполнения длительных многоэтапных задач. По карточке, она использует ту же базовую модель, что и GLM-5.2, а улучшения получены на этапе последующего обучения. В метаданных указаны архитектура GLM-MoE-DSA, 30,4 млрд параметров, библиотека Transformers и формат safetensors; модель принимает текст и генерирует текст. Модель рассчитана на сложные задачи программирования и работу с агентскими сценариями. Карточка сообщает о результатах на бенчмарках кодирования, терминальных задач и поиска уязвимостей. Контекстное окно составляет до 1 048 576 токенов; параметр reasoning_effort управляет глубиной рассуждений. Указаны английский и китайский языки. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует сверить с лицензией репозитория. Карточка отмечает усиленные возможности в области кибербезопасности, включая обнаружение уязвимостей и эксплуатацию; при применении для таких задач необходимы соответствующие разрешения и контроль.

Granite-4.2-3B (NVFP4) — компактная языковая модель семейства Granite, разработанная командой Granite компании IBM. Это NVFP4-квантизованная версия Granite-4.2-3B, предназначенная для генерации текста, диалога, рассуждений, написания кода, вызова инструментов и агентных рабочих процессов. Модель построена как плотный decoder-only Transformer с архитектурой GraniteForCausalLM и содержит около 3 млрд параметров. Она поддерживает встроенный режим рассуждений с тегами <think>...</think>, а также режимы полного, отключённого и облегчённого рассуждения. Архитектура использует Grouped Query Attention, 40 attention heads, 8 KV heads, RoPE, SwiGLU и RMSNorm. Нативная длина контекста составляет 128K токенов, заявлено расширение до 512K. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель работает с текстом; мультимодальность не заявлена. Сильные стороны модели — небольшие размеры, поддержка длинного контекста, reasoning, генерации кода, tool calling и многоязычного диалога, что упрощает локальное и ресурсно-ограниченное развертывание. Ограничения включают более слабую и вариативную производительность на языках, отличных от английского, а также возможность неточных, предвзятых или небезопасных ответов; результаты NVFP4-квантизации могут отличаться от полноточной версии. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое и исследовательское использование.

NVIDIA-Nemotron-3-Super-120B-A12B-AWQ-4bit — квантизированная 4-битная версия большой языковой модели NVIDIA Nemotron-3-Super, разработанной NVIDIA Corporation. Модель предназначена для агентных сценариев, рассуждений, диалоговых приложений, использования инструментов, RAG и высоконагруженных задач, включая автоматизацию обработки IT-заявок. Она поддерживает настраиваемый режим рассуждений, который можно включать или отключать через шаблон чата. Архитектура основана на гибридном подходе LatentMoE с чередованием слоёв Mamba-2 и Mixture-of-Experts, а также отдельными слоями Attention. Модель содержит 120 млрд параметров, из которых активно используется 12 млрд, и применяет Multi-Token Prediction для ускорения генерации и повышения качества. Максимальная длина контекста составляет до 1 млн токенов. Поддерживаются английский, французский, немецкий, итальянский, японский, испанский и китайский языки. Для исходной модели указано минимальное требование в 8 GPU H100 с 80 ГБ памяти; AWQ-квантизация снижает требования к памяти, однако точные требования для данной сборки не приведены. К сильным сторонам относятся большой контекст, эффективность разреженной MoE-архитектуры, поддержка рассуждений, инструментального взаимодействия и агентных рабочих процессов. Ограничениями являются значительный общий размер модели и высокие требования к инфраструктуре, а также отсутствие в README подробных результатов тестирования именно для версии AWQ-4bit. Использование регулируется лицензией NVIDIA Nemotron Open Model License; в README указана готовность модели к коммерческому применению.

unsloth/Qwen3.8-2.4T-A95B-GGUF — квантованная версия открытой модели Qwen3.8-2.4T-A95B, подготовленная Unsloth с использованием подхода Unsloth Dynamic 2.0. Модель разработана командой Qwen и предназначена для генерации текста, программирования, профессиональных и исследовательских задач, а также для долгих многошаговых агентских сценариев. README указывает совместимость исходных артефактов с Transformers, vLLM, SGLang и TokenSpeed. Это причинная языковая модель с архитектурой Mixture of Experts: 2,4 трлн параметров всего, из которых активируется 95 млрд. Она содержит 92 слоя, скрытое измерение 8192 и 512 экспертов, из которых для обработки токена маршрутизируются 10 экспертов и один общий. Архитектура сочетает Gated DeltaNet и Gated Attention, а также поддерживает Multi-Token Prediction. Нативная длина контекста составляет 262 144 токена и может быть расширена примерно до 1 010 000 токенов. Управление глубиной рассуждений выполняется параметром reasoning_effort, а контекст рассуждений из предыдущих сообщений может сохраняться через preserve_thinking. Сильные стороны модели — высокий заявленный уровень для сложного кодирования, профессиональной работы, исследований, планирования и автономного выполнения задач, а также большой контекст и возможность настройки рассуждений. Ограничения включают крайне большой общий размер модели и соответствующие требования к памяти и инфраструктуре; конкретные требования зависят от выбранного GGUF-кванта и конфигурации запуска. В README не указаны поддерживаемые языки и точные параметры доступных квантований. Лицензия обозначена как qwen3.8-max; условия следует уточнять в файле LICENSE.

Qwen3.8-27B-FP8 — FP8-квантизированная версия модели Qwen3.8-27B, разработанной командой Qwen. Это плотная причинная языковая модель с визуальным энкодером, предназначенная для работы с текстом, изображениями и видео. Модель ориентирована на программирование, профессиональные и исследовательские задачи, автономное планирование, агентные сценарии и выполнение сложных многошаговых задач. Режим рассуждений включён по умолчанию, но может отключаться для отдельных запросов; глубина рассуждений настраивается параметром reasoning_effort, а контекст рассуждений из предыдущих сообщений может сохраняться через preserve_thinking. Модель содержит 27 млрд параметров, 64 слоя и использует архитектуру, сочетающую Gated DeltaNet и Gated Attention. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 000 000 токенов. Поддерживается понимание изображений и видео, включая документы, STEM-диаграммы и длительные видеоматериалы, однако конкретный перечень языков в README не указан. Веса квантизированы методом fine-grained FP8 с размером блока 128; заявлено, что показатели близки к исходной модели. Формат совместим с Hugging Face Transformers, vLLM, SGLang и другими инструментами инференса. Лицензия — Apache 2.0. Ограничениями являются необходимость подходящей инфраструктуры для локального развёртывания, возможные особенности FP8-инференса и отсутствие в предоставленных данных подробных результатов бенчмарков и языкового покрытия.

Qwen3.8-Flash-Next-MLX-SSD-Stream — подготовленная для mlx-serve версия модели Qwen3.8-Flash-Next, разработанная garnermccloud на базе весов Qwen, с таблицей FP8 от RadixArk и поддержкой Apple MLX. Модель предназначена для локального высокоскоростного инференса на Mac с unified memory, особенно для генерации кода, технических текстов, задач рассуждения, структурированных вызовов инструментов и работы с длинным контекстом. Она поддерживает текстовые, графические и видео-входы, а также OpenAI Chat Completions, Responses, Anthropic Messages и Ollama API. Архитектура включает Transformer и vision-компоненты примерно на 125 млрд параметров, из которых около 6 млрд активны на токен, а с учётом PLE-таблицы и MTP-весов логический общий объём составляет около 180 млрд параметров. Реализованы Mixture-of-Experts, sparse attention, n-gram embedding, native MTP и контекст до 262 144 токенов. Основные компоненты используют BF16, маршрутизируемые эксперты и MTP — Q4 affine, vocabulary head — Q6 affine, а 51,2-гигабайтная n-gram-таблица хранится в FP8 и потоково читается с SSD, снижая требования к unified memory. На Apple M4 Max с 128 ГБ заявлена скорость декодирования около 71–74 токенов в секунду в отдельных сценариях и prefill до 280,7 токена в секунду на длинном контексте. Сильные стороны модели — сочетание качества BF16-ядра, ускорения MTP, мультимодальности, большого контекста и возможности запускать конфигурацию с крупной таблицей без полного размещения в памяти. Ограничения — значительный размер подготовленного репозитория около 127 ГБ, зависимость от SSD и специализированного движка mlx-serve, а также оптимизация прежде всего под Apple Silicon; приведённые показатели относятся к M4 Max с 128 ГБ памяти. Модель распространяется по Qwen Community License; веса Transformer и vision предоставлены Qwen, таблица — из checkpoint RadixArk, а подготовленная конфигурация и поддержка SSD Stream — проектом garnermccloud/mlx-serve.

Apriel-H1-15b-Thinker-SFT — языковая модель на 15 млрд параметров от ServiceNow AI для генерации ответов, рассуждений и кода. Она построена на гибридной архитектуре Transformer и Mamba: часть слоёв внимания заменена линейными блоками Mamba. По заявлению разработчика, такая конструкция повышает пропускную способность инференса более чем вдвое по сравнению с Apriel-Nemotron-15B-Thinker при небольшом снижении качества рассуждений, математических решений и программирования. Модель получена дистилляцией Apriel-Nemotron-15B-Thinker, обучена для диалогов и поддерживает интерфейс вызова инструментов. Модель рассчитана на многошаговые рассуждения, помощь с кодом, ответы на вопросы, выполнение сложных инструкций и агентные сценарии. Контекстное окно — 65 536 токенов; фактический предел зависит от среды запуска. Шаблон диалога задаёт генерацию этапа рассуждения перед кратким финальным ответом. Наиболее сильные результаты заявлены для английского языка, качество на менее представленных языках может быть ниже. Модель выпущена под лицензией MIT. Она может ошибаться, выдавать устаревшие или предвзятые ответы и не предназначена для критически важных сценариев без проверки человеком; для медицинских, юридических и финансовых решений нужны соответствующие меры контроля.

Inferact/GLM-5.3-NVFP4 — языковая модель для генерации текста, разработанная командой Z.ai на базе zai-org/GLM-5.3-BF16. Модель предназначена прежде всего для сложного программирования, длительных многошаговых задач, работы с инструментами и автоматизации. В README указана поддержка английского и китайского языков, библиотекой по умолчанию является Transformers, а тип конвейера — text-generation. Ключевые сильные стороны модели — улучшенные по сравнению с GLM-5.2 возможности написания кода, решения задач разработки программного обеспечения, поиска уязвимостей и эксплуатации в тестовых средах. Согласно приведённым результатам, модель показывает высокие показатели на Terminal Bench 3.0, CyberGym, AutomationBench и ряде других тестов. Поддерживается управление интенсивностью рассуждений через параметр reasoning_effort со значениями low, high и max; по умолчанию используется max. Для локального развёртывания заявлена совместимость с SGLang, vLLM, Transformers, KTransformers, Unsloth и рядом решений для Ascend NPU. Точный размер модели, архитектура, число параметров, максимальная длина контекста и перечень поддерживаемых модальностей в README не указаны. Данные о результатах зависят от настроек генерации, контекстного окна и используемой инфраструктуры, поэтому показатели нельзя напрямую интерпретировать как универсальное качество. Лицензия обозначена как other, без подробного описания условий использования; перед применением необходимо проверить лицензионные условия исходного репозитория.

unsloth/Llama-3.1-Nemotron-Nano-8B-v1-GGUF — GGUF-версия модели Llama-3.1-Nemotron-Nano-8B-v1, разработанной NVIDIA и подготовленной Unsloth. Это языковая reasoning-модель на базе Meta Llama 3.1 8B Instruct, предназначенная для диалогов, следования инструкциям, генерации кода, математических и логических задач, RAG-систем, tool calling и AI-агентов. Модель рассчитана прежде всего на английский язык и языки программирования, также заявлена поддержка немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель представляет собой плотный decoder-only Transformer с архитектурой Llama 3.1 и примерно 8 млрд параметров. Она поддерживает текстовый ввод и вывод, контекст до 131 072 токенов, а также режимы с рассуждением и без него, переключаемые системным промптом. Постобучение включало supervised fine-tuning для математики, кода, рассуждений и tool calling, а также этапы reinforcement learning и оптимизации предпочтений. GGUF-формат и заявленная эффективность позволяют использовать модель локально, в том числе на одной RTX GPU; рекомендуемые аппаратные платформы исходной модели — NVIDIA Hopper и Ampere. Сильными сторонами являются сочетание качества рассуждений, чат-возможностей и вычислительной эффективности, а также поддержка длинного контекста и агентских сценариев. Ограничения включают преимущественную ориентацию на английский язык и языки программирования, зависимость поведения от корректной настройки режима рассуждения и устаревание части знаний: дата среза предобучающих данных Meta Llama 3.1 указана как 2023 год. Использование регулируется NVIDIA Open Model License; дополнительно указано соглашение Meta Llama 3.1 Community License Agreement. Модель заявлена как пригодная для коммерческого использования.

unsloth/Llama-3_3-Nemotron-Super-49B-v1-GGUF — GGUF-версия большой языковой модели Llama-3.3-Nemotron-Super-49B-v1, разработанной NVIDIA на основе Meta Llama-3.3-70B-Instruct и оптимизированной с применением Neural Architecture Search. Это плотная decoder-only Transformer-модель примерно на 49 млрд параметров с контекстом до 128K токенов и текстовым вводом. Модель предназначена прежде всего для английского языка и языков программирования, также поддерживает немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель ориентирована на рассуждения, диалог, следование инструкциям, генерацию кода, математику, RAG, tool calling и разработку AI-агентов, чат-ботов и других приложений на базе LLM. Постобучение включало SFT для математики, кода, рассуждений и вызова инструментов, а также этапы reinforcement learning и оптимизации предпочтений. Архитектура использует нестандартные блоки с пропуском или упрощением attention и переменным соотношением расширения FFN, что снижает требования к памяти и повышает эффективность при сохранении качества. Ограничениями являются преимущественно англоязычная специализация, возможное снижение качества на других языках и необходимость учитывать требования к ресурсам при запуске модели такого размера. Использование регулируется NVIDIA Open Model License; дополнительно указано соглашение Meta Llama 3.3 Community License Agreement. Модель заявлена как пригодная для коммерческого использования.

Qwen2.5-Coder-14B-Instruct-AWQ — инструкция-настроенная языковая модель для генерации текста и программного кода, разработанная командой Qwen. Она предназначена для написания, анализа, объяснения и исправления кода, решения задач программирования, а также для использования в чат-ассистентах и агентных системах разработчика. Модель основана на Qwen2.5-Coder-14B-Instruct и распространяется как 4-битная AWQ-квантизированная версия. Модель является каузальной языковой моделью с архитектурой на базе Transformers, RoPE, SwiGLU, RMSNorm и смещениями в QKV-внимании. Она содержит около 14,7 млрд параметров, 48 слоёв и использует Grouped Query Attention с 40 головами для Q и 8 для KV. Заявлена поддержка контекста до 131 072 токенов, однако исходная конфигурация рассчитана на 32 768 токенов; для более длинных входов требуется включение YaRN. Модель обучалась на данных, включающих исходный код, текстово-кодовые связи и синтетические данные, с общим объёмом обучения 5,5 трлн токенов. В метаданных README указан английский язык. К сильным сторонам относятся специализация на программировании, улучшенные генерация, рассуждение и исправление кода, а также сниженные требования к памяти благодаря 4-битной квантизации. Ограничения связаны с возможным ухудшением производительности на коротких текстах при статическом масштабировании YaRN и с тем, что для эффективной работы требуются совместимые версии Transformers и поддержка AWQ. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-14B-Instruct-GPTQ-Int4 — 4-битная GPTQ-квантизированная instruction-tuned модель для генерации и обработки кода из семейства Qwen2.5-Coder, разработанного командой Qwen/Alibaba Cloud. Модель предназначена для генерации, анализа, исправления и рассуждений о программном коде, а также для создания приложений на базе code agents. Она сохраняет общие математические и языковые возможности базовой модели Qwen2.5 и работает в формате causal language model. Модель содержит 14,7 млрд параметров, из которых 13,1 млрд не являются embedding-параметрами, и включает 48 слоёв. Архитектура использует transformers, RoPE, SwiGLU, RMSNorm и смещения в Attention QKV; применяется Grouped-Query Attention с 40 головами для Q и 8 для KV. Заявлена поддержка контекста до 131 072 токенов, однако конфигурация репозитория рассчитана на 32 768 токенов; для более длинных входов требуется включение YaRN, что может снижать производительность на коротких текстах. В README явно указан английский язык. Квантизация GPTQ Int4 уменьшает требования к памяти и облегчает развёртывание, но может влиять на качество по сравнению с полноточной версией. Для работы рекомендуется актуальная версия transformers, а для длинного контекста — vLLM с соответствующей настройкой. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-2.4T-A95B — текстовая причинная языковая модель семейства Qwen, опубликованная в открытом виде. Она предназначена для генерации ответов и выполнения сложных многошаговых задач в программировании, профессиональной работе, исследованиях и агентных сценариях. Модель поддерживает чат и интерфейс вызова инструментов; README указывает совместимость формата Transformers с vLLM, SGLang и TokenSpeed. Архитектура — Mixture of Experts с 92 слоями и 512 экспертами: всего 2,4 трлн параметров, из которых активируется 95 млрд. Нативная длина контекста составляет 262 144 токена и может расширяться примерно до 1,01 млн. Модель принимает только текст; для всех взаимодействий требуется режим рассуждения, который нельзя отключить. Модель не поддерживает мультимодальные входы, а её языковая поддержка в предоставленных данных не перечислена. В метаданных указана лицензия «other», без конкретных условий использования; перед применением следует проверить лицензию на странице модели. README описывает постобученные веса и файлы конфигурации.

BennyDaBall/Qwopus3.8-27B-Flash-NVFP4 — локальная квантованная версия модели Qwopus3.8-27B-Flash, разработанной Jackrong. Это GGUF-модель для запуска через llama.cpp и LM Studio, оптимизированная прежде всего для видеокарт NVIDIA Blackwell, включая RTX 5090. Модель предназначена для программирования, агентских сценариев, работы с инструментами и функциями, генерации кода и диалоговых приложений. В основе находится плотная текстовая модель с 27 млрд параметров и 64 текстовыми слоями, использующая NVFP4 для основных матриц внимания, Gated DeltaNet и MLP. В модели сохранена высокоточная MTP-компонента для встроенного speculative decoding без отдельной draft-модели. Выходные, embedding- и крупные MTP-тензоры имеют более высокую точность, а малые служебные тензоры сохранены в F32. Поддерживается контекст до 262 144 токенов. Модель мультимодальная: для анализа изображений используется отдельный совместимый BF16 vision projector. Заявлены языки English, Chinese, Spanish, Russian и Japanese. К сильным сторонам относятся уменьшенный размер по сравнению с исходной BF16-версией, встроенное ускорение генерации через MTP, поддержка изображений, tool use и function calling, а также готовый шаблон чата с поддержкой мультимодального ввода и сохранения reasoning-контента. Основные ограничения связаны с требованиями к окружению: оптимизация и проверка выполнены на одной RTX 5090 с 32 ГБ памяти, необходима свежая сборка llama.cpp с поддержкой NVFP4, мультимодальности и draft-mtp, а старые runtime могут не загрузить тензоры типа 40. Для работы с изображениями требуется дополнительный файл mmproj; доступный контекст в таком режиме может быть уменьшен из-за расхода памяти. Модель распространяется по лицензии Apache-2.0.

Step-3.5-Flash-FP8 — открытая foundation-модель, разработанная StepFun и представленная в формате FP8 на базе stepfun-ai/step-3.5-flash. Она предназначена для сложного рассуждения, программирования, агентских сценариев, многошагового выполнения задач, поиска и обработки больших объёмов информации. Модель ориентирована на интерактивное применение и локальное развёртывание, включая высокопроизводительное потребительское оборудование. Архитектура модели основана на разреженной Mixture of Experts (MoE): всего модель содержит 196 млрд параметров, из которых для каждого токена активируется около 11 млрд. Технология Multi-Token Prediction (MTP-3) обеспечивает заявленную скорость генерации около 100–300 токенов в секунду, с пиковыми значениями до 350 токенов в секунду для однопоточных задач программирования. Поддерживается контекстное окно объёмом 256K токенов; для его эффективной обработки используется гибридная схема Sliding Window Attention с соотношением 3:1. К сильным сторонам относятся высокая скорость вывода, эффективность MoE-архитектуры, способность работать с длинным контекстом и результаты на задачах рассуждения, программирования и автономных агентов, включая 74,4% на SWE-bench Verified и 51,0% на Terminal-Bench 2.0. Ограничения, включая языковую специализацию, мультимодальность и требования к аппаратным ресурсам, в README явно не описаны. Модель распространяется по лицензии Apache 2.0.

NVIDIA DeepSeek-V4-Pro-0813-NVFP4 — квантизированная версия модели DeepSeek-V4-Pro-0813, разработанной DeepSeek AI и оптимизированной NVIDIA с помощью Model Optimizer. Это авторегрессионная текстовая языковая модель на архитектуре Transformer с Mixture-of-Experts, гибридным вниманием Compressed Sparse Attention и Heavily Compressed Attention, а также Manifold-Constrained Hyper-Connections. Общий объём модели составляет 1,65 трлн параметров, из которых при генерации активируется 49 млрд. NVIDIA отдельно указывает, что модель не принадлежит ей и не была ею разработана как исходная модель. Модель предназначена для сложного рассуждения, агентных AI-приложений, использования инструментов и решения задач в математике, программной инженерии и корпоративных AI-ассистентах. Она принимает и генерирует текст, поддерживает многошаговые диалоги, системные инструкции, структурированный JSON-вывод, function calling и выдачу рассуждений при включении соответствующего режима. Максимальная длина контекста заявлена на уровне 1 млн токенов; предусмотрен собственный конвейер кодирования encoding_dsv4 с уровнями усилий рассуждения low, high и max. В составе исходного чекпойнта также заявлен модуль спекулятивного декодирования DSpark. Модель распространяется по лицензии MIT и допускает коммерческое и некоммерческое использование. Для запуска указаны SGLang и vLLM, Linux и GPU NVIDIA Blackwell B200; практическая производительность ориентирована на ускорение NVIDIA. Ограничения включают требовательность к совместимой аппаратной инфраструктуре, неизвестные сведения об обучающих данных и необходимость дополнительного тестирования на прикладных данных для проверки качества, безопасности и соответствия требованиям конкретного сценария.

Dolphin 2.9.2 Qwen2 72B — диалоговая языковая модель, созданная Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations на основе Qwen2-72B. Модель с плотной архитектурой Qwen2 содержит 71,5 млрд параметров и предназначена для генерации текста в формате ChatML; базовая модель поддерживает контекст до 131 072 токенов, а дообучение проводилось на последовательностях длиной 8 000 токенов. Модель подходит для инструктивного диалога, написания и анализа кода, решения задач и работы с вызовами функций. В карточке также отмечены начальные агентные возможности. Модель описана разработчиками как uncensored и может с высокой готовностью выполнять запросы, в том числе небезопасные; перед использованием в сервисе рекомендуется добавить собственный слой выравнивания. Лицензия — Tongyi Qianwen; README разрешает коммерческое использование в соответствии с её условиями.

GLM-4.5 — базовая гибридная модель с открытыми весами, разработанная Z.ai и предназначенная для интеллектуальных агентов. Она объединяет рассуждение, программирование и работу с инструментами; поддерживает режимы пошагового мышления для сложных задач и вызова инструментов, а также режим быстрых ответов. Архитектура семейства GLM-4 MoE, класс модели для причинной генерации текста; в карточке Hugging Face указано 23,4 млрд параметров, а README описывает серию GLM-4.5 с 355 млрд общих и 32 млрд активных параметров. Контекст — до 131 072 токенов. Модель принимает текстовые запросы и выдаёт текст; заявлены английский и китайский языки. Модель подходит для диалоговых помощников, программирования, сложного анализа и агентных сценариев с вызовом инструментов. README сообщает о результатах на 12 отраслевых бенчмарках, но конкретные результаты требуют сверки с техническим отчётом. Весовые файлы доступны в формате safetensors; для запуска описана поддержка Transformers, vLLM и SGLang, а в README также упомянуты варианты BF16 и FP8 для серии. Лицензия MIT допускает коммерческое использование и доработку. Для полного вывода GLM-4.5 требуются значительные вычислительные ресурсы; приведённые в README конфигурации для тонкой настройки включают 16 ускорителей H100 для LoRA.

Карточка модели Ishowbackup/GLM-5.3 на Hugging Face совпадает с карточкой unsloth/GLM-5.3, поэтому описание составлено по ней. GLM-5.3 — текстовая диалоговая модель Z.ai, представленная в репозитории Unsloth. По карточке модели, она использует ту же базовую модель, что и GLM-5.2, а улучшения получены на этапе постобучения. В каталожных метаданных производная отмечена как слияние с zai-org/GLM-5.3 и zai-org/GLM-5.3-BF16; архитектура относится к семейству GLM MoE DSA, размер — 30,4 млрд параметров. Модель предназначена для генерации текста в диалогах, сложного программирования и длительных агентских задач. Карточка сообщает о высоких результатах на тестах кодирования, работы с терминалом, уязвимостей и эксплуатации, но эти результаты не гарантируют аналогичного качества в каждом сценарии. Поддерживаются английский и китайский языки, а контекст составляет до 1 048 576 токенов. Параметр reasoning_effort управляет глубиной рассуждений и принимает значения low, high и max; по умолчанию используется max. Для локального развёртывания перечислены SGLang, vLLM, Transformers, KTransformers, Unsloth и другие среды. Формат файлов — safetensors. Лицензия указана как other, поэтому перед использованием следует проверить условия в карточке модели.

Laguna XS.2-INT4 — текстовая Mixture-of-Experts модель, разработанная Poolside для агентного программирования и длительных рабочих процессов на локальном компьютере. Она предназначена для генерации и анализа кода, взаимодействия с инструментами и решения задач, требующих последовательного выполнения множества действий. Модель поддерживает встроенное рассуждение между вызовами инструментов, которое можно включать и отключать для каждого запроса. Модель содержит 33 млрд параметров, из которых 3 млрд активируются для каждого токена, и включает 40 слоёв: 30 со Sliding Window Attention и 10 с глобальным вниманием. В 30 слоях используется механизм per-head gating; окно локального внимания составляет 512 токенов. Реализована смешанная схема внимания в соотношении 3:1, а KV-cache квантизирован в FP8. Это text-to-text модель с контекстом до 262 144 токенов, 256 экспертами и одним общим экспертом. Вариант INT4 ориентирован на экономичное локальное развёртывание и, согласно карточке, может запускаться на Mac с 36 ГБ оперативной памяти; заявлена поддержка vLLM, Transformers и Ollama. Сильными сторонами являются малое число активируемых параметров, сниженные требования к KV-cache, длинный контекст и специализация на агентных задачах программирования. Ограничения связаны с тем, что модель предназначена прежде всего для текстовых и кодовых сценариев, а INT4-квантизация может влиять на качество по сравнению с версиями BF16 или FP8. Приведённые результаты бенчмарков получены в конкретной экспериментальной конфигурации и не гарантируют аналогичную производительность в других условиях. Модель распространяется по лицензии Apache 2.0, допускающей использование и модификацию в коммерческих и некоммерческих целях.

MiMo-V2.6-Flash-RL — мультимодальная модель Xiaomi из серии MiMo-V2.6, обученная с подкреплением для задач агентного взаимодействия и самоулучшения по обратной связи. Она предназначена для генерации текста, работы с инструментами, программирования и мультимодального понимания; обучение объединяет задачи кодирования, визуальные сценарии, агентов общего назначения и кибербезопасность. В README архитектура описана как разреженная MoE с 309 млрд общих и 15 млрд активируемых параметров, 1 млн токенов контекста, обработкой текста, изображений, видео и аудио, а также визуальным и аудиокодировщиками. Метаданные Hugging Face, однако, указывают 12 млрд параметров и архитектуру dense MiMoV2ForCausalLM в формате safetensors FP8; поэтому точный размер и тип архитектуры опубликованной версии противоречивы. Метаданные также указывают поддержку английского и китайского языков. Для развёртывания README приводит рецепты SGLang и vLLM и интерфейс вызова инструментов. Модель распространяется по лицензии MIT. README приводит результаты отдельных бенчмарков, но не задаёт гарантий качества для конкретных задач; работа с длинным контекстом и мультимодальными входами требует совместимого программного обеспечения и достаточных вычислительных ресурсов.

Muse Glimmer-30B — мультимодальная причинная языковая модель, разработанная Meta Superintelligence Lab и представленная в августе 2026 года. Эта версия распространяется в формате GGUF на базе Muse-Glimmer-30B и предназначена для локального запуска автономных агентных систем без облачной инфраструктуры и доступа к сети. Модель рассчитана на выполнение многошаговых задач, использование инструментов и функций, написание и отладку кода, обработку многоходовых запросов и восстановление после ошибок инструментов. Она принимает текст и изображения, включая скриншоты, графики и документы, а генерирует текст. Muse Glimmer совместима с различными агентными сценариями и оркестраторами, поддерживает управляемую интенсивность рассуждений и обучалась на данных более чем 100 языков. Архитектура представляет собой плотный причинный Transformer с выделенным примерно 1,8-миллиардным визуальным ViT-G/14-энкодером; общий объём составляет около 29,6 миллиарда параметров. Модель имеет 52 слоя, скрытую размерность 6656, механизм GQA с соотношением 32/2 голов внимания, SwiGLU, локальные и глобальные схемы внимания, контекст более 131 072 токенов и до 4096 визуальных токенов на изображение. Ключевые сильные стороны — агентное выполнение задач, надёжное применение инструментов, длительное многошаговое рассуждение, мультимодальность и восстановление после сбоев. Ограничения включают высокие требования к памяти и вычислительным ресурсам, несмотря на оптимизацию для потребительского оборудования; ориентиры для квантованных вариантов составляют около 24–32 ГБ памяти, а заявленная деградация качества — примерно 0,2–1,0% в зависимости от варианта квантования. Лицензия — Apache 2.0.

stelterlab/Qwen3-Coder-30B-A3B-Instruct-AWQ — экспериментальная AWQ-квантизованная версия Qwen3-Coder-30B-A3B-Instruct, разработанная stelterlab на основе оригинальных весов Qwen AI. Квантизация выполнена в формате INT4 GEMM с использованием llm-compressor от vLLM Project. Модель предназначена для генерации и анализа кода, агентного программирования, работы с браузером и задач, требующих понимания репозиториев и вызова инструментов. Это каузальная языковая MoE-модель с 30,5 млрд параметров, из которых активируются 3,3 млрд. Она содержит 48 слоёв, 128 экспертов и активирует 8 экспертов на запрос; используется GQA с 32 головами Q и 4 головами KV. Нативная длина контекста составляет 262 144 токена, а с использованием YaRN может расширяться до 1 млн токенов. Модель поддерживает только режим без рассуждений и не генерирует блоки <think></think>; заявлены возможности function calling и интеграция с инструментами для агентного программирования. README не указывает полный перечень поддерживаемых языков. К сильным сторонам относятся сочетание большого общего объёма параметров с малым числом активируемых параметров, длинный контекст, ориентация на код и поддержка инструментов. Ограничения связаны с экспериментальным статусом данной квантизованной сборки и возможными требованиями к памяти и вычислительным ресурсам при работе с длинным контекстом; при нехватке памяти рекомендуется уменьшать контекст. Модель распространяется по лицензии Apache-2.0.