II.7DevOps, облако и эксплуатация IT-систем

NVIDIA DeepSeek-V4-Pro-0813-nvfp4-DSpark — это NVFP4-квантизированная версия языковой модели DeepSeek-V4-Pro-0813, разработанной DeepSeek AI и подготовленной с использованием NVIDIA Model Optimizer. NVIDIA указывает, что модель не является новой самостоятельной разработкой NVIDIA: это релиз на базе nvidia/DeepSeek-V4-Pro-0813-NVFP4 с дополнительно квантизированной головой DSpark для speculative decoding. Модель предназначена для коммерческого и некоммерческого использования. Модель представляет собой авторегрессионную Transformer-модель с архитектурой Mixture-of-Experts, гибридным вниманием Compressed Sparse Attention и Heavily Compressed Attention, а также Manifold-Constrained Hyper-Connections. Общее число параметров составляет около 1,65 трлн, из которых активируется около 49 млрд. Модель работает с текстом на входе и выходе, поддерживает многоходовые диалоги, системные инструкции, структурированный JSON, вызов функций и инструментов, а также выдачу рассуждений при включении соответствующего режима. Максимальная длина контекста — 1 млн токенов; предусмотрены уровни интенсивности рассуждений low, high и max. Языковой охват явно не указан. Модель ориентирована на сложное рассуждение, агентные приложения, использование инструментов, математику, разработку программного обеспечения и корпоративных AI-ассистентов. К сильным сторонам относятся большой контекст, высокая вычислительная ёмкость MoE, поддержка speculative decoding через DSpark и оптимизация под NVIDIA GPU. Ограничения включают зависимость от специализированной аппаратной и программной инфраструктуры: заявлена совместимость с NVIDIA Blackwell B200, Linux, SGLang и vLLM; характеристики работы на другой аппаратуре не указаны. Данные исходного обучения не раскрыты, а перед промышленным внедрением требуется дополнительное тестирование на прикладных данных. Модель распространяется по лицензии MIT. Указана версия NVIDIA Model Optimizer v0.47.0rc1; опубликованный релиз датирован 9 сентября 2026 года.

unsloth/GLM-4-32B-0414-GGUF — это квантизированная GGUF-версия языковой модели GLM-4-32B-0414, разработанной командой THUDM и подготовленной Unsloth для локального запуска. Модель относится к классу text-generation и предназначена для диалогов, следования инструкциям, генерации инженерного кода, создания интерактивных артефактов, function calling, поиска по документам и подготовки отчётов. Модель содержит 32 миллиарда параметров и обучалась на 15 триллионах единиц высококачественных данных, включая синтетические материалы для задач рассуждения. На этапе дообучения применялись выравнивание по человеческим предпочтениям, rejection sampling и reinforcement learning, что улучшило следование инструкциям, программирование и работу с агентскими сценариями. Заявлена поддержка китайского и английского языков. Мультимодальность и размер контекстного окна в карточке не указаны. Сильными сторонами модели являются развитые способности к генерации кода, function calling, ответам на вопросы с использованием поиска и созданию отчётов; авторы также заявляют сопоставимую с более крупными моделями производительность на отдельных тестах. GGUF ориентирован на удобное локальное развёртывание, в частности через llama.cpp; для корректной обработки системного промпта рекомендуется использовать параметр --jinja. Лицензия — MIT. Конкретный уровень квантизации, требования к аппаратным ресурсам и ограничения качества для отдельных сценариев в README не указаны.

unsloth/gpt-oss-120b — открытая модель с весами, основанная на openai/gpt-oss-120b и разработанная OpenAI; карточка опубликована в формате, совместимом с Transformers. Модель предназначена для универсальной генерации текста, сложных рассуждений, агентских сценариев и задач разработчиков, включая вызов функций, веб-навигацию, выполнение Python-кода и Structured Outputs. Модель содержит около 117 млрд параметров, из которых при обработке активны примерно 5,1 млрд, и использует архитектуру Mixture of Experts с нативной MXFP4-квантизацией для MoE-слоёв. Она рассчитана на запуск в пределах одной GPU H100. Доступны настраиваемые уровни рассуждений — low, medium и high, что позволяет выбирать компромисс между качеством и задержкой. Модель обучена с использованием формата ответов harmony и должна применяться именно в этом формате. В README не указаны поддерживаемые языки и размер контекстного окна. Сильными сторонами являются открытые веса, высокая эффективность активных параметров, возможность тонкой настройки и поддержка инструментального и агентского использования. Полная цепочка рассуждений доступна для отладки и анализа, но не предназначена для показа конечным пользователям. Ограничения включают требование формата harmony и существенные аппаратные ресурсы для запуска полной модели; конкретные показатели качества и дополнительные ограничения в карточке не приведены. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое использование, модификацию и распространение.

RedHatAI/gpt-oss-20b — открытая модель с открытыми весами, разработанная OpenAI и опубликованная Red Hat AI в валидированной сборке для Red Hat OpenShift AI, Red Hat AI Inference Server и vLLM. Модель предназначена для генерации текста, диалоговых приложений, задач рассуждения, агентных сценариев и вызова инструментов, включая function calling, веб-поиск, выполнение Python-кода и Structured Outputs. Это меньшая версия серии gpt-oss: модель содержит около 21 млрд параметров, из которых около 3,6 млрд активны при обработке запроса. Она использует архитектуру Mixture-of-Experts и посттренировочную MXFP4-квантизацию весов MoE, благодаря чему рассчитана на работу примерно в пределах 16 ГБ памяти и обеспечивает меньшую задержку по сравнению с gpt-oss-120b. Поддерживается английский язык; в карточке указана текстовая модальность и задачи text-to-text, text-generation и tool-calling. Доступна настройка интенсивности рассуждений: low, medium и high. Сильные стороны модели — открытые веса, низкие требования к памяти, возможность локального и специализированного развертывания, тонкой настройки и интеграции с инструментами. Ограничения и важные условия использования: модель должна работать в формате ответов Harmony, иначе она может функционировать некорректно; раскрываемую цепочку рассуждений не следует показывать конечным пользователям. В README не приведены количественные результаты тестов и полный размер контекстного окна. Модель распространяется по лицензии Apache 2.0, допускающей модификацию и коммерческое использование.

Granite-4.2-30B — большая языковая модель IBM Granite Team для рассуждений, диалога и работы с инструментами. Это дообученная на основе ibm-granite/granite-4.1-30b-base плотная decoder-only Transformer-модель с архитектурой GraniteForCausalLM и 28,9 млрд параметров. Она поддерживает режимы полного, отключённого и облегчённого рассуждения, а также контекст до 131 072 токенов. Модель предназначена для ответов на сложные вопросы, математики, программирования, многошаговых задач и агентных сценариев с вызовом инструментов. Модель поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. README заявляет архитектурные компоненты GQA, RoPE, SwiGLU и RMSNorm; веса представлены в формате safetensors и используются через Transformers. Лицензия Apache 2.0 допускает коммерческое и академическое применение. Производительность на других языках может уступать английской; ответы могут содержать ошибки, предвзятость или небезопасные сведения, а промежуточные рассуждения не всегда отражают итоговый ответ.

ToBeStyled/Qwen3.8-27B-ColdFusion-GAIN-Blackwell-DFlash2-Ultra-V1.0 — мультиязычная гибридная модель на базе Qwen/Qwen3.8-27B, предназначенная для генерации текста, диалога, программирования, математических рассуждений и агентских сценариев. Она поддерживает текстовые и графические входы, распространяется в формате GGUF и рассчитана на запуск через llama.cpp с CUDA и спекулятивным декодированием DFlash2. Разработчик производной модели в README явно не указан; базовая модель относится к семейству Qwen. Модель имеет 27 млрд параметров и заявленный контекст до 262 000 токенов. Сборка оптимизирована для видеокарт NVIDIA Blackwell, в частности RTX 5090 с 32 ГБ памяти, и использует NVFP4-квантизацию весов с головой и эмбеддингами в Q8_0. В приведённых измерениях она достигла до примерно 200 токенов в секунду, обеспечила ускорение решения задач примерно в 2,4–2,5 раза относительно базовой Q4_K_M-сборки и показала 94% на HumanEval-50 и 96–98% на вариантах GSM8K. Сильные стороны модели — высокая скорость вывода, поддержка спекулятивного декодирования, большой контекст, мультимодальность и хорошие результаты на задачах программирования и математики. Ограничения связаны с зависимостью производительности от конкретного оборудования, версии llama.cpp, настроек DFlash2 и режима reasoning_effort; NVFP4 обеспечивает более высокую скорость, но несколько уступает Q4_K_M по perplexity. README также отмечает, что модель не идеальна и может ошибаться на неоднозначных задачах. Указанная лицензия — Apache 2.0.

GigaChat3-10B-A1.8B-GGUF — квантованный формат модели семейства GigaChat, разработанный командой ai-sage. Это диалоговая текстовая модель для генерации ответов, работы с вопросами и ответами, программированием, математическими и академическими задачами. Модель поддерживает русский и английский языки; в обучающих данных также использовались ещё 10 языков, включая китайский, арабский, узбекский и казахский. Модель основана на архитектуре Mixture-of-Experts с 10 млрд общих и 1,8 млрд активных параметров. Она использует Multi-head Latent Attention для снижения требований к памяти за счёт сжатия KV-кэша и Multi-Token Prediction, ускоряющую генерацию при спекулятивной или параллельной генерации. Заявлен размер контекста до 32 768 токенов. Обучение проводилось на 20 трлн токенов, включая синтетические данные, код, математику, книги и академические источники. К сильным сторонам относятся высокая скорость инференса, сравнительно небольшое число активных параметров и результаты на русскоязычных и англоязычных тестах, включая MMLU, RUBQ, MATH и задачи программирования. Ограничения включают зависимость производительности от режима инференса и аппаратной конфигурации, а также возможное снижение качества при некорректной настройке llama.cpp для обработки tool calling. Модель распространяется по лицензии MIT и предназначена для запуска в формате GGUF, в частности через llama.cpp.

unsloth/Llama-3.1-8B-unsloth-bnb-4bit — это 4-битная версия языковой модели Llama 3.1 с 8 млрд параметров, подготовленная Unsloth на основе базовой модели Meta Llama 3.1 8B. Модель работает с текстом на входе и генерирует многоязычный текст и программный код. Архитектура — авторегрессионный Transformer с поддержкой Grouped-Query Attention (GQA), контекстное окно — до 128 тысяч токенов. Модель обучена на смеси общедоступных онлайн-данных; дата отсечения знаний — декабрь 2023 года. В README явно указан английский язык, при этом семейство Llama 3.1 описано как многоязычное. Модель предназначена для генерации текста и кода, диалоговых сценариев, дообучения под прикладные задачи и запуска в условиях ограниченных вычислительных ресурсов. 4-битное представление снижает требования к памяти по сравнению с полноразмерной версией и подходит для локального инференса и последующего fine-tuning, однако может сопровождаться компромиссами по точности и качеству генерации. README не содержит детальных результатов бенчмарков или характеристик аппаратных требований. Использование регулируется лицензией Llama 3.1; дополнительных условий для версии Unsloth в README не указано.

Qwen3-30B-A3B-Thinking-2507-AWQ-4bit — это 4-битно квантованная версия модели Qwen3-30B-A3B-Thinking-2507, опубликованная пользователем cyankiwi на Hugging Face и основанная на модели Qwen от команды Qwen. Это каузальная языковая модель для генерации текста, ориентированная на сложные задачи рассуждения, включая логику, математику, естественные науки, программирование, академические задания, следование инструкциям и использование инструментов. Модель построена по архитектуре Mixture-of-Experts: всего 30,5 млрд параметров, из которых при обработке токена активируется около 3,3 млрд; используется 128 экспертов, 8 активных экспертов, 48 слоёв и GQA с 32 головами для Q и 4 для KV. Нативная длина контекста составляет 262 144 токена. Поддерживается только режим размышления, причём шаблон чата автоматически добавляет соответствующий маркер. Модель предназначена для текстовых задач; конкретный набор поддерживаемых языков в README не указан. К сильным сторонам относятся улучшенные результаты в рассуждении, кодировании, работе с инструментами, обобщённых задачах и обработке длинного контекста; в README также приведены высокие показатели на ряде математических, кодовых и агентских бенчмарков. Ограничение — обязательный режим размышления и потенциально большая длина вывода, что может повышать требования к ресурсам и задержку. Для запуска рекомендуется актуальная версия Transformers, а также совместимы SGLang и vLLM. Базовая модель распространяется по лицензии Apache-2.0; отдельная лицензия квантованной версии в README не указана.

Qwen3-4B-Thinking-2507-FP8 — компактная каузальная языковая модель семейства Qwen, разработанная командой Qwen. Это FP8-версия модели Qwen3-4B-Thinking-2507 с 4,0 млрд параметров, из которых 3,6 млрд приходятся на непараметрическую часть без эмбеддингов. Модель предназначена для генерации текста и работает исключительно в режиме рассуждений с увеличенной длиной цепочки размышлений. Модель ориентирована на сложные задачи, включая логическое рассуждение, математику, естественные науки, программирование, академические вопросы, следование инструкциям, использование инструментов и агентские сценарии. Она поддерживает многоязычные задачи и контекст длиной до 262 144 токенов. Архитектура включает 36 слоёв и Grouped Query Attention с 32 головами для запросов и 8 для ключей и значений. Доступен формат FP8, рассчитанный на более эффективное размещение и выполнение модели. Сильными сторонами являются улучшенные рассуждения, обработка длинного контекста, генерация текста, кодирование и выполнение инструкций. Ограничения включают работу только в режиме рассуждений, потенциально высокие требования к памяти и вычислительным ресурсам при использовании максимального контекста, а также необходимость корректно обрабатывать специальную разметку размышлений в выходе. Модель распространяется по лицензии Apache-2.0.

SIQ-1-35B — дообученная и дистиллированная модель семейства Qwen, разработанная AlexWortega на базе Qwen/Qwen3.6-35B-A3B. Это текстовая MoE-модель для генерации текста с 35 млрд параметров суммарно и примерно 3 млрд активных параметров на каждом токене. Модель ориентирована на английский язык и поддерживает гибридный режим рассуждений: пошаговое мышление с блоком <think> или прямую генерацию ответа. Модель предназначена для универсальных агентных сценариев, включая автономное ML-исследование, написание и отладку кода, использование инструментов, планирование действий и сложное рассуждение. В README заявлены сильные результаты на GPQA-Diamond, IFEval, агентном кодинге и задачах autoresearch; также отмечается сниженный расход токенов по сравнению с рядом более крупных моделей. Режим reasoning effort позволяет регулировать длину рассуждений, а отключение мышления подходит для быстрых ответов и задач с высокой пропускной способностью. Приведённые результаты зависят от квантизации, формата вычислений, настроек генерации и тестового стенда; часть сравнений выполнена на Q4_K_M GGUF, а результаты autoresearch не сопоставимы с официальными рейтингами из-за ограничений оборудования. Контекстное окно и мультимодальные возможности в README не указаны, поэтому модель следует рассматривать как текстовую. Модель распространяется по лицензии Apache-2.0.

GPT-5 Pro — модель OpenAI, предназначенная для решения сложных задач с упором на рассуждение, качество кода и следование инструкциям. Карточка описывает её как наиболее продвинутую модель OpenAI и отмечает улучшенный пользовательский опыт. Модель подходит для сложных запросов, требующих пошагового рассуждения, а также для задач программирования и выполнения подробных инструкций. Данных о размере, архитектуре, поддерживаемых языках, контексте, модальностях и лицензии в предоставленных источниках нет.

harkov000 создал объединённую модель Hermes-Dolphin-8B-v0.2-alt методом SLERP с помощью mergekit. Она сочетает Hermes-3-Llama-3.1-8B и Dolphin-2.9.4-Llama3.1-8B и предназначена для диалогов, выполнения инструкций, рассуждений, генерации текста и кода, а также взаимодействия с инструментами. Модель построена на плотной архитектуре Llama с классом LlamaForCausalLM и содержит 7,5 млрд параметров. Она принимает текст и генерирует текст; заявленный контекст — до 131 072 токенов. В метаданных указаны возможности чата и интерфейс вызова инструментов. Базовая Hermes 3 описана как англоязычная, однако сведения не устанавливают полный набор языков объединённой модели. Файлы представлены в формате safetensors, а веса объединения заданы в bfloat16. Лицензия в предоставленных данных не указана.

Inkling-NVFP4 — квантованная версия мультимодальной модели Inkling, разработанная Thinking Machines. Это универсальная авторегрессионная модель для разработчиков, создающих AI-приложения: агентные и инструментальные системы, ассистенты программирования, чат-боты и решения с retrieval-augmented generation. Она также подходит для диалогов общего назначения, следования инструкциям и других текстовых и мультимодальных задач. Модель распространяется с открытыми весами для исследований, дообучения и интеграции в сторонние продукты. Архитектура представляет собой decoder-only transformer из 66 слоёв с разреженным Mixture-of-Experts: для каждого токена выбираются 6 из 256 экспертов, а ещё 2 общих эксперта активны постоянно. Внимание сочетает локальные и глобальные слои. Модель принимает текст, изображения и аудио, объединяя их в общем скрытом пространстве; изображения и видео обрабатываются иерархическим patch-энкодером, аудио — через дискретное токенизирование. Всего заявлено 975 млрд параметров, из них 41 млрд активны для отдельного токена. Версия поддерживает числовой формат NVFP4, а базовая модель также доступна в BF16. На вход подаются UTF-8-текст, изображения в пиксельных форматах и WAV-аудио с частотой 16 кГц; для оптимальной работы рекомендуются изображения размером от 40 до 4096 пикселей по каждой стороне и аудио длительностью менее 20 минут. На выходе модель генерирует UTF-8-текст. Основной язык — английский, при этом заявлены общие мультиязычные возможности и поддержка нескольких языков программирования. К ограничениям относятся отсутствие подробных данных о длине контекста в представленном README и потенциальные требования к вычислительным ресурсам из-за большого общего числа параметров, несмотря на разреженную активацию и квантование. Модель распространяется по лицензии Apache 2.0; также действует отдельная политика допустимого использования Thinking Machines.

Meta Llama 3 70B Instruct — разработанная Meta инструкционная языковая модель для диалоговых сценариев. Это плотная авторегрессионная трансформерная модель семейства Llama с 69,5 млрд параметров и механизмом Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с обратной связью от людей. Модель принимает текст и генерирует текст, включая код; поддерживает контекст до 8192 токенов. Модель предназначена прежде всего для общения с ассистентом на английском языке и может использоваться в коммерческих и исследовательских приложениях: для ответов на вопросы, написания и объяснения кода, а также генерации текста. Карточка отмечает высокие результаты семейства на распространённых отраслевых тестах, но не приводит их численные значения. Модель статична, обучена на офлайн-данных и может выдавать неточные или небезопасные ответы; для конкретного приложения следует настраивать дополнительные меры безопасности. Использование регулируется пользовательской коммерческой лицензией Meta Llama 3 и политикой допустимого использования.

Ministral-8B-Instruct-2410 — инструктивно дообученная языковая модель компании Mistral AI для локального запуска, вычислений на устройствах и периферийных системах. Это плотный трансформер семейства Mistral с примерно 8 млрд параметров; модель поддерживает диалог и вызов функций. В карточке заявлено окно контекста до 128 тыс. токенов, но метаданные каталога указывают 32 768 токенов, а README уточняет, что vLLM ограничивает контекст 32 тыс. токенов; полный размер окна доступен при использовании Mistral Inference. Модель рассчитана на генерацию ответов по инструкциям, диалог, программирование, математические задачи и вызов функций. Она обучена на значительной доле многоязычных и программных данных; заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Рекомендуемая библиотека для инференса — vLLM. Модель распространяется по Mistral Research License; для коммерческого использования README предлагает обратиться к Mistral AI за коммерческой лицензией. Для запуска на одном GPU требуется 24 ГБ видеопамяти. Качество ответов и многоязычные возможности зависят от языка и задачи.

Motif 3 — мультиязычная авторегрессионная языковая модель Motif Technologies с архитектурой Mixture-of-Experts (MoE), представленная как диалоговая версия базовой Motif-3-Base. По метаданным, модель содержит 11 млрд параметров; README описывает конфигурацию на 314 млрд параметров всего, из которых 13,2 млрд активируются на токен, поэтому сведения о размере в источниках расходятся. Модель принимает текст и генерирует текст, поддерживает контекст до 262 144 токенов и рассчитана на английский и корейский языки, а также на код и математические задачи. Модель предназначена для диалога, генерации и продолжения текста, программирования, рассуждений и агентных сценариев с использованием инструментов, включая решение задач через терминал. В архитектуре заявлены Grouped Differential Latent Attention, 384 маршрутизируемых эксперта, Multi-Token Prediction для ускорения генерации и другие собственные компоненты. README сообщает о сильных результатах на агентных и инструментальных тестах, но не предоставляет полную таблицу оценок в доступном тексте. Веса доступны для скачивания; лицензия по метаданным — MIT.

hermes42/Phi-3-medium-128k-instruct-imatrix-GGUF — это набор GGUF-квантизированных версий модели Phi-3-Medium-128K-Instruct, опубликованный пользователем или организацией hermes42. Исходная модель разработана Microsoft и содержит около 14 миллиардов параметров. Для квантования использована библиотека llama.cpp, а importance matrix рассчитана на наборе group_10_merged.txt для улучшения perplexity. Модель предназначена для генерации текста и работы в формате инструкций: ответов на вопросы, рассуждений, задач по математике, программированию, логике и обработки длинного контекста. Поддерживаемый контекст исходной модели составляет до 128 тысяч токенов. В метаданных указана многоязычность, однако основное назначение и оценивание описаны прежде всего для английского языка. Формат GGUF удобен для локального запуска и сценариев с ограниченными ресурсами, а квантизация может снизить требования к памяти и задержку по сравнению с полноразмерной моделью. К сильным сторонам относятся большой контекст, ориентация на рассуждения, код и математику, а также оптимизация квантов с помощью importance matrix. Ограничения включают возможное снижение точности из-за квантизации, типичные для языковых моделей ошибки и необходимость самостоятельно проверять корректность, безопасность и справедливость результатов, особенно в высокорисковых применениях. Модель выпущена по лицензии MIT.

Qwen3-30B-A3B-Thinking-2507-FP8 — языковая модель семейства Qwen, разработанная командой Qwen. Это FP8-версия причинной языковой модели с обучением на этапах pretraining и post-training, предназначенная для генерации текста и решения сложных задач, требующих рассуждений. Модель ориентирована на логическое и математическое рассуждение, научные и академические задачи, программирование, следование инструкциям, использование инструментов и работу с длинным контекстом. Она поддерживает только thinking mode, поэтому рассчитана прежде всего на сложные запросы с увеличенной длиной рассуждений. README не указывает точный список поддерживаемых языков и не заявляет о мультимодальных возможностях, поэтому модель следует считать текстовой. Архитектура — Mixture-of-Experts с 30,5 млрд параметров всего и 3,3 млрд активируемых параметров; модель содержит 48 слоёв, 128 экспертов, из которых активируются 8, и использует Grouped-Query Attention с 32 головами Q и 4 головами KV. Нативная длина контекста составляет 262 144 токена. К сильным сторонам относятся улучшенные результаты в рассуждениях, математике, кодировании, агентных сценариях и обработке длинного контекста. Ограничения включают режим работы только с рассуждениями, высокие требования к вычислительным ресурсам и необходимость актуальной версии Transformers; конкретные аппаратные требования в README не приведены. Модель распространяется по лицензии Apache 2.0.

Mungert/Qwen3-30B-A3B-Thinking-2507-GGUF — GGUF-версия модели Qwen3-30B-A3B-Thinking-2507, разработанной командой Qwen и преобразованной с использованием llama.cpp. Это каузальная языковая модель с архитектурой Mixture of Experts (MoE), предназначенная для генерации текста, сложного рассуждения, математики, естественных наук, программирования, следования инструкциям, использования инструментов и задач с длинным контекстом. Модель содержит 30,5 млрд параметров, из которых 3,3 млрд активируются при обработке запроса; без учёта embedding — 29,9 млрд параметров. Она включает 48 слоёв, 128 экспертов, 8 активируемых экспертов и использует GQA с 32 головами для Q и 4 для KV. Нативная длина контекста составляет 262 144 токена. Модель поддерживает только режим reasoning и автоматически использует шаблон с тегом <think>; для сложных задач рекомендуется увеличенная длина рассуждения. Языки и мультимодальные возможности в карточке явно не указаны. К сильным сторонам относятся улучшенные результаты в рассуждении, математике, программировании, использовании инструментов, следовании инструкциям и обработке контекста до 256K токенов. Для GGUF-файлов автор применяет выборочное повышение точности важных слоёв сверх стандартной конфигурации IMatrix, что, по его описанию, может повысить точность при низкой разрядности, особенно у MoE-моделей, но увеличивает размер файла. Лицензия — Apache-2.0.

Jackrong/Qwen3.5-9B-Gemini-3.1-Pro-Reasoning-Distill — плотная текстовая модель на архитектуре Qwen3.5 с 9 млрд параметров, разработанная Jackrong путём дообучения Qwen/Qwen3.5-9B. Она предназначена для диалогов и сложных задач, где нужны последовательные рассуждения: разбиение задачи на части, планирование, анализ ограничений и обобщение. Обучение с учителем использует дистиллированные трассы рассуждений Gemini 3.1, Gemini 3.0 Pro и Qwen3.5-27B; модель рассчитана на генерацию текста и поддерживает интерфейс вызова инструментов. В корпусах обучения представлены математика, программирование и системы, безопасность, физика, право, медицина, финансы и другие области. Метаданные карточки указывают языки английский, китайский и корейский. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0. Модель может галлюцинировать факты и ссылки, а её склонность к подробному структурированному анализу иногда приводит к избыточным ответам на простые запросы. Дистилляция может повлиять на обобщение и вызвать частичное забывание знаний базовой модели; для конкретного сценария требуется оценка качества и настройка формата запросов.

RedHatAI/Qwen3.6-35B-A3B-NVFP4 — предварительная NVFP4-квантизованная версия модели Qwen3.6-35B-A3B, разработанной Alibaba Cloud и опубликованной Red Hat AI. Веса и активации преобразованы в формат NVFP4 с использованием llm-compressor; модель распространяется в формате compressed-tensors и предназначена для запуска через vLLM. Модель ориентирована на генерацию текста, рассуждения, решение математических и академических задач, программирование, работу с инструментами и агентские сценарии. В метаданных также заявлена поддержка обработки изображений вместе с текстом. Поддерживаются tool calling и режим рассуждений Qwen3; для запуска рекомендуются reasoning parser qwen3, tool-call parser qwen3_coder, prefix caching и MoE-бэкенд flashinfer_cutlass. Вариант содержит 35 млрд параметров в MoE-архитектуре с конфигурацией A3B; максимальная длина контекста 96 000 токенов указана для проведённого запуска в vLLM. Языки модели в README не перечислены. Сильная сторона модели — существенное снижение требований к памяти благодаря квантизации весов и активаций при сохранении большей части качества исходной Qwen3.6-35B-A3B. По опубликованным тестам результаты близки к базовой модели на задачах GSM8K, GPQA, Math 500, MMLU-Pro и IFEval, однако наблюдается более заметное снижение на LiveCodeBench, BFCL Multi-Turn и SWE-bench Verified. Модель является предварительной версией и может изменяться; совместимость проверена с RHOAI 3.5, RHAIIS 3.5 и vLLM 0.24.0. Лицензия — Apache 2.0.

Карточка модели jondurbin/airoboros-c34b-3.1.2 на Hugging Face совпадает с карточкой jondurbin/airoboros-l2-70b-3.1.2, поэтому описание составлено по ней. airoboros-l2-70b-3.1.2 — экспериментальная инструктивная языковая модель от jondurbin, созданная на базе Llama 2 и дообученная на наборе airoboros-3.1, преимущественно на синтетических данных. Это плотная авторегрессионная модель семейства Llama с 68,7 млрд параметров и контекстом до 4096 токенов; она принимает текст и генерирует текст. Для диалогов используется шаблон Llama 2 Chat. Модель предназначена для следования инструкциям и решает широкий круг задач: ответы на вопросы по предоставленному контексту, суммаризация, математические решения в формате MathJSON, извлечение данных из логов, анонимизация, программирование и генерация аргументов для вызова функций. Она также обучалась на многошаговых инструкциях и диалогах с учётом системного промпта и истории беседы. Для MathJSON автор рекомендует низкую температуру генерации; исполнение планов или вызовов функций требует внешнего кода. Модель распространяется по лицензии Llama 2. Карточка называет её экспериментальной и отмечает, что часть данных по снятию ограничений не опубликована.

cyberneurova-gemma-4-26B-A4B-GGUF — квантизированная GGUF-версия модели cyberneurova-gemma-4-26B-A4B, разработанная CyberNeurova на базе google/gemma-4-26B-A4B. Модель предназначена для локального и self-hosted развертывания, генерации текста, диалоговых сценариев, программирования, tool calling, агентных приложений и задач, где требуется режим рассуждений. Она также поддерживает обработку изображений и относится к мультимодальным моделям. Архитектура модели — Gemma-4 MoE (mixture-of-experts): всего 26 млрд параметров, из которых при обработке активны 4 млрд. Доступны варианты квантизации от 2 до 8 бит, включая специализированный MXFP4_MOE; рекомендуемым универсальным вариантом указан Q4_K_M. Файлы рассчитаны на использование с llama.cpp и Ollama. В README приведён пример контекста 32 768 токенов, однако не уточняется, является ли это максимальным размером контекста модели. Ключевая особенность сборки — abliteration, то есть удаление из весов направления, связанного с типичным отказным поведением. Поэтому у модели снижены встроенные ограничения безопасности, и она может отвечать на запросы, которые стандартная Gemma-4 отклоняет. Это может быть полезно для red teaming, исследований безопасности, разработки управляемых агентов и контролируемых локальных ассистентов, но повышает риск вредоносных или небезопасных результатов; для публичного доступа рекомендуется прикладная модерация. Указан английский язык. Распространение осуществляется по Gemma Terms of Use; ответственность за соблюдение законодательства и условий лицензии несёт оператор.

Dolphin 2.7 Mixtral 8x7B — разговорная языковая модель, разработанная Eric Hartford при спонсорской поддержке Convai. Это дообучение Mixtral-8x7B с исправлениями обучения для Mixtral; модель предназначена для диалога, генерации текста и помощи в программировании. Она использует архитектуру Mixtral с разреженной смесью экспертов и формат ChatML. По README, базовая модель поддерживает контекст 32 тыс. токенов, а Dolphin обучалась на последовательностях до 16 тыс.; метаданные указывают 7,1 млрд параметров и контекст 32 768 токенов. Модель обучалась на наборах данных для диалогов, кода и инструкций, включая Dolphin, Airoboros, Dolphin Coder, OpenHermes, Magicoder и Capybara. Разработчик характеризует её как послушную и сильную в задачах программирования, но отмечает, что она не проходила настройку DPO. Модель описана как uncensored и может выполнять небезопасные запросы, поэтому для публичного сервиса рекомендуется отдельный слой контроля. Лицензия — Apache-2.0.

NVIDIA GLM-5.3 NVFP4 — квантизированная версия авторегрессионной языковой модели ZAI GLM-5.3, подготовленная с использованием NVIDIA Model Optimizer. Модель предназначена для рассуждений, программирования и агентских сценариев, включая AI-агентов, чат-ботов, RAG-системы и другие приложения на базе ИИ. Модель построена на архитектуре Transformer с сетью GLM-5.3 (GlmMoeDsaForCausalLM) и использует разреженное внимание с индексатором IndexShare для работы с длинным контекстом. Общий объём составляет 753 млрд параметров, из которых активируется 40 млрд. Она принимает и генерирует текстовые последовательности, поддерживает контекст длиной до 1 млн токенов. Модель рассчитана на запуск на GPU NVIDIA с архитектурой Blackwell, интеграцию через SGLang и работу в Linux. К сильным сторонам относятся большой контекст, MoE-архитектура с разреженной активацией, поддержка задач рассуждения и программирования, а также предварительная квантизация NVFP4 для развёртывания на совместимом оборудовании. Ограничения включают текстовую модальность, зависимость от NVIDIA GPU архитектуры Blackwell и необходимость дополнительного тестирования на данных конкретного сценария. Обучающие данные не раскрыты; для калибровки использовались cnn_dailymail и Nemotron-Post-Training-Dataset-v2, а оценка проводилась на наборах MMLU Pro, GPQA Diamond, LiveCodeBench V6, SciCode, AIME 2025, AA-LCR и IFBench. Модель доступна для коммерческого и некоммерческого использования. Применяются NVIDIA Open Model Agreement и условия лицензии исходной модели GLM-5.3; тип лицензии указан как NVIDIA Proprietary. Модель не разработана NVIDIA: она основана на сторонней модели ZAI GLM-5.3.

GLM-5.3-W4AFP8 — квантизированная версия языковой модели GLM-5.3, разработанной организацией zai-org и опубликованной PhalaCloud. Модель предназначена для генерации текста, программирования, агентских сценариев и задач с вызовом инструментов. Она основана на checkpoint zai-org/GLM-5.3-BF16 и сохраняет архитектуру GLM-5.2, включая механизм Mixture-of-Experts (MoE), EAGLE/MTP-спекулятивное декодирование и контекст до 1 млн токенов при использовании H200-класса GPU. Эксперты модели квантизированы в INT4 с группами по 128 весов и калибровкой AWQ на трассах coding-agent, а активации и неэкспертные слои представлены в FP8. Такой формат рассчитан на запуск через SGLang с CUDA CUTLASS W4A8 grouped GEMM на GPU Hopper и обеспечивает примерно вдвое большую ёмкость KV-кэша по сравнению с FP8 checkpoint при одинаковой пропускной способности. Поддерживаются текстовая генерация, рассуждения и tool calling; точный список языков в README не указан. По приведённым оценкам модель показывает 91,9 на GPQA-Diamond, 73,0 на AA-LCR и 82,2 на 45-элементной подвыборке BFCL, а также успешно извлекает информацию из промптов размером около 930 тысяч токенов. Ограничения включают зависимость от специализированной конфигурации SGLang и GPU Hopper, необходимость tensor parallelism на 8 устройствах для полного запуска, а также отсутствие заявленной поддержки этого формата в vLLM на момент публикации. Модель распространяется по лицензии MIT.

Granite-4.2-30B — языковая модель IBM и команды Granite, дообученная на базе IBM Granite 4.1 30B Base. Это плотный decoder-only трансформер с архитектурой GraniteForCausalLM и 28,9 млрд параметров. Модель предназначена для рассуждений, диалога, программирования и работы с инструментами; режимы рассуждений позволяют выбирать между подробной проработкой, обычным ответом и низкой затратностью. В метаданных указан контекст 131 072 токена. Модель принимает текст и генерирует текст. Заявлены поддержка вызова инструментов и языков английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского. README также указывает обучение на математических, программных, научных, диалоговых и агентных задачах. Выпущена под лицензией Apache 2.0, допускающей коммерческое и академическое использование. Сильные стороны модели — встроенные режимы рассуждения, решение многошаговых задач и вызов инструментов. Качество на языках помимо английского может быть ниже; ответы могут содержать ошибки, смещения или небезопасный контент. README указывает окно контекста 512K, тогда как метаданные каталога — 131 072 токена; здесь приведено значение из метаданных.

GRM-2.6-Plus-0628-GGUF — это набор GGUF-квантованных файлов модели GRM-2.6-Plus-0628, разработанной OrionLLM. Модель содержит 27 млрд параметров и предназначена для общего применения, включая диалог, сложное рассуждение, программирование, решение задач и агентские сценарии, особенно при локальном или исследовательском развертывании. Заявлены улучшения по сравнению с GRM-2.6-Plus в задачах с длинной цепочкой действий и многошаговыми агентскими процессами. К сильным сторонам относятся структурированное рассуждение, обработка сложных задач, генерация кода и практическая эффективность для модели такого размера. В README указана только текстовая генерация; сведения о точной архитектуре, поддерживаемых языках, максимальном контексте, конкретных вариантах квантования и мультимодальности не приведены, поэтому эти характеристики нельзя подтвердить. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Meta-Llama-3.1-70B-Instruct-quantized.w4a16 — квантованная версия Meta-Llama-3.1-70B-Instruct, разработанная Neural Magic на базе модели Meta. Это текстовая autoregressive-модель для генерации текста и ассистентского диалога, предназначенная прежде всего для коммерческого и исследовательского использования на английском языке. Возможные сценарии включают чат-ассистентов, ответы на инструкции, генерацию текста, решение математических задач и помощь в программировании. Модель имеет архитектуру Meta-Llama-3 и содержит 70 млрд параметров в исходной версии. Веса линейных операторов в трансформерных блоках квантованы в формат INT4 по схеме W4A16 с симметричной групповой квантизацией для групп по 128 параметров; для квантования применён алгоритм GPTQ. Это сокращает объём хранения и требования к памяти GPU примерно на 75% по сравнению с 16-битной версией. Модель работает с текстом на входе и выходе, а в README заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков, хотя официальное назначение ограничено английским. Указанная длина контекста при развёртывании — до 8192 токенов. К сильным сторонам относятся существенное снижение требований к памяти и высокая близость качества к неквантованной модели: заявлены результаты восстановления 100% для Arena-Hard, 99,4% для OpenLLM v1, 97,4% для OpenLLM v2, 101,0% для HumanEval pass@1 и 99,2% для HumanEval+ pass@1. Ограничения включают возможную потерю точности из-за INT4-квантования, ориентацию на английский язык и отсутствие мультимодальности. Для эффективного развёртывания рекомендуется backend vLLM, включая режим OpenAI-compatible serving. Модель распространяется по лицензии Llama3.1; применяются ограничения исходной лицензии, включая запрет использования с нарушением законодательства.