II.7DevOps, облако и эксплуатация IT-систем

K2-Horizon-MoVA-36B-A4B-oQ4e — это MLX-конверсия и 4-битная смешанно-точная квантизированная версия модели IFM/K2-Horizon-MoVA-36B-A4B, разработанной командой IFM. Модель предназначена для генерации текста, рассуждений, ответов на научные вопросы, программирования, извлечения информации, структурированного вывода и агентских сценариев с вызовом инструментов и использованием терминала. Архитектура модели основана на разреженной Mixture-of-Experts и механизме внимания Mixture-of-Values (MoVA). Всего модель содержит 36 млрд параметров, из которых при обработке активны около 4 млрд. Заявлена поддержка контекста до 512 тысяч токенов. Это reasoning-модель; для наилучших результатов рекомендуется использовать высокий уровень усилий рассуждения. Данные о поддерживаемых языках и мультимодальных возможностях в README не указаны, поэтому модель следует рассматривать как текстовую. Сильными сторонами являются качество рассуждений, структурированный вывод, надёжность вызова инструментов и применение в локальных агентских конвейерах. По приведённым сравнениям модель превосходит Qwen 3.6 35B A3B в большинстве тестов, но уступает ему по скорости генерации: производительность ограничена большим общим размером модели, несмотря на небольшое число активных параметров. Для запуска требуется MLX-совместимая среда; при использовании oMLX необходима версия 0.6.4 или новее с патчем поддержки K2-Horizon. Модель распространяется по лицензии Apache-2.0, как и исходная модель.

unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit — 4-битная версия instruction-tuned языковой модели Meta Llama 3.1 8B, подготовленная с использованием Unsloth. Модель разработана Meta и предназначена для генерации текста и кода, диалоговых сценариев, ответов на инструкции и других задач обработки текста. Она работает только с текстовыми данными на входе и выдаёт текст или код. Модель построена на авторегрессионной оптимизированной архитектуре Transformer, использует Grouped-Query Attention (GQA) и содержит около 8 млрд параметров. Заявленная длина контекста составляет 128 тысяч токенов. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Instruction-тюнинг выполнен с применением supervised fine-tuning и reinforcement learning with human feedback для повышения полезности и безопасности ответов. 4-битное представление снижает требования к памяти и может быть удобно для локального запуска и инференса на доступном оборудовании, однако потенциально ограничивает точность по сравнению с полноразмерными вариантами. Модель является статической и обучена на офлайн-данных; дата отсечения знаний — декабрь 2023 года. Использование регулируется пользовательской коммерческой лицензией Llama 3.1 Community License.

casperhansen/mistral-nemo-instruct-2407-awq — это 4-битная AWQ-квантизированная версия Mistral-Nemo-Instruct-2407, опубликованная пользователем casperhansen на Hugging Face. Исходную модель разработали совместно Mistral AI и NVIDIA; она представляет собой instruction-tuned версию Mistral-Nemo-Base-2407 и предназначена для генерации текста, диалогов, следования инструкциям и вызова функций. Модель содержит около 12 млрд параметров и использует архитектуру Transformer с 40 слоями, размерностью 5120, 32 attention heads и 8 key-value heads в конфигурации GQA, активацией SwiGLU и словарём примерно на 128 тысяч токенов. Исходная модель обучалась с контекстом 128K токенов на многоязычных и программных данных; заявлена поддержка девяти языков, включая русский. AWQ-квантизация до 4 бит уменьшает требования к памяти и подходит для локального инференса через Transformers, vLLM и SGLang, но может немного снижать точность относительно исходной версии. Сильные стороны — большой контекст, многоязычность, работа с кодом, поддержка диалогового режима и function calling, а также более экономичный инференс благодаря квантизации. Ограничение исходной модели — отсутствие встроенных механизмов модерации, поэтому её ответы могут требовать дополнительного контроля. Для базовой Mistral-Nemo-Instruct-2407 указана лицензия Apache 2.0; отдельная карточка AWQ-репозитория не содержит дополнительного лицензионного описания.

Apriel-Nemotron-15b-Thinker — языковая модель рассуждений из серии Apriel SLM, разработанная ServiceNow. Это плотная авторегрессионная модель на архитектуре Mistral с 15 млрд параметров и контекстом до 65 536 токенов; в репозитории представлены веса Safetensors для Transformers. Модель дообучена на базе Apriel-15b-base в три этапа: CPT, SFT и GRPO. Модель предназначена для генерации ответов с пошаговым рассуждением, помощи в программировании, логических задач, вопросов и ответов, поиска информации, следования сложным инструкциям и вызова функций в агентных и корпоративных сценариях. Карточка сообщает о конкурентных результатах на математических, кодовых, агентных и общих бенчмарках, а также об экономии памяти и токенов относительно некоторых более крупных моделей. Поддерживаются чатовый интерфейс и интерфейс вызова инструментов. Лицензия — MIT. Наиболее сильные результаты ожидаются для английского языка; качество на менее представленных языках может быть ниже. Модель может выдавать неверные или устаревшие сведения и отражать предвзятость обучающих данных, поэтому результаты требуют проверки; для высокорисковых и критически важных решений необходимы safeguards и надзор человека.

RedHatAI/Mistral-Small-24B-Instruct-2501-quantized.w8a8 — квантизированная INT8-версия Mistral-Small-24B-Instruct-2501, разработанная Red Hat совместно с Neural Magic. Модель предназначена для генерации текста и поддерживает текстовые и визуальные входные данные с текстовым выводом. Заявленные сценарии включают диалоговых агентов с быстрым откликом, вызов функций с низкой задержкой, программирование, математическое рассуждение, анализ длинных документов, визуальное понимание, локальный инференс и специализированные решения после дообучения. Модель имеет архитектуру Mistral3ForConditionalGeneration и содержит 24 млрд параметров в базовой версии. Веса и активации линейных операторов в трансформерных блоках квантизированы до INT8: для весов используется статическая симметричная поканальная схема, для активаций — динамическая симметричная потокенная схема. При заявленных характеристиках это примерно вдвое снижает требования к памяти GPU и размер файлов весов, а также может увеличить производительность матричных умножений примерно в два раза. Квантизация выполнена с использованием SmoothQuant и GPTQ через библиотеку llm-compressor. Поддерживаются английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Модель валидирована с RHOAI 2.20, RHAIIS 3.0, RHELAI 1.5 и vLLM 0.8.4; в документации приведён контекст до 32768 токенов. Ограничения включают возможное снижение точности из-за квантизации и запрет использования с нарушением применимых законов и в неподдерживаемых языках. Лицензия — Apache 2.0.

SwissNeuron — мультимодальная модель на 27,36 млрд параметров, разработанная SwissNeuron на базе Qwen3.8-27B. Это дообученная модель с гибридной архитектурой Qwen3.8: 64 языковых слоя, включая 48 слоёв Gated-DeltaNet и 16 слоёв полного внимания. Выпущена в формате BF16 и поддерживает диалог, анализ изображений, рассуждения и программирование; сохранены мультимодальный процессор, токенизатор и шаблон чата базовой модели. Модель предназначена для технических вопросов, написания и анализа кода, многошаговых рассуждений и диалогов с изображениями. Конфигурация расширяет контекст с исходных 262 144 до 1 048 576 токенов посредством YaRN с коэффициентом 4; отдельного этапа адаптации на контекст в миллион токенов не проводилось, поэтому качество на предельной длине требует проверки. Доступны режимы с рассуждениями и без них. Лицензия указана как other; условия следует проверять в карточке модели и у разработчика. Для запуска полной версии BF16 требуется значительный объём памяти ускорителя. Авторы также рекомендуют проверять ответы и совместимость с используемым сервером и шаблоном чата.

Salience-27B-R6-i1-GGUF — набор GGUF-квантизаций модели Salience-27B-R6, разработанный vectionlabs на базе Qwen3.8. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и вызова инструментов; заявлена поддержка мультимодальных задач с обработкой изображений через отдельный vision encoder mmproj. Основной язык — английский. Это плотная модель примерно на 27 млрд параметров с гибридной архитектурой: 48 из 64 слоёв используют линейное внимание с рекуррентным состоянием, а остальные — обычное внимание. Для запуска рекомендуется llama.cpp; пример конфигурации использует контекст до 32 768 токенов, шаблон чата jinja и reasoning-формат deepseek. Квантизации используют importance matrix и распределение битов по тензорам, что особенно направлено на сохранение качества вызова инструментов и агентского поведения. Доступны варианты от IQ2_XXS и IQ2_M до Q6_K; размер файлов составляет примерно 8,2–21 ГБ. Сильными сторонами являются поддержка рассуждений, кода, инструментов, длинного контекста и изображений, а также возможность запуска на системах с ограниченной памятью благодаря широкому выбору квантизаций. При этом низкие уровни IQ2 и Q2 не рекомендуются: качество заметно снижается, а ошибки могут сильнее накапливаться при увеличении длины контекста. Для обработки изображений требуется отдельный файл vision encoder; без jinja-шаблона возможны некорректные вызовы инструментов. Модель и квантизации распространяются по лицензии Apache-2.0.

airoboros-l2-70b-3.1.2 — экспериментальная инструктивная языковая модель от jondurbin, созданная на базе Llama 2 и дообученная на наборе airoboros-3.1, преимущественно на синтетических данных. Это плотная авторегрессионная модель семейства Llama с 68,7 млрд параметров и контекстом до 4096 токенов; она принимает текст и генерирует текст. Для диалогов используется шаблон Llama 2 Chat. Модель предназначена для следования инструкциям и решает широкий круг задач: ответы на вопросы по предоставленному контексту, суммаризация, математические решения в формате MathJSON, извлечение данных из логов, анонимизация, программирование и генерация аргументов для вызова функций. Она также обучалась на многошаговых инструкциях и диалогах с учётом системного промпта и истории беседы. Для MathJSON автор рекомендует низкую температуру генерации; исполнение планов или вызовов функций требует внешнего кода. Модель распространяется по лицензии Llama 2. Карточка называет её экспериментальной и отмечает, что часть данных по снятию ограничений не опубликована.

QuantFactory/Meta-Llama-3-8B-Instruct-GGUF-v2 — это GGUF-квантизированная версия Meta-Llama-3-8B-Instruct, созданная с помощью llama.cpp на основе выпуска от 5 мая 2024 года. Исходную модель разработала Meta; она относится к семейству Llama 3 и содержит около 8 млрд параметров. Модель предназначена для генерации текста и кода, прежде всего для диалоговых сценариев и приложений, которым требуется выполнение инструкций. Она принимает только текстовые входные данные и генерирует текст или код. Архитектура представляет собой авторегрессионный оптимизированный Transformer с Grouped-Query Attention (GQA), контекстное окно составляет 8 тысяч токенов, заявленный язык — английский. Инструкционная версия обучалась с применением supervised fine-tuning (SFT) и reinforcement learning from human feedback (RLHF) для повышения полезности и безопасности. К преимуществам относятся оптимизация под диалоговое использование, поддержка генерации кода и потенциально более эффективный инференс благодаря GGUF-квантизации и GQA. Ограничения включают текстовую модальность, контекст длиной 8 тысяч токенов, статичность модели и ограниченность знаний датой отсечения — мартом 2023 года. Модель распространяется по специальной лицензии Llama 3 с коммерческими условиями Meta; точные положения необходимо проверять в тексте лицензии.

DeepSeek-V2.5-GGUF — квантованная в формате GGUF версия модели DeepSeek-V2.5, разработанной командой DeepSeek-AI. Квантование подготовлено bartowski на основе llama.cpp b3658 и предназначено для локального запуска, в том числе через LM Studio. Модель объединяет возможности инструкционной и кодовой версий DeepSeek и ориентирована на диалоговые сценарии, генерацию текста, программирование и широкий круг универсальных задач. Заявлена поддержка контекстного окна до 163 840 токенов. Используется архитектура MoE: по описанию, модель сочетает вычислительные возможности уровня 200B параметров со скоростью модели уровня 21B, однако точные размеры и характеристики квантования в README не указаны. К сильным сторонам относятся большой контекст, развитые чатовые и кодовые возможности, а также удобство локального использования в формате GGUF. Ограничения включают возможные неточности, вредный или неподходящий контент, а также зависимость качества и производительности от конкретной квантовки и оборудования. Языки и поддержка мультимодальных входов не указаны. Модель распространяется по лицензии DeepSeek; подробные условия приведены по ссылке, указанной в README.

Карточка модели baerquant/GLM-5.3 на Hugging Face совпадает с карточкой unsloth/GLM-5.3, поэтому описание составлено по ней. GLM-5.3 — текстовая диалоговая модель Z.ai, представленная в репозитории Unsloth. По карточке модели, она использует ту же базовую модель, что и GLM-5.2, а улучшения получены на этапе постобучения. В каталожных метаданных производная отмечена как слияние с zai-org/GLM-5.3 и zai-org/GLM-5.3-BF16; архитектура относится к семейству GLM MoE DSA, размер — 30,4 млрд параметров. Модель предназначена для генерации текста в диалогах, сложного программирования и длительных агентских задач. Карточка сообщает о высоких результатах на тестах кодирования, работы с терминалом, уязвимостей и эксплуатации, но эти результаты не гарантируют аналогичного качества в каждом сценарии. Поддерживаются английский и китайский языки, а контекст составляет до 1 048 576 токенов. Параметр reasoning_effort управляет глубиной рассуждений и принимает значения low, high и max; по умолчанию используется max. Для локального развёртывания перечислены SGLang, vLLM, Transformers, KTransformers, Unsloth и другие среды. Формат файлов — safetensors. Лицензия указана как other, поэтому перед использованием следует проверить условия в карточке модели.

unsloth/llama-3-8b-Instruct-bnb-4bit — 4-битно квантованная версия инструкционно дообученной языковой модели Llama 3 8B, разработанной Meta и опубликованной в формате, подготовленном Unsloth. Модель предназначена для диалоговых сценариев, генерации и обработки текста, а также генерации кода; поддерживает только текстовые входы и выдаёт текст или код. Архитектура модели — авторегрессионный оптимизированный Transformer с Grouped-Query Attention (GQA), объёмом около 8 млрд параметров и контекстом до 8 тысяч токенов. Указанный язык — английский. Инструкционная версия обучалась с применением supervised fine-tuning (SFT) и reinforcement learning from human feedback (RLHF) для повышения полезности и безопасности. Квантование в формате bnb 4bit снижает требования к памяти и делает модель более подходящей для локального запуска и дообучения, однако README не содержит точных показателей качества именно этой квантованной версии. Модель ориентирована на ресурсоограниченное развёртывание, чат-ботов, ассистентов, генерацию текста и кода, а также эксперименты и дообучение. Ограничения включают текстовую модальность, контекст до 8 тысяч токенов, статичный характер обучения на офлайн-данных и дату отсечения знаний — март 2023 года. Используется собственная коммерческая лицензия Meta Llama 3; её условия необходимо проверить в официальном тексте лицензии.

Nex-N2.5-mini — разговорная модель семейства агентных моделей Nex-N2.5 от Nex-AGI, основанная на архитектуре Qwen3.5 MoE. Она предназначена для длительных многошаговых задач: работы с компьютером и браузером, выполнения и проверки программ, а также научной и офисной работы. Модель использует визуальную обратную связь для восприятия интерфейсов, проверки результатов и продолжения действий; поддерживает режимы рассуждения и вызов функций. Для запуска автор приводит конфигурацию на двух ускорителях H100 и рекомендует параметры генерации temperature 0.7, top_p 0.95 и top_k 40. В метаданных указаны Transformers и формат safetensors; лицензия — Apache-2.0. README описывает мультимодальные возможности семейства и отдельно позиционирует Nex-N2.5-Max как текстовую модель, поэтому точные размер, контекст и перечень входов и выходов именно mini по этим данным установить нельзя.

NVIDIA-Nemotron-3-Ultra-550B-A55B-FP8-block — большая языковая модель для генерации текста, рассуждений, решения сложных задач, математики и науки, генерации кода, следования инструкциям и вызова инструментов. Модель разработана Red Hat на основе NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16; в карточке также указан NVIDIA как провайдер. Входом и выходом служит текст, поддерживаются сценарии text-to-text, text-generation, reasoning и tool-calling. Архитектура модели обозначена как NemotronHForCausalLM. Она содержит 550 млрд общих параметров, из которых активно используется 55 млрд. Весовые коэффициенты и активации линейных операторов внутри transformer-блоков квантизированы в FP8: для весов применяется per-block quantization, для активаций — динамическая per-token quantization. Это уменьшает размер модели на диске и требования к памяти GPU примерно на 50% по сравнению с исходным форматом BF16. Заявлена поддержка контекста до 262 144 токенов при развертывании с vLLM. Языки модели в README не указаны. К сильным сторонам относятся сочетание большого общего числа параметров с меньшим числом активных параметров, поддержка сложных рассуждений, программирования и вызова инструментов, а также сниженные требования к хранению и памяти благодаря FP8-квантизации. Для работы рекомендуются vLLM и llm-compressor; карточка валидирована на RHOAI 3.5, RHAIIS 3.5 и vLLM 0.24.0. Ограничения включают значительные аппаратные требования даже после квантизации, зависимость корректной работы tool-calling и reasoning от специальных парсеров, а также отсутствие в README подробных результатов бенчмарков и информации о поддерживаемых языках. Модель распространяется по лицензии NVIDIA Open Model License; использование, нарушающее применимое законодательство и нормы экспортного контроля, исключено.

FreedomAISVR/Qwable-v1-MXFP4-MOE-GGUF — квантованная GGUF-сборка модели Qwable-v1, подготовленная FreedomAISVR. В основе — Qwen3.6-35B-A3B, дистиллированная с рассуждениями Opus 4.7 и дообученная на агентном использовании инструментов Fable-5. Это MoE-архитектура семейства Qwen3.5 с 256 экспертами, из которых активны 8 на токен; активная часть содержит около 3 млрд параметров. Контекст — 262 144 токена. Модель предназначена для генерации текста, написания кода и агентных сценариев с использованием инструментов. Она принимает текст и изображения: для зрения предусмотрены энкодер SigLIP ViT и отдельный проектор. В GGUF-файле веса экспертов квантованы в MXFP4, большинство остальных весов — в Q8_0, роутер — в F32; компоненты зрения сохранены в F16. Для структурированного использования инструментов требуется агентный системный промпт. Распространяется по лицензии AGPL-3.0.

Qwen3-Next-80B-A3B-Thinking-GGUF — GGUF-квантизированное представление причинной языковой модели Qwen3-Next-80B-A3B-Thinking, разработанной командой Qwen. Модель предназначена для генерации текста и решения сложных задач, требующих многошагового рассуждения, включая математические задачи, программирование, анализ знаний, следование инструкциям и агентские сценарии. Она работает только в режиме thinking, а шаблон чата автоматически добавляет тег <think>. Модель использует гибридную архитектуру с Gated DeltaNet и Gated Attention, а также разреженную Mixture-of-Experts. Общее число параметров составляет 80 млрд, из которых на каждом токене активируется около 3 млрд; 512 экспертов, 10 активируемых экспертов и один общий эксперт. Архитектура включает 48 слоёв и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Обучение включало предварительное обучение на 15 трлн токенов и последующее дообучение. В README языки и мультимодальные возможности не указаны; по описанию это текстовая модель. Сильными сторонами являются высокая эффективность инференса за счёт разреженной MoE-архитектуры, работа с очень длинным контекстом и хорошие результаты на задачах рассуждения, программирования, мультиязычности и вызова инструментов. Модель может генерировать особенно длинные рассуждения, поэтому лучше подходит для сложных задач, чем для сценариев, требующих кратких ответов и минимальной задержки. Условия использования определяются лицензией Apache-2.0.

airoboros-m-7b-3.1.2 — экспериментальная языковая модель jondurbin для диалогов и выполнения инструкций. Она основана на архитектуре Mistral с плотной причинно-языковой моделью на 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель обучена преимущественно на синтетических данных набора airoboros-3.1 и использует формат чата Llama 2. Модель подходит для ответов на вопросы по заданному контексту, суммаризации, следования многошаговым инструкциям, генерации кода и структурированных ответов. В набор обучения также входили математические задачи с выдачей MathJSON, извлечение сведений из логов и анонимизация текста. Разработчик отмечает, что модель особенно ориентирована на выполнение инструкций, а не на непринуждённый чат или ролевую игру. В README модель названа экспериментальной; для MathJSON рекомендуется низкая температура, а формат чата важно настроить корректно. Репозиторий распространяется по лицензии Apache-2.0.

Gemini 2.5 Pro — модель Google для сложных задач рассуждения, программирования, математики и науки. В карточке модели указана возможность «thinking», предназначенная для более точной проработки ответов. Модель подходит для решения сложных вопросов, помощи с кодом и математическими задачами, а также научной работы. Метаданные каталога классифицируют её как image-text-to-text, однако предоставленные материалы не описывают поддержку изображений, архитектуру, размер, контекст, языки или условия использования, поэтому эти характеристики здесь не уточняются.

Карточка модели abelsimon/GLM-5.3 на Hugging Face совпадает с карточкой unsloth/GLM-5.3, поэтому описание составлено по ней. GLM-5.3 — текстовая диалоговая модель Z.ai, представленная в репозитории Unsloth. По карточке модели, она использует ту же базовую модель, что и GLM-5.2, а улучшения получены на этапе постобучения. В каталожных метаданных производная отмечена как слияние с zai-org/GLM-5.3 и zai-org/GLM-5.3-BF16; архитектура относится к семейству GLM MoE DSA, размер — 30,4 млрд параметров. Модель предназначена для генерации текста в диалогах, сложного программирования и длительных агентских задач. Карточка сообщает о высоких результатах на тестах кодирования, работы с терминалом, уязвимостей и эксплуатации, но эти результаты не гарантируют аналогичного качества в каждом сценарии. Поддерживаются английский и китайский языки, а контекст составляет до 1 048 576 токенов. Параметр reasoning_effort управляет глубиной рассуждений и принимает значения low, high и max; по умолчанию используется max. Для локального развёртывания перечислены SGLang, vLLM, Transformers, KTransformers, Unsloth и другие среды. Формат файлов — safetensors. Лицензия указана как other, поэтому перед использованием следует проверить условия в карточке модели.

NVIDIA-Nemotron-3-Ultra-550B-A55B-quantized.w4a16 — большая языковая модель Red Hat на базе NVIDIA Nemotron 3 Ultra 550B A55B BF16, опубликованная для генерации текста, рассуждений и работы с инструментами. Она предназначена для сложного решения задач, математики и естественных наук, генерации кода и выполнения инструкций. Модель поддерживает ввод и вывод текста, а также вызов инструментов. Модель использует архитектуру NemotronHForCausalLM, содержит 550 млрд общих параметров и 55 млрд активных параметров. Веса линейных операторов в трансформерных блоках квантизированы в INT4 по схеме W4A16 с размером группы 128; применяется асимметричное покомпонентное квантование по группам. Это примерно на 75% снижает размер модели на диске и требования к памяти GPU по сравнению с BF16-версией. Для работы с рассуждениями и вызовом инструментов требуются соответствующие парсеры vLLM. Заявленная длина контекста — до 262 144 токенов. Сильными сторонами модели являются высокая емкость для сложных задач, поддержка reasoning, генерации кода и tool calling, а также существенное снижение требований к памяти благодаря INT4-квантизации. Ограничения включают значительные вычислительные требования: в рекомендованной конфигурации используется 8 GPU; сведения о поддерживаемых языках и количественных результатах оценки в README не указаны. Модель распространяется по лицензии NVIDIA Open Model License; использование, нарушающее применимое законодательство или нормативные требования, исключено из области применения.

RedHatAI/Qwen3-30B-A3B-FP8-dynamic — языковая модель для генерации текста, разработанная RedHat совместно с Neural Magic на базе Qwen/Qwen3-30B-A3B. Модель использует архитектуру Qwen3MoeForCausalLM, принимает текстовые входные данные и генерирует текстовые ответы. Она предназначена для рассуждений, function calling, создания предметно-ориентированных экспертов посредством дообучения, многоязычного следования инструкциям и перевода. Модель оптимизирована с помощью квантизации весов и активаций в формате FP8. Линейные операторы в трансформерных блоках используют симметричную статическую поканальную квантизацию весов и симметричную динамическую потокенную квантизацию активаций; выходной слой lm_head не квантизируется. По данным README, это примерно вдвое снижает требования к GPU-памяти и размер на диске, а также может примерно вдвое увеличить пропускную способность матричных умножений. Архитектурный размер указан как 30B-A3B, однако максимальная длина контекста и перечень поддерживаемых языков не приведены. К сильным сторонам относятся заметное сокращение требований к памяти и сохранение качества, близкого к исходной модели: на указанном наборе задач OpenLLM среднее восстановление качества составляет около 99,9%. Модель эффективно разворачивается с использованием vLLM, включая OpenAI-совместимый режим сервинга. Ограничения включают возможное влияние FP8-квантизации на точность в отдельных сценариях, необходимость совместимого программного и аппаратного окружения, а также отсутствие в предоставленных данных подробных сведений о языковом покрытии, контекстном окне и результатах полной оценки. Модель распространяется по лицензии Apache-2.0. Использование не должно нарушать применимое законодательство и нормативные требования, включая правила экспортного контроля.

RedHatAI/Qwen3-30B-A3B-Instruct-2507-quantized.w8a8 — текстовая autoregressive-модель класса Qwen3ForCausalLM, разработанная Red Hat совместно с Neural Magic на базе Qwen/Qwen3-30B-A3B-Instruct-2507. Модель принимает текст и генерирует текст, ориентирована на рассуждения, выполнение инструкций на разных языках, перевод, function calling и создание специализированных решений посредством дообучения. Ключевая особенность модели — INT8-квантизация весов и активаций линейных операторов в блоках Transformer. Используются симметричная статическая поканальная квантизация весов и симметричная динамическая потокенная квантизация активаций с применением SmoothQuant и GPTQ через библиотеку llm-compressor. По данным README, это примерно вдвое снижает требования к GPU-памяти и размеру на диске, а также может примерно вдвое повысить пропускную способность матричных умножений. В документации по развертыванию указан максимальный размер контекста 262144 токена, однако другие характеристики архитектуры и языкового покрытия не приведены. Модель предназначена для эффективного инференса, в частности с использованием vLLM и OpenAI-совместимого API. К сильным сторонам относятся сочетание крупной базовой модели с INT8-компрессией, поддержка многоязычного следования инструкциям, рассуждений и интеграции с функциями. Ограничения включают возможные потери качества из-за квантизации и отсутствие в предоставленных данных подробных результатов оценивания, перечня поддерживаемых языков и спецификаций аппаратных требований. Модель распространяется по лицензии Apache-2.0; использование не должно нарушать применимое законодательство и нормативные требования.

Qwopus3.8-27B-Flash-ATX-IQ4_XS-M-GGUF — это GGUF-квантизированная версия модели Jackrong/Qwopus3.8-27B-Flash, являющейся дообученной моделью на базе Qwen3.8-27B. Рецепт квантизации разработан jakeatx с использованием llama.cpp и собственной importance matrix, рассчитанной для этой модели. Модель предназначена для генерации текста, программирования, агентских сценариев, RAG-анализа и задач с длинным контекстом, включая speculative decoding с MTP-головой. Модель содержит 27,32 млрд параметров и 866 тензоров, использует ту же архитектуру, что и базовая модель, а также включает MTP-слой. Основной формат весов — IQ4_XS с точечными повышениями точности до Q5_0, Q6_K и Q8_0; средний размер составляет 4,60 бита на вес, а файл модели занимает около 14,6 GiB. Рецепт рассчитан на видеокарты RTX 3090 или 3090 Ti с 24 ГБ памяти и позволяет использовать заполненный контекст до 200 тысяч токенов с 8-битным KV-кэшем. В измерениях на RTX 3090 Ti модель показывала преимущество по скорости декодирования над Q4_K_S на контекстах 16–64K, однако на 100K выигрыш был небольшим и зависел от принятия черновых токенов. Сильные стороны модели — эффективная работа на одной видеокарте, поддержка длинного контекста, специализированная оптимизация для короткого рассуждения и агентских циклов, а также ускорение за счёт MTP и speculative decoding. Ограничения включают потери, характерные для 4-битной квантизации, зависимость производительности от acceptance rate черновых токенов и необходимость совместимой сборки llama.cpp с поддержкой используемых ядер и MTP. Модель распространяется по лицензии Apache-2.0.

Dolphin 2.9.3 Mistral 7B 32k — разговорная языковая модель, дообученная Eric Hartford и командой Cognitive Computations на базе mistralai/Mistral-7B-v0.3. Она предназначена для диалогов, следования инструкциям, помощи с программированием и вызова функций в агентных сценариях. Модель использует плотную архитектуру MistralForCausalLM с 7,1 млрд параметров и поддерживает контекст до 32 768 токенов; при дообучении применялась длина последовательности 8192 токена. Для общения используется шаблон ChatML. Модель обучалась на смесях диалоговых, инструкционных, кодовых и математических данных, включая Dolphin-2.9, OpenHermes-2.5, Dolphin Coder и Orca Math. Разработчики характеризуют её как uncensored и предупреждают, что перед предоставлением сервиса следует самостоятельно настроить слой выравнивания и меры контроля ответов. Лицензия Apache 2.0 разрешает коммерческое использование.

G9v3-39A5B — причинная языковая модель AI9Stars для диалогового помощника, генерации кода, использования инструментов и задач на рассуждение. Модель построена по архитектуре Mixture-of-Experts: в карточке указаны 39 млрд параметров суммарно и около 5 млрд активируемых на токен. Метаданные каталога при этом описывают архитектуру как плотную, поэтому сведения о разреженной MoE-структуре расходятся. Модель поддерживает режимы Think и No Think и контекст до 131 072 токенов. Предназначена для локального и самостоятельного развёртывания; для работы указана библиотека Transformers. Заявленная поддержка языков — английский и китайский. Модель распространяется по лицензии Apache-2.0. Как предварительный выпуск, модель может менять поведение между версиями. Ответы могут быть неточными, предвзятыми или небезопасными; их следует проверять, особенно перед применением в значимых решениях.

INTELLECT-3-REAP-50-heretic — текстовая чат-модель jtl11, созданная на основе PrimeIntellect/INTELLECT-3. Это версия INTELLECT-3 с удалением 50% экспертов методом REAP (Router-weighted Expert Activation Pruning) и изменением поведения отказов с помощью abliteration. Модель сохраняет архитектуру GLM-4 MoE; в репозитории указано 8,5 млрд параметров и контекст до 131 072 токенов. Модель предназначена для генерации текста в диалоге, включая ответы на запросы, код и сложные многошаговые задачи. Калибровка REAP использовала примеры генерации кода, вызова функций и многоходовых сценариев для агентов. В сравнении с исходной моделью в README указано 3 отказа из 100 запросов против 60 из 100; измеренная KL-дивергенция составляет 0,0413. Модель доступна в формате safetensors по лицензии Apache-2.0.

IFM/K2-Horizon-32B-FP8 — открытая FP8-квантизированная версия K2-Horizon-32B-Stage1, разработанная IFM. Это плотная decoder-only языковая модель с 32 млрд параметров, предназначенная для генерации текста, агентских сценариев, программирования и задач рассуждения. Модель поддерживает английский язык и нативное контекстное окно до 524 288 токенов. Веса всех линейных слоёв, кроме lm_head, квантизированы в FP8: для весов используется статическое масштабирование по блокам 128×128, а для активаций — динамическое масштабирование по группам 1×128. По данным разработчиков, FP8-версия близка к исходной BF16-модели по результатам оценивания, при этом требует меньше памяти и обеспечивает более быстрый вывод на совместимом с FP8 оборудовании. Модель относится к этапу Stage1 обучения, а финальный чекпойнт на момент публикации ещё не выпущен, поэтому заявленные характеристики могут быть неполными. Указано, что тренировочные данные, рецепт и код обучения будут открыты, а промежуточные чекпойнты планируется публиковать для анализа изменений возможностей. Модель распространяется по лицензии Apache-2.0.

Карточка модели luganoquant/Nex-N2.5-mini на Hugging Face совпадает с карточкой nex-agi/Nex-N2.5-mini, поэтому описание составлено по ней. Nex-N2.5-mini — разговорная модель семейства агентных моделей Nex-N2.5 от Nex-AGI, основанная на архитектуре Qwen3.5 MoE. Она предназначена для длительных многошаговых задач: работы с компьютером и браузером, выполнения и проверки программ, а также научной и офисной работы. Модель использует визуальную обратную связь для восприятия интерфейсов, проверки результатов и продолжения действий; поддерживает режимы рассуждения и вызов функций. Для запуска автор приводит конфигурацию на двух ускорителях H100 и рекомендует параметры генерации temperature 0.7, top_p 0.95 и top_k 40. В метаданных указаны Transformers и формат safetensors; лицензия — Apache-2.0. README описывает мультимодальные возможности семейства и отдельно позиционирует Nex-N2.5-Max как текстовую модель, поэтому точные размер, контекст и перечень входов и выходов именно mini по этим данным установить нельзя.

Qwen3-30B-A3B-FP8-block — квантизированная версия языковой модели Qwen3-30B-A3B, разработанная Red Hat. Это текстовая модель для генерации текста, диалоговых сценариев, решения задач общего характера и программирования. Модель построена на архитектуре Qwen3MoeForCausalLM и работает с текстом на входе и выходе; сведения о поддерживаемых языках и максимальной длине контекста в карточке не указаны. В модели применена FP8-квантизация весов и активаций линейных операторов внутри трансформерных блоков с пок блочной квантизацией весов и динамической токен-ориентированной квантизацией активаций. Квантизация снижает представление параметров с 16 до 8 бит и примерно на 50% уменьшает размер модели на диске и требования к видеопамяти. Исходная модель имеет обозначение 30B-A3B; более подробные сведения о числе активных параметров и конфигурации MoE в README не приведены. По результатам оценки на OpenLLM и наборах для генерации кода FP8-версия сохраняет близкую к исходной точность: средний результат OpenLLM V1 составил 73,52 против 73,75 у исходной модели. Основные преимущества — снижение требований к памяти и возможность развертывания через vLLM, включая использование tensor parallelism. Ограничения — возможная потеря точности из-за квантизации, отсутствие данных о языковом покрытии и контексте, а также необходимость совместимой инфраструктуры для эффективного запуска. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-NVFP4 — это посттренированная квантованная версия открытой модели Qwen3.6-35B-A3B, разработанной командой Qwen и опубликованной пользователем ykarout. Модель представлена в формате Hugging Face Transformers и предназначена для генерации текста, программирования, агентных сценариев и обработки задач с изображениями благодаря архитектуре с vision encoder. Модель использует причинную языковую архитектуру с Mixture of Experts: всего 35 млрд параметров, из которых активируется около 3 млрд. Она включает 40 слоёв, 256 экспертов, 8 маршрутизируемых и 1 общего активируемого эксперта, а также сочетает Gated DeltaNet и Gated Attention. Квантование выполнено в формате NVFP4 с 4-битными весами и FP8 KV-кэшем; конфигурация оптимизирована для архитектуры NVIDIA Blackwell. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов. Поддерживаемые языки в README не указаны. Сильными сторонами модели заявлены агентное программирование, работа с интерфейсами и репозиториями, сохранение контекста рассуждений между сообщениями и высокая эффективность за счёт MoE-архитектуры и квантования. Ограничения включают зависимость производительности от совместимого программного и аппаратного окружения, особенно при использовании Blackwell-оптимизаций, а также возможные потери качества, характерные для 4-битного квантования. В README приведены результаты SWE-bench, включая 73,4 для SWE-bench Verified и 67,2 для SWE-bench Multilingual, но полная методика оценки не описана. Лицензия — Apache 2.0.