II.1Анализ требований и архитектура ПО

Inferact/Qwen3.8-2.4T-A95B-NVFP4 — открытая причинно-следственная языковая модель семейства Qwen3.8, разработанная командой Qwen. Репозиторий содержит веса и конфигурацию постобученной модели в формате Hugging Face Transformers; заявлена совместимость с vLLM, SGLang и TokenSpeed. Модель предназначена для генерации текста, программирования, профессиональных и исследовательских задач, а также для длительных многошаговых агентских сценариев с планированием и обработкой обратной связи от среды. Модель построена на архитектуре Mixture of Experts и содержит около 2,4 трлн параметров, из которых при обработке одного токена активируется около 95 млрд. Она включает 92 слоя, 512 экспертов, 10 маршрутизируемых и один общий активируемый эксперт, а также сочетает Gated DeltaNet и Gated Attention. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Глубина рассуждений настраивается параметром reasoning_effort, а контекст рассуждений из предыдущих сообщений может сохраняться через preserve_thinking. Сильные стороны модели — высокая заявленная производительность в программировании, профессиональной работе, исследованиях и автономном выполнении сложных задач, а также широкая совместимость с инструментами инференса. В представленном описании не указана поддержка изображений или других модальностей, поэтому модель следует рассматривать прежде всего как текстовую. Лицензия обозначена как qwen3.8-max с типом other; применимые условия приведены в файле LICENSE базовой модели Qwen/Qwen3.8-2.4T-A95B.

NVIDIA DeepSeek-V4-Pro-NVFP4 — квантизированная версия языковой модели DeepSeek-V4-Pro, разработанная и подготовленная с помощью NVIDIA Model Optimizer v0.44. Базовая модель создана сторонней организацией и не принадлежит NVIDIA; NVIDIA выполнила её квантизацию под данный сценарий использования. Модель распространяется по лицензии MIT и допускает коммерческое и некоммерческое применение. Модель предназначена для генерации текста, сложного рассуждения, математических задач, программной инженерии, агентных приложений, вызова инструментов и корпоративных AI-ассистентов. Она поддерживает многоходовые диалоги с системными, пользовательскими и ассистентскими сообщениями, структурированный JSON-вывод, function calling и выдачу рассуждений в соответствующем режиме. Доступны режимы Non-think для быстрого ответа, Think High для логического анализа и Think Max для максимально глубокого рассуждения. Архитектура построена на Transformer и Mixture-of-Experts с гибридным вниманием, включающим Compressed Sparse Attention и Heavily Compressed Attention. Общее число параметров составляет около 1,6 трлн, из них активируется 49 млрд. Модель работает с текстом, использует контекст до 1 млн токенов и поддерживает пользовательский конвейер кодирования encoding_dsv4. NVFP4-квантизация применяется к весам и активациям линейных операторов в MoE-блоках. Для запуска заявлены SGLang и vLLM на Linux-системах с GPU NVIDIA Blackwell, тестирование проводилось на NVIDIA B200. Ограничения включают высокие требования к совместимой аппаратуре и необходимость дополнительного тестирования на данных конкретного применения; сведения о языках модели, обучающих данных и полном наборе характеристик базовой DeepSeek-V4-Pro в карточке не раскрыты.

google/gemma-4-31B-it-qat-q4_0-gguf — мультимодальная instruction-tuned модель семейства Gemma 4, разработанная Google DeepMind. Она предназначена для генерации текста, рассуждений, программирования, агентских сценариев и анализа изображений с формированием текстового ответа. Модель поддерживает текстовые и графические входы, но аудио для версии 31B не заявлено. Модель использует плотную архитектуру с примерно 30,7 млрд параметров, 60 слоями и гибридным механизмом внимания, сочетающим локальное sliding window attention с глобальным вниманием. Контекстное окно составляет до 256K токенов, размер словаря — 262K. Семейство Gemma 4 заявляет мультиязычную поддержку более 140 языков, нативную поддержку system role, configurable thinking modes и function calling. Эта версия представлена в формате GGUF с Q4_0 и прошла Quantization-Aware Training, что ориентировано на снижение требований к памяти при сохранении качества, близкого к bfloat16. К сильным сторонам относятся большое контекстное окно, мультимодальное понимание текста и изображений, возможности рассуждения, кодирования и локального развёртывания в экосистемах, совместимых с GGUF. Ограничениями являются отсутствие заявленной поддержки аудио у 31B, а также потенциальные компромиссы качества и точности, характерные для квантованного формата. Модель распространяется по лицензии Apache 2.0.

K2-Horizon-7B — плотная авторегрессионная языковая модель семейства K2-Horizon от IFM, предназначенная для генерации текста и диалогового взаимодействия. Модель имеет около 8 млрд параметров и поддерживает контекст до 524 288 токенов; карточка описывает её как 7B-core модель с окном контекста 512K. Веса опубликованы в формате Safetensors, лицензия — Apache-2.0. Модель рассчитана на сценарии рассуждений, программирования, работы с длинным контекстом и агентных задач; README приводит результаты оценки на соответствующих бенчмарках и описывает обучение для снижения повторяющихся циклов в длинных генерациях. Доступны промежуточные контрольные точки для изучения изменений возможностей в ходе обучения, а обучающие данные, код и материалы оценки заявлены как открытые. Метаданные указывают английский язык карточки, но это не гарантирует, что модель поддерживает только английский.

RedHatAI/Llama-3.3-70B-Instruct-quantized.w8a8 — квантизированная версия языковой модели Llama-3.3-70B-Instruct, разработанная Neural Magic на базе модели Meta. Это текстовая модель формата «текст на входе — текст на выходе», предназначенная для диалоговых ассистентов, генерации текста, решения задач с открытым ответом, математического рассуждения и программирования. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков, а также коммерческого и исследовательского использования. Модель использует архитектуру Llama и имеет 70 млрд параметров в исходной версии. Веса и активации линейных операторов в трансформерных блоках квантизированы в INT8. Для весов применяется статическая симметричная поканальная квантизация, для активаций — динамическая симметричная поточенная квантизация. По данным README, это примерно вдвое снижает требования к видеопамяти и размеру модели, а также может примерно вдвое увеличить пропускную способность матричных умножений. Приведённые примеры развертывания используют vLLM и длину контекста 8192 или 32768 токенов, однако точный нативный размер контекста в README не указан. По результатам внутренней оценки модель сохраняет 99,4% качества исходной версии по OpenLLM v1 и показывает 100% pass@1 на HumanEval и HumanEval+. Она оптимизирована для эффективного инференса, в частности через vLLM и совместимые с OpenAI API серверы, но квантизация может приводить к некоторой потере качества по сравнению с полной точностью. Модель предназначена только для текстовых задач и не поддерживает мультимодальный ввод. Условия использования определяются лицензией Llama 3.3 от Meta; README также исключает применение с нарушением действующих законов и нормативных требований. Модель была валидирована в Red Hat OpenShift AI 2.20, Red Hat AI Inference Server 3.0, Red Hat Enterprise Linux AI 1.5 и vLLM 0.8.4.

Qwen3.6-27B with MTP — это плотная мультимодальная модель на базе Qwen/Qwen3.6-27B, представленная пользователем froggeric в формате GGUF для llama.cpp. Модель предназначена для диалога, программирования, отладки, анализа, перевода, работы с изображениями, рассуждений и использования инструментов. Заявлена поддержка английского, китайского и других языков. Модель содержит 27 млрд параметров, поддерживает текстовый и графический ввод через отдельный vision-проектор, а также контекст до 262 144 токенов при подходящей конфигурации памяти. Встроенные MTP-головы обеспечивают self-speculative decoding: llama.cpp может предсказывать несколько токенов за шаг и затем проверять их, что особенно эффективно для кода и других предсказуемых задач. Доступны варианты квантования от F16 до IQ2_M, что позволяет выбирать между качеством, скоростью и требованиями к памяти. К сильным сторонам относятся мультимодальность, большой контекст, поддержка reasoning и tool use, встроенное ускорение генерации без дополнительной draft-модели и исправленный шаблон чата для корректной работы в C++-рантаймах. Ограничения включают зависимость от версии llama.cpp b9180 или новее, необходимость отдельного mmproj-файла для изображений, а также неодинаковую эффективность MTP: ускорение обычно выше при программировании и ниже при аналитических и творческих задачах, особенно на сильных вариантах квантования. Модель распространяется по лицензии Apache-2.0.

NVIDIA DeepSeek-V4-Flash-0731-NVFP4 — это квантизированная версия модели DeepSeek-V4-Flash-0731, разработанной DeepSeek AI и оптимизированной NVIDIA с помощью Model Optimizer. Модель предназначена для коммерческого и некоммерческого использования и ориентирована на сложное рассуждение, агентные AI-приложения, работу с инструментами, математику, программную инженерию и корпоративных AI-ассистентов. Модель построена на архитектуре Transformer и использует Mixture-of-Experts с 304 млрд параметров, из которых активируются 13 млрд, гибридное внимание Compressed Sparse Attention и Heavily Compressed Attention, а также Manifold-Constrained Hyper-Connections. Это авторегрессионная языковая модель с текстовым вводом и выводом, поддержкой многоходовых диалогов, системных инструкций, структурированного JSON, function calling и отображения рассуждений. Максимальная длина контекста составляет 1 млн токенов; доступны уровни reasoning effort low, high и max. Модель включает модуль спекулятивного декодирования DSpark. К сильным сторонам относятся поддержка очень длинного контекста, задач рассуждения, программирования, следования инструкциям и агентного взаимодействия с инструментами. Модель предназначена прежде всего для запуска на GPU NVIDIA с архитектурой Blackwell в Linux через SGLang или vLLM; совместимость с другими платформами в README не указана. Данные исходного обучения не раскрыты, поэтому заявленные характеристики требуют дополнительной проверки на прикладных данных. Модель распространяется по лицензии MIT.

Hermes 4 405B — языковая модель Nous Research для диалогов и следования инструкциям, дообученная на базе Meta Llama 3.1 405B. Это плотная авторегрессионная модель с 403,7 млрд параметров, представленная в формате safetensors и рассчитанная на контекст до 131 072 токенов. Модель предназначена для работы в роли универсального ассистента: она ведёт диалог, рассуждает, помогает с математикой, программированием, STEM-задачами, логикой и творческим письмом. Поддерживает гибридный режим рассуждений, вызов функций и инструментов, а также генерацию структурированных ответов, включая JSON по заданной схеме. В карточке указана поддержка английского языка. Разработчик сообщает об улучшениях в рассуждениях, следовании форматам и управляемости после дообучения. Реальное качество может зависеть от запроса, шаблона чата и настроек генерации; работа с инструментами требует подходящего парсера и среды исполнения. Лицензия — Llama 3.

unsloth/Llama-3.1-8B-Instruct-GGUF — это GGUF-версия инструкционно дообученной текстовой модели Llama 3.1 с 8 млрд параметров. Модель разработана Meta, а представленная конвертация и набор форматов опубликованы Unsloth. Она предназначена для генерации текста и кода, диалоговых сценариев, ассистентов и других задач, где требуется следование инструкциям на естественном языке. Модель использует авторегрессионную оптимизированную архитектуру Transformer с Grouped-Query Attention (GQA). Она работает только с текстом на входе и формирует текст или код на выходе, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Максимальная длина контекста составляет 128 тысяч токенов; данные обучения основаны на общедоступных онлайн-данных, дата отсечения знаний — декабрь 2023 года. Инструкционная версия обучалась с применением supervised fine-tuning и reinforcement learning with human feedback. К сильным сторонам относятся мультиязычный диалог, поддержка длинного контекста, генерация кода и возможность запуска в GGUF-совместимых инструментах, включая llama.cpp, Ollama и vLLM. Ограничения модели связаны с текстовой модальностью, статичностью знаний и возможными ошибками или небезопасными ответами; конкретный объём памяти и степень квантования зависят от выбранного GGUF-файла. Использование регулируется коммерческой Llama 3.1 Community License.

MaziyarPanahi/Meta-Llama-3.1-8B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели Meta-Llama-3.1-8B-Instruct, разработанной Meta и преобразованной в формат GGUF пользователем MaziyarPanahi. Модель предназначена для генерации текста и кода, а также для многоязычного диалога и других сценариев, где требуется следование инструкциям. Формат GGUF поддерживается llama.cpp и рядом локальных приложений и библиотек, включая llama-cpp-python, LM Studio и text-generation-webui, что позволяет запускать модель локально с использованием CPU и GPU-ускорения. Модель использует авторегрессионную оптимизированную архитектуру Transformer с Grouped-Query Attention (GQA), содержит 8 миллиардов параметров и работает только с текстом на входе и выходе. Контекстное окно составляет 128 тысяч токенов. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки; модель также генерирует код. Базовая модель обучалась на более чем 15 триллионах токенов общедоступных онлайн-данных, а инструкционная версия дополнительно настраивалась с помощью supervised fine-tuning и RLHF для повышения полезности и безопасности. Ключевые преимущества этой версии — широкий контекст, многоязычность, поддержка диалоговых сценариев и возможность более экономичного локального запуска благодаря квантизации с вариантами от 2 до 8 бит. Ограничения включают текстовую модальность, статичность знаний с отсечкой декабря 2023 года и возможные компромиссы между размером квантизации, качеством и требованиями к ресурсам. Использование регулируется пользовательской коммерческой лицензией Llama 3.1 Community License.

RedHatAI/Mistral-Small-3.1-24B-Instruct-2503-FP8-dynamic — мультимодальная instruction-модель, разработанная Red Hat совместно с Neural Magic на базе Mistral-Small-3.1-24B-Instruct-2503 от Mistral AI. Архитектура Mistral3ForConditionalGeneration принимает текст и изображения, а генерирует текст. Заявлены поддержка 27 языков, включая русский, английский, французский, немецкий, испанский, китайский и японский, а также задачи text-to-text и image-text-to-text. Модель предназначена для быстрых диалоговых агентов, вызова функций с низкой задержкой, программирования, математического рассуждения, анализа длинных документов и визуального понимания. Она также подходит для дообучения под предметные области и локального развертывания, в том числе в сценариях с чувствительными данными. Размер модели составляет 24 млрд параметров; README не указывает точное максимальное окно контекста. Модель оптимизирована с помощью FP8-квантизации весов и активаций: это примерно вдвое снижает требования к памяти GPU и размер диска, а также может примерно вдвое повысить пропускную способность матричных вычислений по сравнению с FP16. Для весов используется статическая симметричная поканальная квантизация, для активаций — динамическая симметричная потокенная квантизация; квантизуются линейные операторы внутри трансформерных блоков. Ограничения включают необходимость соблюдать законодательство и официально поддерживаемые языки. Модель распространяется по лицензии Apache-2.0.

Карточка модели Openintelligent123/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4 на Hugging Face совпадает с карточкой nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4, поэтому описание составлено по ней. Nemotron-3-Ultra-550B-A55B-NVFP4 — большая языковая модель NVIDIA для диалога, рассуждений и агентных приложений. Она предназначена для сложных многошаговых задач, анализа больших документов и кодовых баз, а также для работы с математическими и научными запросами. Модель подходит разработчикам чат-ботов, RAG-систем и AI-агентов. Модель построена на гибридной архитектуре LatentMoE: в ней сочетаются слои Mamba-2, Mixture-of-Experts и Attention, а Multi-Token Prediction ускоряет генерацию. Всего в модели 550 млрд параметров, из которых 55 млрд активны; контекст достигает 1 млн токенов. Чекпойнт использует NVFP4 и рассчитан на высокую пропускную способность на современном оборудовании NVIDIA. Поддерживаются английский, французский, испанский, итальянский, немецкий, японский, корейский, хинди, бразильский португальский и китайский языки. NVIDIA заявляет о готовности модели к коммерческому и некоммерческому использованию; в метаданных лицензия обозначена как other, поэтому перед внедрением следует проверить условия лицензии в карточке модели. Для запуска требуются значительные вычислительные ресурсы и подходящая инфраструктура NVIDIA; в README рекомендована многосерверная конфигурация для развертывания на нескольких узлах.

OpenHermes-2.5-DPO-No-Robots — диалоговая языковая модель на архитектуре Mistral, разработанная OpenAccess AI Collective. Это версия OpenHermes-2.5-Mistral-7B, дополнительно обученная методом DPO на датасете предпочтений, созданном на основе наборов HuggingFace No Robots. Модель содержит 7,1 млрд параметров и принимает текстовые запросы, генерируя текстовые ответы; контекст составляет до 32 768 токенов. Модель предназначена для диалога, следования инструкциям, генерации текста и помощи с кодом. Доступна в формате Safetensors. Лицензия Apache-2.0 разрешает использование и распространение на её условиях.

NVFP4/Qwen3-30B-A3B-Instruct-2507 — квантизированная версия причинной языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen; формат NVFP4 создан для оптимизированного развертывания. Модель предназначена для генерации текста, следования инструкциям, логического рассуждения, понимания текста, математики, науки, программирования, использования инструментов и открытых диалоговых задач. Она поддерживает многоязычные сценарии и контекст до 262 144 токенов, работает только в нережиме рассуждений и не генерирует блоки <think></think>. Архитектура представляет собой causal language model на основе Mixture of Experts: 30,5 млрд параметров всего, из них 3,3 млрд активируются при обработке запроса; 48 слоев, 128 экспертов, 8 активных экспертов, Grouped Query Attention с 32 головами запросов и 4 головами ключей и значений. К сильным сторонам относятся улучшенные instruction following, качество открытых ответов, покрытие редких знаний, программирование и работа с длинным контекстом. К ограничениям относятся отсутствие режима пошагового рассуждения и потенциальные требования к совместимому программному и аппаратному стеку для запуска NVFP4-квантизации. Лицензия — Apache 2.0.

Qwen3-4B-MLX-4bit — это компактная 4-билионная причинная языковая модель семейства Qwen3, разработанная командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения математических и логических задач, программирования, перевода и сценариев с использованием внешних инструментов. Она поддерживает переключение между режимом рассуждения для сложных задач и нережимом рассуждения для более быстрой работы в рамках одной модели. Модель содержит 4,0 млрд параметров, из которых 3,6 млрд не относятся к embedding-слою, и включает 36 слоёв. Используется Grouped Query Attention с 32 головами запросов и 8 головами ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Модель поддерживает более 100 языков и диалектов, ориентирована на многоязычные инструкции и перевод. Формат MLX и 4-битное квантование делают её подходящей для эффективного запуска в экосистеме MLX. Сильными сторонами являются сочетание рассуждения и быстрого диалогового режима, развитые возможности следования инструкциям, многоязычность, программирование и интеграция с инструментами. Ограничения включают текстовую специализацию без заявленной поддержки других модальностей, зависимость длинного контекста от YaRN и необходимость подбора параметров генерации: для режима рассуждения рекомендуется не использовать жадное декодирование. В README указана лицензия Apache-2.0.

Xing4.0-29B-A4B-GGUF — большая языковая модель серии Xing, разработанная China Telecom Artificial Intelligence Technology Co., Ltd. Это GGUF-представление модели Xing4.0-29B-A4B с квантованием смешанной точности IQ4_NL; размер файла составляет около 18 ГБ, что позволяет запускать модель на одной пользовательской видеокарте. Модель распространяется под лицензией Apache 2.0. Модель предназначена для генерации текста, сложного рассуждения, программирования, инженерных задач, многошагового планирования, вызова инструментов и агентских сценариев. Она также подходит для дообучения под прикладные задачи, включая классификацию намерений, анализ таблиц, аудит договоров и ответы на вопросы по корпоративным знаниям. Заявлена совместимость с Transformers, vLLM, SGLang, KTransformers, LLaMA-Factory и MindFormers, а также с рядом агентских фреймворков. Архитектура включает MoE с 29 млрд общих параметров и 4 млрд активных параметров на токен, 40 слоёв, скрытый размер 3584, MLA-attention, 64 маршрутизируемых эксперта, 4 активных эксперта на токен и одного общего эксперта. Модель поддерживает контекст 256 тысяч токенов с возможностью расширения до 512 тысяч. Указана поддержка режима рассуждений, который можно включать или отключать при инференсе. README не сообщает полный список поддерживаемых языков и не описывает мультимодальные возможности, поэтому модель следует считать текстовой. Сильными сторонами являются большой контекст, высокая эффективность MoE при инференсе, ориентация на агентские и программные задачи, а также возможность локального запуска и доменной адаптации. Ограничения включают необходимость совместимого инференс-стека и значительный объём памяти; показатели бенчмарков приведены авторами README и могут зависеть от настроек оценки. Сведения о безопасности, фильтрации контента и конкретных языковых ограничениях не указаны.

calme-2.3-rys-78b — дообученная MaziyarPanahi диалоговая языковая модель на базе dnhkng/RYS-XLarge. Она предназначена для ответов на вопросы, чат-ботов и виртуальных помощников, генерации и суммаризации текстов, работы с кодом, решения сложных задач и поддержки принятия решений. Модель использует архитектуру Qwen2 с 76,7 млрд параметров, работает с текстом и поддерживает шаблон диалога ChatML; заявленная длина контекста — 32 768 токенов. В карточке указан английский язык, а в качестве обучающего набора — truthy-dpo-v0.1-axolotl. Модель распространяется по лицензии MIT. Как и другие большие языковые модели, она может воспроизводить смещения и выдавать ненадёжные ответы; для ответственных сценариев нужны проверка результатов и человеческий контроль.

DeepSeek-V4.1-Flash — мультимодальная модель DeepSeek для диалогов, рассуждений и агентных задач. Она принимает изображения и текст и авторегрессионно генерирует текст. По README, модель обучена с нуля и использует архитектуру Causal Encoder-Decoder с 40 слоями и Mixture-of-Experts; в ней 552 млрд параметров backbone, а при обработке токенов активируется 8 млрд параметров на этапе prefill и 16 млрд при генерации. Модель поддерживает контекст до одного миллиона токенов и управляемый уровень усилий рассуждения от 1 до 100. Среди заявленных архитектурных решений — сжатие KV-кэша, разреженное внимание, условная память Engram и спекулятивное декодирование. Модель ориентирована на сценарии с длинным контекстом и агентным выполнением задач, включая работу с кодом и визуальными данными. Метаданные указывают форматы safetensors FP8 и библиотеку Transformers; лицензия — MIT. README отмечает, что для релиза не предоставлен Jinja-шаблон чата, а для запуска локально предлагается обратиться к инструкциям в папке inference.

unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit — 4-битная версия instruction-tuned языковой модели Meta Llama 3.1 8B, подготовленная с использованием Unsloth. Модель разработана Meta и предназначена для генерации текста и кода, диалоговых сценариев, ответов на инструкции и других задач обработки текста. Она работает только с текстовыми данными на входе и выдаёт текст или код. Модель построена на авторегрессионной оптимизированной архитектуре Transformer, использует Grouped-Query Attention (GQA) и содержит около 8 млрд параметров. Заявленная длина контекста составляет 128 тысяч токенов. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Instruction-тюнинг выполнен с применением supervised fine-tuning и reinforcement learning with human feedback для повышения полезности и безопасности ответов. 4-битное представление снижает требования к памяти и может быть удобно для локального запуска и инференса на доступном оборудовании, однако потенциально ограничивает точность по сравнению с полноразмерными вариантами. Модель является статической и обучена на офлайн-данных; дата отсечения знаний — декабрь 2023 года. Использование регулируется пользовательской коммерческой лицензией Llama 3.1 Community License.

MiniMax-M2.7-NVFP4 — это текстовая большая языковая модель MiniMax M2.7, разработанная MiniMaxAI и опубликованная NVIDIA в варианте с квантизацией NVFP4. Модель предназначена для сложной разработки программного обеспечения, агентских сценариев с использованием инструментов, длительных многоэтапных задач, поиска и исправления ошибок в продуктивных системах, а также создания и редактирования офисных документов, исследовательской и аналитической автоматизации. Поддерживаются текстовые входы и выходы, включая длинные системные инструкции и контекст до 204 800 токенов. Модель построена на архитектуре Transformer со Sparse Mixture-of-Experts: содержит около 230 млрд параметров, из которых 10 млрд активируются при обработке, 62 слоя, размер скрытого представления 3072, 256 локальных экспертов и 8 активируемых экспертов на токен. Доступны интеграции с SGLang и vLLM; целевая аппаратная платформа — GPU NVIDIA с микроархитектурой Blackwell, предпочтительная операционная система — Linux. Сильными сторонами являются большой контекст, специализация на программировании, агентских рабочих процессах и многошаговом рассуждении, однако модель принимает только текст, сведения о языковом охвате и обучающих данных ограничены, а качество и безопасность требуют дополнительного тестирования под конкретные сценарии. Модель предназначена только для исследований и разработок. Использование регулируется NVIDIA Software and Model Evaluation License; дополнительно указана Non-Commercial MiniMax License.

Nemotron-3-Super-120B-A12B-NVFP4 — большая языковая модель NVIDIA для диалога, рассуждений и работы в агентных системах. Она предназначена для разработчиков чат-ботов, RAG-систем и ИИ-приложений, включая автоматизацию IT-заявок, сложное следование инструкциям и анализ длинных контекстов. Модель использует гибридную архитектуру LatentMoE на основе Mamba-2, смеси экспертов и слоёв внимания, а также Multi-Token Prediction для ускорения генерации. Всего в ней 120 млрд параметров, из которых активны 12 млрд; заявленная длина контекста — до 1 млн токенов. Веса представлены в NVFP4, при этом репозиторий содержит файлы Safetensors и рассчитан на работу с Transformers. Модель поддерживает английский, французский, немецкий, итальянский, японский, испанский и китайский языки; в карточке также заявлены сценарии с кодом. NVIDIA указывает, что модель готова к коммерческому использованию; метаданные обозначают лицензию как other, поэтому конкретные условия следует сверить с лицензией репозитория. К возможным ограничениям относятся потребность в мощном оборудовании для обслуживания модели и зависимость качества ответов от задачи и контекста.

Qwen3-14B-GGUF — квантизированная версия языковой модели Qwen3-14B, разработанной Qwen и подготовленной в формате GGUF пользователем bartowski на основе llama.cpp. Модель предназначена для генерации текста, следования инструкциям, многошаговых диалогов, творческого письма, ролевых сценариев, программирования, математических и общеинтеллектуальных задач, а также для агентских сценариев. Модель поддерживает режимы рассуждения и без рассуждения; режим /no_think позволяет отключить рассуждение, добавив эту команду в конец запроса. Заявлена поддержка более 100 языков и диалектов. Максимальная длина контекста составляет до 131 072 токенов с YaRN, при этом значение по умолчанию — 32 000 токенов. Формат GGUF удобен для локального запуска через совместимые инструменты, включая llama.cpp и LM Studio. К сильным сторонам относятся улучшенные способности к математике, программированию, здравому смыслу и работе с инструкциями, а также поддержка различных режимов генерации и широкого набора языков. Ограничения связаны с возможными неточностями, вредным или неподходящим содержанием, а также с тем, что квантизация и локальная среда выполнения могут влиять на качество и скорость. В README лицензия модели не указана, поэтому условия использования необходимо уточнять по лицензии оригинальной Qwen3-14B и конкретной сборки.

Qwen3-30B-A3B-Instruct-2507-GGUF — это GGUF-версия каузальной языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Модель преобразована с использованием llama.cpp; сборка и экспериментальная схема квантования опубликованы пользователем Mungert. Она предназначена для локального запуска и генерации текста, следования инструкциям, логического рассуждения, понимания текста, математики, научных и программных задач, работы с инструментами и открытых диалоговых сценариев. Модель использует архитектуру Mixture of Experts: всего 30,5 млрд параметров, из которых 3,3 млрд активируются при обработке запроса; в составе 48 слоёв, 128 экспертов и 8 активируемых экспертов. Применяется Grouped Query Attention с 32 головами для Q и 4 для KV. Нативная длина контекста составляет 262 144 токена. Модель поддерживает несколько языков, но конкретный перечень в предоставленных данных не указан. Это режим без рассуждений: модель не формирует блоки <think></think>. К сильным сторонам относятся улучшенные instruction following, логическое рассуждение, кодирование, использование инструментов, субъективные и открытые задачи, мультиязычное понимание и работа с длинным контекстом. GGUF-квантизация облегчает локальный инференс, а ручное повышение точности отдельных важных слоёв может улучшать качество при заданном уровне квантования. Ограничения связаны с компромиссом между размером файла, требованиями к ресурсам и точностью; конкретные характеристики зависят от выбранного варианта квантования. Лицензия — Apache 2.0.

lmstudio-community/Qwen3-32B-GGUF — квантизированная версия языковой модели Qwen3-32B, разработанной командой Qwen. Формат GGUF подготовлен bartowski на основе llama.cpp, релиз b5200. LM Studio распространяет эту модель в рамках общественной программы, но не является её разработчиком. Модель предназначена для генерации текста, следования инструкциям, многоходовых диалогов, творческого письма, ролевых сценариев, программирования, математических задач и рассуждений общего назначения. Поддерживаются режимы с рассуждением и без него; режим /no_think позволяет отключить рассуждения добавлением соответствующего параметра в конец запроса. Заявлена поддержка более 100 языков и диалектов, а также агентских сценариев. Модель имеет 32 млрд параметров и поддерживает контекст до 131 072 токенов с использованием YaRN; значение по умолчанию составляет 32 000 токенов. К ключевым преимуществам относятся расширенные возможности рассуждения, программирования, математики, диалогового взаимодействия и следования инструкциям. Ограничения включают возможные неточные, вредные или неподходящие ответы, а также отсутствие в README сведений о точном уровне квантизации, требованиях к оборудованию и характеристиках производительности. Модель распространяется по лицензии Apache 2.0.

Esper 3.1 — дообученная Valiant Labs модель на базе Qwen3.6-27B, предназначенная для программирования, проектирования систем и DevOps. Она ориентирована на сложные задачи рассуждения, включая разработку и анализ кода, архитектуру приложений и инфраструктуры, MLOps и исследования в области ИИ. В карточке также заявлена поддержка работы с изображениями; основной практический акцент сделан на текстовом диалоге и генерации кода. Модель имеет плотную архитектуру Qwen3_5ForCausalLM, содержит 22,3 млрд параметров и поддерживает контекст до 262 144 токенов. Среди заявленных языков — английский; в тегах перечислены языки программирования, включая Python, TypeScript, JavaScript, Java, C++, C#, Rust и Go. Модель распространяется в формате safetensors под лицензией Apache-2.0. Esper 3.1 дообучена на наборах данных с задачами рассуждения, кодирования и DevOps, включая данные, созданные с помощью DeepSeek. Качество заявлено разработчиком, независимые оценки в карточке не приведены. Модель рассчитана на локальный запуск и серверное использование; фактические требования к ресурсам зависят от выбранной реализации и оборудования.

Qwen3.6-35B-A3B-MTP-GGUF — GGUF-версия модели Qwen3.6-35B-A3B, разработанной командой Alibaba Qwen. Это разреженная мультимодальная модель Mixture-of-Experts с 35 млрд общих параметров и примерно 3 млрд активных параметров на токен. Модель принимает текст, изображения и видео, поддерживает английский язык и имеет контекст до 262 тысяч токенов; заявлено расширение до 1 млн токенов с помощью YaRN. Модель предназначена прежде всего для агентного программирования, работы с кодом, фронтенд-задач, анализа репозиториев, мультимодальных сценариев и интеграции с инструментами. Она поддерживает вызов функций, структурированный вывод и режимы рассуждения. Архитектура сочетает линейное внимание Gated DeltaNet со стандартными слоями gated attention. Формат MTP добавляет несколько выходных голов для предсказания будущих токенов и ускорения спекулятивного декодирования без отдельной draft-модели. К сильным сторонам относятся большой контекст, мультимодальность, низкое число активных параметров относительно общего размера и возможность локального запуска в различных вариантах квантования; заявленное потребление для некоторых конфигураций составляет около 21–24 ГБ VRAM. Ограничения включают значительные требования к памяти для BF16/F16 и снижение качества при более агрессивном квантовании. Доступны файлы GGUF размером примерно от 13,2 до 71,1 ГБ и отдельные мультимодальные проекторы. Модель распространяется по лицензии Apache 2.0.

QwQ-LCoT-14B-Conversational — плотная языковая модель на архитектуре Qwen2, созданная Prithiv ML Mods дообучением Qwen/Qwen2.5-14B-Instruct. Она предназначена для диалогов с длинным контекстом, пошаговых рассуждений, следования сложным инструкциям и генерации текста. Модель содержит 14 млрд параметров, использует формат safetensors и рассчитана на контекст до 32 768 токенов по метаданным Hugging Face; README заявляет поддержку до 128 000 токенов, поэтому фактический предел требует проверки в используемой конфигурации. Модель работает с текстом и имеет интерфейс для вызова инструментов. В README отмечены сценарии решения математических и кодовых задач, многоязычного общения, генерации JSON и таблиц, создания длинных материалов и работы чат-ботов. Заявлена поддержка более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский; основное назначение не ограничено одним языком. Лицензия — Apache-2.0. Среди ограничений указаны возможные ошибки в сложных рассуждениях и специализированных темах, различия в качестве между языками, потеря связности на очень длинном контексте, унаследованные смещения и повышенные требования к вычислительным ресурсам.

Apriel-5B-Instruct — языковая модель общего назначения от ServiceNow AI, дообученная на Apriel-5B-Base с помощью продолженного предобучения, supervised fine-tuning и этапов выравнивания DPO и RLVR. Это плотный авторегрессионный Transformer-декодер с grouped-query attention и позиционными эмбеддингами YARN; в репозитории указаны 4,6 млрд параметров и контекст до 16 384 токенов. Веса опубликованы в формате safetensors и доступны по лицензии MIT. Модель предназначена для диалога и следования инструкциям, ответов на вопросы, генерации и краткого изложения текста, помощи с кодом, логических рассуждений и творческого письма. Она поддерживает структурированные диалоги и сценарии вызова инструментов. Основной язык — английский; качество на менее представленных языках может быть ниже. Модель может выдавать фактически неверные, вводящие в заблуждение или устаревшие ответы и отражать смещения обучающих данных. Её не следует применять в критически важных сценариях без проверки человеком и дополнительных мер защиты; для медицинских, юридических и финансовых решений она не подходит без специальных safeguards.

Apriel-H1-15b-Thinker-SFT — языковая модель на 15 млрд параметров от ServiceNow AI для генерации ответов, рассуждений и кода. Она построена на гибридной архитектуре Transformer и Mamba: часть слоёв внимания заменена линейными блоками Mamba. По заявлению разработчика, такая конструкция повышает пропускную способность инференса более чем вдвое по сравнению с Apriel-Nemotron-15B-Thinker при небольшом снижении качества рассуждений, математических решений и программирования. Модель получена дистилляцией Apriel-Nemotron-15B-Thinker, обучена для диалогов и поддерживает интерфейс вызова инструментов. Модель рассчитана на многошаговые рассуждения, помощь с кодом, ответы на вопросы, выполнение сложных инструкций и агентные сценарии. Контекстное окно — 65 536 токенов; фактический предел зависит от среды запуска. Шаблон диалога задаёт генерацию этапа рассуждения перед кратким финальным ответом. Наиболее сильные результаты заявлены для английского языка, качество на менее представленных языках может быть ниже. Модель выпущена под лицензией MIT. Она может ошибаться, выдавать устаревшие или предвзятые ответы и не предназначена для критически важных сценариев без проверки человеком; для медицинских, юридических и финансовых решений нужны соответствующие меры контроля.

Arcee-Nova — языковая модель от Arcee AI для диалогов и широкого круга задач генерации текста. Она объединяет Qwen2-72B-Instruct с пользовательской моделью, дообученной на смеси данных общего назначения. В метаданных указаны плотная архитектура Qwen2, 71,5 млрд параметров и контекст до 32 768 токенов. Модель предназначена для рассуждений, творческого письма, программирования и понимания естественного языка. Её можно применять для чат-ботов поддержки, подготовки материалов и документации, помощи в разработке ПО, анализа данных, исследовательской работы и разбора юридических или учебных материалов. README сообщает о высокой производительности на наборе оценивания OpenLLM Leaderboard 2.0, но не приводит подробностей протокола оценки. Модель принимает и генерирует текст. Репозиторий содержит веса Safetensors; README также ссылается на доступные сборки GGUF. Лицензия обозначена как other, поэтому конкретные условия использования следует проверять в материалах репозитория. В README не описаны конкретные языки и ограничения качества.