II.1Анализ требований и архитектура ПО

GKA-primed-HQwen3-32B-Instruct — плотная языковая модель с гибридной архитектурой, разработанная на базе Qwen3-32B с помощью конвейера Priming от Hybrid Model Factory. В ней поровну слоёв Attention и Gated KalmaNet (GKA): 32 слоя каждого типа. GKA — слой модели пространства состояний, который поддерживает фиксированное состояние и линейные вычислительные затраты по длине последовательности; модель содержит 29,7 млрд параметров и принимает контекст до 131 072 токенов. Модель предназначена для диалога и выполнения инструкций, включая задачи на длинных контекстах. По данным авторов, она близка по качеству к базовой модели и может ускорять инференс на длинных контекстах до двух раз за счёт меньшего KV-кэша. Параметр num_iter позволяет настраивать компромисс между скоростью и вычислениями при инференсе. Модель не является thinking-моделью и не поддерживает вызов инструментов. Авторы отмечают отставание примерно на 2,5–3 пункта от длинноконтекстной версии Qwen3-32B в среднем по указанным бенчмаркам. Лицензия — Apache 2.0.

unsloth/GLM-4-32B-0414-GGUF — это квантизированная GGUF-версия языковой модели GLM-4-32B-0414, разработанной командой THUDM и подготовленной Unsloth для локального запуска. Модель относится к классу text-generation и предназначена для диалогов, следования инструкциям, генерации инженерного кода, создания интерактивных артефактов, function calling, поиска по документам и подготовки отчётов. Модель содержит 32 миллиарда параметров и обучалась на 15 триллионах единиц высококачественных данных, включая синтетические материалы для задач рассуждения. На этапе дообучения применялись выравнивание по человеческим предпочтениям, rejection sampling и reinforcement learning, что улучшило следование инструкциям, программирование и работу с агентскими сценариями. Заявлена поддержка китайского и английского языков. Мультимодальность и размер контекстного окна в карточке не указаны. Сильными сторонами модели являются развитые способности к генерации кода, function calling, ответам на вопросы с использованием поиска и созданию отчётов; авторы также заявляют сопоставимую с более крупными моделями производительность на отдельных тестах. GGUF ориентирован на удобное локальное развёртывание, в частности через llama.cpp; для корректной обработки системного промпта рекомендуется использовать параметр --jinja. Лицензия — MIT. Конкретный уровень квантизации, требования к аппаратным ресурсам и ограничения качества для отдельных сценариев в README не указаны.

GLM-4.7-Flash — модель семейства GLM, опубликованная Unsloth в формате Safetensors и предназначенная для генерации текста в диалоговом режиме. Карточка описывает исходную GLM-4.7-Flash от Z.ai как MoE-модель класса 30B-A3B; каталог указывает для этой публикации 4,1 млрд параметров и архитектуру GLM4-MoE-Lite. Контекст составляет 202 752 токена. Модель рассчитана на диалог, рассуждения и программирование. В метаданных также отмечен интерфейс вызова инструментов. README сообщает о поддержке локального запуска через vLLM и SGLang, а публикация включает исправления шаблона чата для Unsloth; заявленные результаты бенчмарков относятся к карточке исходной модели. Модель принимает текст и генерирует текст. Основные языки карточки — английский и китайский. Репозиторий использует лицензию MIT. Карточка рекомендует для llama.cpp параметр --jinja; vLLM и SGLang, согласно README, поддерживают модель только в основных ветках.

NVIDIA GLM-5.2 NVFP4 — это посттренировочно квантованная версия языковой модели ZAI GLM-5.2, подготовленная NVIDIA с помощью Model Optimizer. Модель предназначена для авторегрессионной генерации текста, рассуждений и программирования, а также для использования в AI-агентах, чат-ботах, RAG-системах и других приложениях на основе искусственного интеллекта. Модель построена на архитектуре Transformer с сетью GLM-5.2 типа GlmMoeDsaForCausalLM. Это разреженная Mixture-of-Experts-модель объёмом 753 млрд параметров, из которых активируется 40 млрд; для поддержки длинного контекста используется sparse attention с индексатором IndexShare. Она принимает и генерирует текст, поддерживает контекст до 1 млн токенов. Веса и активации линейных операторов в MoE-экспертах квантизированы в формат NVFP4, при этом общий эксперт не квантизирован. Сильными сторонами модели являются поддержка длинного контекста, задач рассуждения, научного программирования, следования инструкциям и агентского использования инструментов, а также готовность к ускоренному инференсу. Обучающие данные не раскрыты, а для самой версии Model Optimizer отдельные обучение и тестирование не выполнялись; поэтому качество следует дополнительно проверять на данных конкретного сценария. Модель ориентирована на системы с GPU NVIDIA Blackwell, Linux и движками SGLang или vLLM; заявленное тестовое оборудование — NVIDIA B200 и B300. Лицензия MIT разрешает коммерческое и некоммерческое использование.

NVIDIA GLM-5.3-Flash NVFP4 — квантизированная версия модели GLM-5.3-Flash, разработанной ZAI и подготовленной NVIDIA с использованием Model Optimizer. Это авторегрессионная мультимодальная модель на базе оптимизированной Transformer-архитектуры с Mixture-of-Experts (MoE), гибридным механизмом разреженного и линейного внимания и Manifold-Constrained Hyper-Connections (mHC). Общее число параметров составляет 320 млрд, из них активируется 18 млрд. Модель предназначена для рассуждений, программирования и агентных задач, а также для чат-ботов, RAG-систем и других приложений на базе ИИ. Она принимает текст, изображения и видео, включая RGB-изображения и видео в форматах MP4/WebM, и генерирует текст. Заявлена поддержка контекста длиной до 1 млн токенов, однако сведения о поддерживаемых языках отсутствуют. Модель оптимизирована для инференса на GPU NVIDIA, в частности на архитектуре Blackwell, и поддерживает запуск через vLLM и SGLang в Linux. Квантизация весов и активаций в формат NVFP4 уменьшает вычислительные требования по сравнению с полной версией, но README не содержит количественных оценок качества, скорости или потребления памяти. Данные обучения не раскрыты; для калибровки использовались CNN/Daily Mail и Nemotron-Post-Training-Dataset-v2. Модель распространяется по лицензии MIT и разрешена для коммерческого и некоммерческого использования.

furiosa-ai/gpt-oss-120b — адаптация открытой весовой модели OpenAI gpt-oss-120b, подготовленная для запуска на аппаратных ускорителях FuriosaAI RNGD с использованием Furiosa-LLM. Это авторегрессионная текстовая модель на архитектуре Mixture-of-Experts (MoE), предназначенная для универсальной генерации текста и задач, требующих углублённого рассуждения, включая рабочие производственные сценарии. Модель принимает и генерирует текст, поддерживает английский язык и работает в формате harmony response format, отделяющем рассуждения от итогового ответа. Доступна настройка глубины рассуждения с помощью параметра reasoning_effort со значениями low, medium и high. Также поддерживается вызов инструментов и функций через OpenAI-совместимый API. Экспертные веса MoE квантизованы в MXFP4, а компоненты attention, router и embeddings сохраняются в более высокой точности. Для запуска на RNGD используется tensor parallelism с 32 вычислительными элементами, что соответствует четырём картам RNGD. Ключевое ограничение — описанная в README сборка ориентирована на Furiosa-LLM и оборудование FuriosaAI RNGD, хотя исходная модель также может работать с другими фреймворками. Модель распространяется по лицензии Apache 2.0.

unsloth/gpt-oss-120b — открытая модель с весами, основанная на openai/gpt-oss-120b и разработанная OpenAI; карточка опубликована в формате, совместимом с Transformers. Модель предназначена для универсальной генерации текста, сложных рассуждений, агентских сценариев и задач разработчиков, включая вызов функций, веб-навигацию, выполнение Python-кода и Structured Outputs. Модель содержит около 117 млрд параметров, из которых при обработке активны примерно 5,1 млрд, и использует архитектуру Mixture of Experts с нативной MXFP4-квантизацией для MoE-слоёв. Она рассчитана на запуск в пределах одной GPU H100. Доступны настраиваемые уровни рассуждений — low, medium и high, что позволяет выбирать компромисс между качеством и задержкой. Модель обучена с использованием формата ответов harmony и должна применяться именно в этом формате. В README не указаны поддерживаемые языки и размер контекстного окна. Сильными сторонами являются открытые веса, высокая эффективность активных параметров, возможность тонкой настройки и поддержка инструментального и агентского использования. Полная цепочка рассуждений доступна для отладки и анализа, но не предназначена для показа конечным пользователям. Ограничения включают требование формата harmony и существенные аппаратные ресурсы для запуска полной модели; конкретные показатели качества и дополнительные ограничения в карточке не приведены. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое использование, модификацию и распространение.

axolotl-ai-co/gpt-oss-120b-dequantized — версия с преобразованной точностью модели gpt-oss-120b, разработанной OpenAI. Это разреженная MoE-модель для генерации текста, диалога, рассуждений и агентных сценариев; README указывает 117 млрд параметров и 5,1 млрд активных параметров, а метаданные этой версии — 2,1 млрд параметров. Модель поддерживает контекст до 131 072 токенов и использует архитектуру GptOssForCausalLM. Репозиторий содержит веса safetensors и рассчитан на библиотеку Transformers. Модель предназначена для ответов на запросы, сложного анализа, работы с инструментами и генерации структурированных ответов. В README также описаны вызов функций и агентные сценарии с браузером и исполнением Python; для корректной работы требуется формат диалога Harmony. Уровень рассуждений можно настраивать, балансируя глубину ответа и скорость. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое использование и дообучение. README предупреждает, что цепочку рассуждений не следует показывать конечным пользователям; качество вывода зависит от соблюдения формата Harmony. Название репозитория указывает на dequantized-вариант, однако точный исходный формат преобразования и его влияние на качество не описаны.

RedHatAI/gpt-oss-20b — открытая модель с открытыми весами, разработанная OpenAI и опубликованная Red Hat AI в валидированной сборке для Red Hat OpenShift AI, Red Hat AI Inference Server и vLLM. Модель предназначена для генерации текста, диалоговых приложений, задач рассуждения, агентных сценариев и вызова инструментов, включая function calling, веб-поиск, выполнение Python-кода и Structured Outputs. Это меньшая версия серии gpt-oss: модель содержит около 21 млрд параметров, из которых около 3,6 млрд активны при обработке запроса. Она использует архитектуру Mixture-of-Experts и посттренировочную MXFP4-квантизацию весов MoE, благодаря чему рассчитана на работу примерно в пределах 16 ГБ памяти и обеспечивает меньшую задержку по сравнению с gpt-oss-120b. Поддерживается английский язык; в карточке указана текстовая модальность и задачи text-to-text, text-generation и tool-calling. Доступна настройка интенсивности рассуждений: low, medium и high. Сильные стороны модели — открытые веса, низкие требования к памяти, возможность локального и специализированного развертывания, тонкой настройки и интеграции с инструментами. Ограничения и важные условия использования: модель должна работать в формате ответов Harmony, иначе она может функционировать некорректно; раскрываемую цепочку рассуждений не следует показывать конечным пользователям. В README не приведены количественные результаты тестов и полный размер контекстного окна. Модель распространяется по лицензии Apache 2.0, допускающей модификацию и коммерческое использование.

Hermes-2 Θ (Theta) 70B — языковая модель Nous Research, созданная совместно с Charles Goddard и Arcee AI. Это плотная авторегрессионная модель семейства Llama 3 с 69,5 млрд параметров, полученная слиянием Hermes 2 Pro и Llama 3 Instruct с последующим дообучением с помощью RLHF. Репозиторий содержит веса SafeTensors; лицензия — llama3. Модель предназначена для многошагового диалога в формате ChatML и поддерживает контекст до 32 768 токенов. Она обучена вызову функций, выдаче структурированных ответов по JSON-схеме и извлечению признаков из документов для RAG. В метаданных указан английский язык. Эти возможности помогают создавать чат-ассистентов, связывать модель с инструментами и получать ответы в заданном формате. В README приведены результаты нескольких бенчмарков, включая IFEval и MTBench, но они не гарантируют качество на конкретных запросах. Для вызова функций требуется внешняя логика, которая разбирает вызов, выполняет функцию и передаёт результат обратно модели. Для эксплуатации нужно учитывать значительный размер модели: в README также упоминается вариант инференса в 4-битном режиме.

Hermes 3 — большая языковая модель Nous Research для диалогов и задач общего назначения. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, дообученная на основе meta-llama/Meta-Llama-3.1-8B. Она принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. Карточка указывает английский язык. Модель предназначена для многошаговых диалогов, следования инструкциям, рассуждений, ролевых сценариев, генерации кода и работы в качестве ассистента. ChatML поддерживает структурированные беседы, а обучение охватывает вызов инструментов и выдачу структурированного JSON. Качество может различаться по задачам; результаты в карточке характеризуются как конкурентные моделям Llama 3.1 Instruct, с разными сильными и слабыми сторонами. Для использования необходимо соблюдать лицензию Llama 3. Показатели в карточке не гарантируют качество в конкретном приложении; вызовы инструментов требуют разбора и выполнения со стороны внешнего кода.

harkov000 создал объединённую модель Hermes-Dolphin-8B-v0.2-alt методом SLERP с помощью mergekit. Она сочетает Hermes-3-Llama-3.1-8B и Dolphin-2.9.4-Llama3.1-8B и предназначена для диалогов, выполнения инструкций, рассуждений, генерации текста и кода, а также взаимодействия с инструментами. Модель построена на плотной архитектуре Llama с классом LlamaForCausalLM и содержит 7,5 млрд параметров. Она принимает текст и генерирует текст; заявленный контекст — до 131 072 токенов. В метаданных указаны возможности чата и интерфейс вызова инструментов. Базовая Hermes 3 описана как англоязычная, однако сведения не устанавливают полный набор языков объединённой модели. Файлы представлены в формате safetensors, а веса объединения заданы в bfloat16. Лицензия в предоставленных данных не указана.

InternLM2.5-7B-Chat-1M — диалоговая языковая модель команды InternLM, вариант InternLM2.5-7B-Chat для работы с контекстом до 262 144 токенов по метаданным. Это плотная авторегрессионная модель семейства InternLM2 с 7,4 млрд параметров, предназначенная для генерации текста в ответ на запросы и ведения диалога. Модель рассчитана на анализ длинных документов, поиск сведений в большом контексте, математические рассуждения и сценарии с использованием инструментов. В README заявлена оценка на текстах длиной до миллиона токенов и приводится рекомендация использовать LMDeploy для инференса с таким контекстом; Transformers не поддерживает этот режим напрямую. Поэтому заявленную длину в миллион токенов следует считать характеристикой описанного в README режима, тогда как метаданные указывают native context в 262 144 токена. Репозиторий содержит веса в формате safetensors. README сообщает, что код распространяется по Apache-2.0, а для весов открыто академическое исследование и предусмотрена бесплатная коммерческая лицензия по запросу. Модель ориентирована на практическое применение, но её заявления о качестве приведены разработчиком по результатам собственных оценок.

InternLM-Chat-20B — диалоговая версия языковой модели InternLM, разработанная Шанхайской лабораторией искусственного интеллекта совместно с SenseTime, Китайским университетом Гонконга и Фуданьским университетом. Это плотная авторегрессионная модель на 19,6 млрд параметров с архитектурой InternLMForCausalLM. Базовая модель обучалась на более чем 2,3 трлн токенов английского, китайского и кода; Chat-версия дополнительно прошла SFT и RLHF. Метаданные указывают контекст 4096 токенов, а README сообщает о возможности расширения до 16 тысяч токенов посредством экстраполяции при инференсе. Модель предназначена для диалогов, генерации текста, ответов на вопросы, рассуждений, математических задач, программирования и взаимодействия с инструментами. Авторы отмечают улучшения в понимании и рассуждении, а также более безопасное поведение после дообучения. Модель принимает текст и генерирует текст; заявлены английский и китайский языки, а также данные для программирования. Весовая версия распространяется отдельно от кода: код открыт по Apache-2.0, а для весов README указывает академический доступ и возможность запросить бесплатную коммерческую лицензию. Модель может выдавать предвзятые, дискриминационные или иные нежелательные ответы; результаты генерации требуют проверки.

J.A.R.V.I.S. — дообученная разговорная языковая модель автора hadadrjt на базе Qwen3-14B, представленная как базовая и облегчённая версия публичного релиза. Это плотная авторегрессионная модель с 14 млрд параметров, контекстом до 40 960 токенов и форматом Safetensors; она предназначена для генерации текста, диалогов и интеграции в чат-боты, агентные сценарии, инструменты и автоматизированные процессы. README описывает ответы на вопросы, объяснения, перевод, написание кода, суммаризацию и творческое письмо. Модель принимает текст и генерирует текст. В README также упоминаются аудио- и графические функции в основном Space, однако они недоступны в терминальной и OpenAI-совместимой версиях API и не подтверждены как возможности этой модели из репозитория. Лицензия — Apache-2.0. Автор предупреждает о возможных предвзятых или ошибочных ответах и не рекомендует применять модель в критически важных сценариях без проверки человеком.

JoyAI-LLM Flash — среднеразмерная инструкционная языковая модель, разработанная командой JD/JDopensource. Она предназначена для генерации текста, ответов на вопросы, работы со знаниями, рассуждений, программирования, использования инструментов и автономного решения задач. Модель обучалась на 20 триллионах текстовых токенов с применением оптимизатора Muon, а затем прошла supervised fine-tuning, direct preference optimization и reinforcement learning в различных средах. Заявлена поддержка китайского и английского языков. Модель использует архитектуру Mixture-of-Experts с 48 миллиардами общих и 3 миллиардами активируемых параметров. Она содержит 40 слоёв, включая один dense-слой, 32 attention heads, 256 экспертов, из которых для каждого токена выбираются 8, и один shared expert. Используются attention-механизм MLA, активация SwiGLU, словарь примерно на 129 тысяч токенов и контекст длиной до 128K токенов. Среди заявленных особенностей — FiberPO для повышения устойчивости обучения агентов и методы совместной оптимизации обучения и инференса, обеспечивающие заявленный прирост пропускной способности в 1,3–1,7 раза относительно версии без MTP. README указывает лицензию Modified MIT. Конкретные ограничения, требования к оборудованию и условия коммерческого использования отдельно не описаны.

Ling-1T-GGUF — GGUF-версия языковой модели Ling-1T, разработанной InclusionAI. Это флагманская немыслящая модель серии Ling 2.0 для генерации текста, сложного рассуждения, программирования, математических и логических задач, использования инструментов, создания фронтенд-кода и мультиязычного контента. Модель построена на архитектуре Ling 2.0 и содержит около 1 триллиона общих параметров, из которых примерно 50 миллиардов активируются для каждого токена. Используется разреженная MoE-архитектура с коэффициентом активации 1/32, MTP-слои, маршрутизация экспертов без auxiliary loss, QK-нормализация и FP8-обучение. Модель предварительно обучалась на более чем 20 триллионах токенов, поддерживает контекст до 128K токенов и применяет метод evolutionary chain-of-thought (Evo-CoT). README не указывает полный список поддерживаемых языков, однако заявляет поддержку мультиязычного текста. К сильным сторонам относятся эффективность рассуждения, качество генерации кода, визуальное понимание, создание эстетичного фронтенд-кода, математические и логические задачи, а также вызов инструментов. По заявлению разработчиков, модель демонстрирует высокие результаты на ряде сложных бенчмарков, включая AIME 25, ArtifactsBench и BFCL V3. Ограничения включают чрезвычайно большой общий размер модели и, вероятно, высокие требования к вычислительным ресурсам; конкретные требования к памяти и производительности GGUF-версии в README не приведены. Лицензия — MIT.

Ling-flash-2.0 — языковая MoE-модель семейства Ling 2.0, разработанная inclusionAI и предназначенная для диалогового использования через генерацию текста. По README, модель обучена на более чем 20 трлн токенов с последующей supervised fine-tuning и многоэтапным reinforcement learning; метаданные указывают 5,5 млрд параметров, архитектуру BailingMoeV2ForCausalLM и базовую модель inclusionAI/Ling-flash-base-2.0. README приводит другие значения: 100 млрд общих и 6,1 млрд активированных параметров, поэтому размер в источниках расходится. Модель ориентирована на сложные рассуждения, генерацию кода, разработку интерфейсов и творческие задачи. README сообщает о контексте 32K с расширением до 128K посредством YaRN; метаданные фиксируют нативный контекст 32 768 токенов. Заявлены высокая эффективность вывода и результаты на бенчмарках по математике, знаниям, коду, финансам и здравоохранению; отдельное назначение для этих отраслей не заявлено. Метаданные отмечают интерфейс вызова инструментов. Модель доступна под лицензией MIT.

RedHatAI/Llama-3.1-8B-Instruct — текстовая инструкционно настроенная модель Meta на архитектуре Llama 3.1, опубликованная Red Hat AI. Это авторегрессионный трансформер с 7,5 млрд параметров, использующий Grouped-Query Attention; карточка описывает настройку SFT и RLHF для диалоговых задач. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и оснащена интерфейсом для вызова инструментов. Модель предназначена для многоязычного общения в роли ассистента, ответов на запросы и генерации текста, в том числе в коммерческих и исследовательских сценариях. Заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Метаданные указывают на производность от meta-llama/Llama-3.1-8B-Instruct; основание этой связи с описанным в README инструкционным вариантом Meta не уточняется. Карточка сообщает о проверке на платформах Red Hat AI и описывает меры безопасности, но не приводит результаты бенчмарков именно этой копии. К ограничениям относятся возможные ошибки и риски небезопасных ответов, а также рекомендованная поддержка только перечисленных языков; интеграцию и защиту инструментов должен обеспечивать разработчик приложения. Лицензия — Llama 3.1 Community License с условиями допустимого использования.

Карточка модели crusoeai/Llama-3.3-70B-Instruct на Hugging Face совпадает с карточкой meta-llama/Llama-3.3-70B-Instruct, поэтому описание составлено по ней. Meta Llama 3.3 70B Instruct — мультиязычная генеративная языковая модель Meta для диалогов и следования инструкциям. Это авторегрессионный трансформер на 70 млрд параметров, дообученный с помощью supervised fine-tuning и обучения с подкреплением на основе обратной связи от людей. Модель принимает и выдаёт текст, поддерживает контекст до 128 тысяч токенов и оптимизирована для диалоговых сценариев. Модель подходит для создания ассистентов, ответов на вопросы, написания и преобразования текстов, а также генерации синтетических данных. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; русский среди них не указан. Для инференса описана библиотека Transformers, а контрольные точки можно использовать с 8- и 4-битной загрузкой через bitsandbytes для снижения требований к памяти. Модель статична и обучена на офлайн-данных с отсечкой знаний в декабре 2023 года. Она не принимает изображения, аудио или видео; качество и безопасность ответов требуют оценки и мер защиты в конкретном приложении. Использование регулируется пользовательским соглашением Llama 3.3 Community License, включая его ограничения и Acceptable Use Policy.

unsloth/Llama-3.3-70B-Instruct-GGUF — GGUF-версия мультиязычной большой языковой модели Llama 3.3, разработанной Meta и подготовленной для распространения Unsloth. Это авторегрессионная instruction-tuned модель для генерации текста, диалогов, ответов на вопросы и работы с кодом в текстовых сценариях. Модель содержит 70 млрд параметров и использует оптимизированную архитектуру Transformer с Grouped-Query Attention (GQA). Она принимает и генерирует мультиязычный текст, поддерживает контекст до 128 тыс. токенов и обучалась на более чем 15 трлн токенов публично доступных онлайн-данных; срез знаний — декабрь 2023 года. Указанные языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Для выравнивания поведения применялись supervised fine-tuning (SFT) и reinforcement learning with human feedback (RLHF). К сильным сторонам относятся большой контекст, диалоговая оптимизация, поддержка нескольких языков и генерация кода. Модель является статичной и обучена на офлайн-данных, поэтому не обладает актуальными знаниями без внешних источников; README также не содержит результатов конкретных бенчмарков или требований к оборудованию для запуска GGUF-версии. Использование регулируется кастомной коммерческой лицензией Llama 3.3 Community License Agreement.

Llama-8B-Distill-CoT — плотная языковая модель для генерации текста, разработанная prithivMLmods на основе DeepSeek-R1-Distill-Llama-8B. Она дообучена на данных для рассуждений и специализированных наборах с упором на цепочки рассуждений и многошаговое решение задач. Модель содержит 7,5 млрд параметров, использует архитектуру Llama и формат safetensors; для запуска предусмотрена библиотека Transformers. Заявленная длина контекста — 131 072 токена. Модель предназначена для диалоговых помощников, следования инструкциям, математических и логических задач, программирования, а также подготовки объяснений, документации и аналитических текстов. В карточке перечислен английский язык. Модель может генерировать ошибочные или предвзятые ответы, испытывать пробелы в специализированных областях и требует значительных вычислительных ресурсов. Лицензия — Llama 3.1.

FreedomAISVR опубликовал GGUF-квантизацию NVFP4 модели Magistral-Small-2509 от Mistral AI. Это плотный трансформер Mistral3ForConditionalGeneration с 24 млрд параметров, рассчитанный на диалог, рассуждения в несколько шагов, агентное программирование, вызов инструментов и понимание изображений. Для работы с изображениями в репозитории есть отдельный проектор mmproj на базе 24-слойного Pixtral ViT; модель принимает текст и изображения и генерирует текст. Нативная длина контекста — 131 072 токена. В карточке указана поддержка более 27 языков, а метаданные перечисляют английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский и арабский. NVFP4 снижает требования к памяти и рассчитан на ускорение на GPU NVIDIA Blackwell; квантизация может влиять на качество. Лицензия — Apache 2.0.

MiMo-V2-Flash — большая языковая модель Xiaomi для генерации текста, диалогов, рассуждений и агентных сценариев, включая работу с инструментами. В README она описана как MoE-модель с гибридным вниманием, многотокенным предсказанием и 309 млрд параметров, из которых активно используются 15 млрд. Метаданные Hugging Face указывают архитектуру MiMoV2FlashForCausalLM, 12 млрд параметров и файлы Safetensors в формате FP8; это расходится с характеристиками размера в README. Модель принимает текст и рассчитана на контекст до 262 144 токенов. Модель предназначена для быстрых ответов, сложных рассуждений и агентных рабочих процессов; карточка также сообщает о результатах на SWE-Bench и других тестах. Для развёртывания README рекомендует SGLang и описывает вариант запуска с выгрузкой MoE-экспертов на CPU через KTransformers. Языки в предоставленных данных не перечислены. Лицензия — MIT. Реальное качество зависит от задачи и конфигурации развёртывания; заявленные в README результаты бенчмарков являются оценками разработчика.

Mistral-Nemo-Instruct-2407-GGUF — квантизированная GGUF-версия инструкционной языковой модели Mistral-Nemo-Instruct-2407, разработанной Mistral AI (mistralai) и подготовленной квантизацией компанией Second State Inc. Модель предназначена для диалоговых приложений, генерации и обработки текста, запуска локально через совместимые инструменты, включая LlamaEdge и llama.cpp. Доступны варианты квантизации от Q2_K до Q8_0, а также f16; размер файлов составляет примерно от 4,79 до 24,5 ГБ. Для запуска используется шаблон запросов mistral-instruct, а заявленный размер контекста — 128 000 токенов. Модель поддерживает английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский языки. Это текстовая модель без заявленной поддержки других модальностей. Основное преимущество набора — возможность выбрать баланс между размером, требованиями к ресурсам и качеством: Q4_K_M и Q5_K_M отмечены как рекомендуемые варианты, тогда как низкобитные версии сильнее теряют качество. Ограничения включают зависимость качества и производительности от выбранной квантизации и оборудования; архитектура и точное число параметров в README не указаны. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Mistral-Small-24B-Instruct-2501-FP8-dynamic — текстовая instruct-модель на базе Mistral-Small-24B-Instruct-2501. Модель разработана Neural Magic и распространяется в каталоге Red Hat AI. Она принимает текст и генерирует текст, поддерживает английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Модель предназначена для диалоговых приложений, генерации и преобразования текста, работы через text-generation и text-to-text интерфейсы. Это FP8-квантованная версия с квантизацией весов и активаций линейных операторов в блоках Transformer. По сравнению с представлением в FP16 такая оптимизация примерно вдвое уменьшает размер на диске и требования к памяти GPU, что делает модель более удобной для инференса. README указывает готовность к работе с vLLM; пример развертывания допускает максимальную длину контекста 32768 токенов. Средний результат на OpenLLM Leaderboard v1 составляет 78,88 против 79,45 у неквантованной версии, поэтому основное ограничение — небольшое снижение качества после квантизации. Для запуска требуется совместимая инфраструктура инференса, например vLLM, а поддержка и производительность зависят от используемого GPU и программного окружения. Модель распространяется по лицензии Apache 2.0.

Nemotron-3-Nano-30B-A3B-FP8 — языковая модель NVIDIA для диалогов, рассуждений и типовых задач по инструкциям. Репозиторий unsloth содержит производную FP8-версию базовой модели nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16; веса представлены в формате safetensors. Модель предназначена для разработчиков чат-ботов, RAG-систем и агентных приложений, а также для решения задач общего назначения и программирования. Архитектура сочетает Mamba-2, Transformer и Mixture-of-Experts: 30 млрд параметров всего, из них 3,5 млрд активны на токен. Модель поддерживает английский, немецкий, испанский, французский, итальянский и японский языки. Контекст в конфигурации по умолчанию — 256 тыс. токенов; README заявляет возможность работы с контекстом до 1 млн токенов при соответствующих ресурсах. Доступен режим с рассуждениями и без их вывода; поддерживается интерфейс вызова инструментов. Модель рассчитана на коммерческое применение. Метаданные указывают лицензию «other», поэтому перед использованием следует проверить условия лицензии в карточке репозитория. Для работы с длинным контекстом нужны значительные ресурсы GPU; отключение режима рассуждений может немного снизить точность на сложных задачах.

Карточка модели nuottroisaoduoc/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16-heretic на Hugging Face совпадает с карточкой Ishowbackup/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16-heretic, поэтому описание составлено по ней. Это текстовая модель-чат Ishowbackup/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16-heretic на базе NVIDIA Nemotron-3-Nano-30B-A3B-BF16. Репозиторий представляет версию с abliteration: в карточке указаны параметры изменения слоёв и снижение доли отказов с 99 из 100 у исходной модели до 6 из 100. Архитектура семейства Nemotron-H использует сочетание Mamba-2, MoE и attention; карточка описывает исходную модель как имеющую 30 млрд параметров, из которых активны 3,5 млрд на токен. Метаданные каталога указывают 1,9 млрд параметров, поэтому размер этой версии по источникам расходится. Модель предназначена для диалогов, следования инструкциям, рассуждений, программирования и создания агентных приложений, включая чат-боты и RAG-системы. Поддерживает английский, испанский, французский, немецкий, итальянский и японский языки, интерфейс вызова инструментов и контекст 262 144 токена в конфигурации; README также сообщает о возможности увеличить контекст до 1 млн токенов. Исходная модель разработана NVIDIA, а карточка этой версии сообщает об улучшении с использованием Qwen. В README модель названа пригодной для коммерческого использования, однако метаданные указывают лицензию «other», поэтому перед внедрением следует проверить условия лицензии конкретного репозитория. Снижение числа отказов означает, что модель может чаще отвечать на запросы, которые исходная версия отклоняет; результаты измерения отказов приведены на выборке из 100 запросов и не гарантируют поведение во всех сценариях.

Locutusque/Orca-2-13b-SFT-v6 — плотная языковая модель семейства LLaMA, созданная полным дообучением microsoft/Orca-2-13b на наборах инструкций и диалогов, включая No Robots, EverythingLM, Capybara, Pure-Dove, LessWrong-Amplify-Instruct, Verified-Camel, Guanaco и OpenAssistant. Модель содержит 12,9 млрд параметров, использует архитектуру LlamaForCausalLM, распространяется в формате safetensors и рассчитана на контекст до 4096 токенов. Для запросов применяется шаблон ChatML. Модель предназначена для генерации ответов на инструкции и вопросы, рассуждений, суммаризации и программирования. В README приведены результаты оценивания на бенчмарках AI2 Reasoning Challenge и HellaSwag, а также значение test loss на Verified-Camel; эти показатели характеризуют отдельные тесты и не гарантируют качество во всех сценариях. В метаданных отмечена поддержка английского, французского, испанского, хинди и китайского языков. Использование регулируется лицензией Microsoft Research; перед применением следует учитывать её условия.

Phi-3.1 Mini 128K Instruct — компактная языковая модель Microsoft, представленная в формате GGUF для запуска через llama.cpp и LM Studio. Квантование подготовлено bartowski на основе Phi-3-mini-128k-instruct. Модель предназначена для диалогов, генерации и анализа текста, следования инструкциям, многошаговых рассуждений, решения математических задач, программирования, работы с общеизвестными сведениями и поддержания многоходовых бесед. Модель представляет собой плотный decoder-only Transformer примерно с 3,8 млрд параметров. Она обучалась на 3,3 трлн токенов, включая отфильтрованные общедоступные документы, образовательные и синтетические учебные данные, код, а также качественные диалоговые наборы. Для настройки применялись supervised fine-tuning и Direct Preference Optimization. Контекстное окно составляет до 128K токенов и реализовано с использованием технологии LongRoPE. Поддерживается английский язык; заявленные модальности ограничены текстом. К сильным сторонам относятся улучшенное следование инструкциям, структурирование ответов, поддержка тега system, качество многоходового диалога и усиленные способности к рассуждению при относительно небольшом размере. Ограничениями являются текстовая специализация, заявленная языковая поддержка английского и возможные неточные, вредные или вводящие в заблуждение ответы. Модель распространяется по лицензии MIT.