II.4Отладка, тестирование и качество ПО

unsloth/Llama-3.1-8B-bnb-4bit — это 4-битно квантованная версия языковой модели Meta Llama 3.1 8B, опубликованная Unsloth. Модель предназначена для генерации и обработки текста, диалоговых сценариев, работы с кодом, а также для последующего дообучения, включая создание reasoning-моделей с использованием GRPO. Она совместима с экосистемой Transformers и может быть экспортирована в форматы GGUF и vLLM. В основе лежит авторегрессионная модель с оптимизированной архитектурой Transformer и механизмом Grouped-Query Attention (GQA). Модель работает только с текстом: принимает многоязычный текст и генерирует многоязычный текст и код. Размер базовой модели — 8 млрд параметров, контекст — до 128 тысяч токенов. Обучение выполнено на смеси общедоступных онлайн-данных; дата отсечения знаний — декабрь 2023 года. В README явно указан английский язык, однако семейство Llama 3.1 описано как многоязычное. Ключевое преимущество этой версии — 4-битное представление, снижающее требования к памяти и упрощающее запуск и дообучение по сравнению с полноразмерной моделью. Ограничения включают текстовую модальность, возможную потерю качества из-за квантования и ограниченную актуальность знаний. Модель распространяется по лицензии Llama 3.1; условия использования следует уточнять в тексте этой лицензии Meta.

Llama-3.1-Nemotron-Ultra-253B-v1 — большая языковая модель NVIDIA для рассуждений, диалогов и выполнения инструкций. Это плотный авторегрессионный Transformer-декодер, созданный на основе Meta Llama-3.1-405B-Instruct с применением Neural Architecture Search: структура блоков изменена для сокращения памяти и ускорения инференса. В README указано 253 млрд параметров; метаданные каталога оценивают общий размер в 697,9 млрд параметров. Модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и работает через Transformers. Модель предназначена для чат-ботов, агентных систем, RAG, вызова инструментов и общих задач по инструкциям, включая математику, программирование и рассуждения. Она рассчитана прежде всего на английский язык; README также заявляет поддержку немецкого, французского, итальянского, португальского, хинди, испанского и тайского. Модель оптимизирована по соотношению качества и эффективности и, по README, может использоваться коммерчески. Метаданные указывают лицензию «other», поэтому перед использованием следует проверить условия лицензии в карточке модели.

Llama-3.3-Nemotron-Super-49B-v1 — языковая модель NVIDIA, созданная на основе Meta Llama-3.3-70B-Instruct и оптимизированная методом Neural Architecture Search. Это плотный decoder-only Transformer с нестандартными блоками: в части блоков пропущено внимание или оно заменено линейным слоем, а соотношение размеров слоёв FFN различается. В метаданных указано 87 млрд параметров; модель принимает текстовый контекст до 131 072 токенов и выдаёт текст. Модель предназначена для рассуждений, диалогов и следования инструкциям, включая задачи с кодом и математикой, работу с RAG и вызов инструментов в агентных системах. Она прошла многоэтапное дообучение с SFT и обучением с подкреплением; итоговый чекпойнт объединяет SFT- и RPO-чекпойнты. Оптимизация архитектуры нацелена на снижение потребления памяти и повышение пропускной способности при небольшом снижении качества; модель рассчитана, в частности, на высокую нагрузку на одном GPU NVIDIA H200. Основной язык — английский; также заявлена поддержка немецкого, французского, итальянского, португальского, хинди, испанского и тайского. Модель предназначена для коммерческого использования, однако в метаданных лицензия обозначена как other, поэтому перед внедрением следует проверить условия лицензии на странице модели. Конкретные показатели качества и ограничения по задачам в предоставленной карточке не приведены.

Llama-3.3-Nemotron-Super-49B-v1.5-NVFP4 — большая языковая модель NVIDIA, производная от Meta Llama-3.3-70B-Instruct. Это плотная модель семейства Nemotron-NAS с 87 млрд параметров и контекстом до 131 072 токенов; версия NVFP4 предназначена для эффективного использования вычислительных ресурсов. Модель поддерживает диалог, рассуждения и интерфейс вызова инструментов. Модель рассчитана на чат-ботов, AI-агентов, системы RAG и выполнение инструкций. При дообучении улучшены рассуждения и работа с математикой, кодом, наукой и инструментами; применялись supervised fine-tuning, обучение с подкреплением и объединение нескольких чекпойнтов. Основной язык — английский; также поддерживаются немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Языки программирования указаны среди сценариев использования. Модель заявлена как готовая к коммерческому использованию. В метаданных лицензия обозначена как other, поэтому конкретные условия распространения следует сверить с лицензией в репозитории. Для запуска README приводит пример с vLLM и несколькими GPU; практическая скорость и доступная длина контекста зависят от конфигурации оборудования и сервера.

Ministral-8B-Instruct-2410 — инструкция-дообученная плотная трансформерная языковая модель компании Mistral AI с примерно 8 млрд параметров. Она предназначена для локального и периферийного запуска, диалогов и выполнения инструкций; также поддерживает вызов функций и задачи с кодом и математическими рассуждениями. Модель обучена на многоязычных данных и данных по программированию. В карточке заявлено контекстное окно до 128 тыс. токенов с чередующимся скользящим вниманием; в vLLM контекст ограничен 32 тыс. токенов. Метаданные указывают 32 768 токенов как native context. Модель рассчитана на генерацию текста и чат на нескольких языках, включая русский, английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский и корейский. Для запуска на одном GPU требуется около 24 ГБ видеопамяти; для длинного контекста требования могут быть выше. Модель выпущена по Mistral Research License; для коммерческого использования README предлагает обратиться к Mistral AI за коммерческой лицензией.

Карточка модели nasooh1/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4 на Hugging Face совпадает с карточкой baseten/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4-dequant-to-BF16, поэтому описание составлено по ней. Nemotron-3-Ultra-550B-A55B-NVFP4-dequant-to-BF16 — большая языковая модель NVIDIA для диалогов, рассуждений и агентных сценариев. Она использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2 и Mixture of Experts, отдельными слоями Attention и Multi-Token Prediction. Всего в модели 550 млрд параметров, из них 55 млрд активны при вычислении; репозиторий содержит веса SafeTensors в BF16, полученные из NVFP4-чекпойнта. Модель предназначена для сложных многошаговых задач, следования инструкциям, анализа длинных документов и кодовых баз, а также для создания чат-ботов, RAG-систем и AI-агентов. Она поддерживает генерацию текста и чат на английском, французском, испанском, итальянском, немецком, португальском, японском, корейском, хинди, арабском, китайском и иврите. Карточка заявляет контекст до 1 млн токенов, тогда как метаданные указывают 262 144 токена; фактический предел зависит от конфигурации используемого чекпойнта и среды запуска. Модель рассчитана на крупные многонодовые развёртывания и требует мощного оборудования NVIDIA. Лицензия указана как other; README разрешает коммерческое и некоммерческое использование, но конкретные условия следует сверить с текстом лицензии репозитория.

Карточка модели rohitsingh158/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4 на Hugging Face совпадает с карточкой nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4, поэтому описание составлено по ней. Nemotron-3-Ultra-550B-A55B-NVFP4 — большая языковая модель NVIDIA для диалога, рассуждений и агентных приложений. Она предназначена для сложных многошаговых задач, анализа больших документов и кодовых баз, а также для работы с математическими и научными запросами. Модель подходит разработчикам чат-ботов, RAG-систем и AI-агентов. Модель построена на гибридной архитектуре LatentMoE: в ней сочетаются слои Mamba-2, Mixture-of-Experts и Attention, а Multi-Token Prediction ускоряет генерацию. Всего в модели 550 млрд параметров, из которых 55 млрд активны; контекст достигает 1 млн токенов. Чекпойнт использует NVFP4 и рассчитан на высокую пропускную способность на современном оборудовании NVIDIA. Поддерживаются английский, французский, испанский, итальянский, немецкий, японский, корейский, хинди, бразильский португальский и китайский языки. NVIDIA заявляет о готовности модели к коммерческому и некоммерческому использованию; в метаданных лицензия обозначена как other, поэтому перед внедрением следует проверить условия лицензии в карточке модели. Для запуска требуются значительные вычислительные ресурсы и подходящая инфраструктура NVIDIA; в README рекомендована многосерверная конфигурация для развертывания на нескольких узлах.

Ocean-Horizon-3.7B — плотная авторегрессионная языковая модель с декодерной архитектурой от OceanLabs. В метаданных указано 4,1 млрд параметров, тогда как в названии и README модель обозначена как 3,7B. Она работает через Transformers и имеет нативное контекстное окно 524 288 токенов. Модель предназначена для генерации текста, программирования, математических и научных рассуждений, агентных сценариев и анализа длинных документов. Карточка заявляет настраиваемую глубину рассуждений, специальные токены для них и встроенный вызов инструментов с представлением JSON, XML или Markdown. В README описан многоэтапный процесс обучения, включающий предобучение, расширение контекста, обучение на задачах рассуждения и настройку по инструкциям. Базовая модель не указана. Лицензия Apache-2.0 разрешает исследовательское и коммерческое использование. Заявления о высокой производительности приведены без численных результатов бенчмарков в доступной части карточки.

ISTA-DASLab/Qwen3.8-27B-3Bit-GSQ — это квантованная версия Qwen/Qwen3.8-27B, опубликованная ISTA-DASLab и созданная с применением метода GSQ (Gumbel-Softmax Quantization). Модель предназначена для рассуждений, программирования, научных и общих текстовых задач, многоязычного понимания, обработки длинного контекста и агентских сценариев. В контрольную выборку для квантования также входили математические, кодовые, научные, мультиязычные и длинноконтекстные данные. Веса transformer-корпуса квантованы до 3 бит с размером группы 128. Слой эмбеддингов и LM head квантованы отдельно до 4 бит методом RTN с размером группы 64 для сохранения качества вывода и эмбеддингов. Контрольная точность на AIME 2025 составила 100%, а на GPQA Diamond — 91,41% в одном прогоне; авторы предупреждают о значительной вариативности таких результатов. Чекпойнт поддерживает vision-компоненты, однако они не калибровались на мультимодальных данных, поэтому качество работы с изображениями может быть ограничено. Размер составляет около 11,83 ГБ с vision-компонентами и 10,90 ГБ в text-only режиме. Для сервинга через vLLM требуется версия 0.27.1 и специальный патч для поддержки квантованных embedding-весов. Спекулятивное декодирование не поддерживается: компоненты MTP удалены из опубликованного чекпойнта. Лицензия — Apache-2.0.

nicosuter/Qwen3.8-27B-AWQ — это мультимодальная квантованная версия модели Qwen/Qwen3.8-27B, подготовленная разработчиком nicosuter. Модель предназначена для обработки текста и изображений, включая программирование, математические и научные задачи, вызов инструментов, анализ документов, таблиц и визуальных вопросов. Архитектура и исходные веса унаследованы от Qwen3.8-27B; точное число параметров — 27 млрд. В модели применяется смешанная квантализация: большинство линейных слоёв используют асимметричный AWQ W4A16 с размером группы 128, а отдельные входные проекции Gated DeltaNet квантованы в int8. Зрительный модуль, MTP head, lm_head и ряд других компонентов сохранены в исходной точности, поэтому модель сохраняет мультимодальные возможности. Калибровка включала текстовые, длинноконтекстные, визуальные и связанные с вызовом инструментов примеры длиной до 32 768 токенов, однако точный максимальный контекст модели в карточке не указан. По приведённым тестам, относительно версии Qwen3.8-27B-FP8, среднее снижение качества составило около 0,12 процентного пункта; результаты на задачах вызова функций, программирования и мультимодального анализа практически сохранились. Ограничения включают возможную потерю качества из-за квантализации и отсутствие полноценных оценок агентного применения. Модель распространяется по лицензии Apache 2.0 и использует формат compressed-tensors, совместимый с указанным стеком Transformers и llm-compressor.

Qwen3.8-27B-GGUF — мультимодальная модель семейства Qwen, разработанная командой Qwen и представленная в формате GGUF пользователем prithivMLmods. Это плотная causal language model на 27 млрд параметров с собственным vision encoder, предназначенная для генерации и понимания текста, анализа изображений и видео, визуального вопросно-ответного взаимодействия, OCR, описания изображений и видео, понимания документов, визуального рассуждения, а также агентных задач, включая написание кода и взаимодействие с компьютером, браузером и мобильными устройствами. Модель использует 64-слойную гибридную архитектуру с блоками линейного внимания Gated DeltaNet и периодическими слоями Gated Attention, обучалась с Multi-Token Prediction и поддерживает контекст до 262 144 токенов с возможностью расширения до 1 млн токенов через YaRN. Указаны языки English и Chinese. Доступны варианты GGUF с точностями от Q2_K до Q8_0, а также BF16 и F16; размеры файлов составляют примерно от 10,9 до 54,7 ГБ, что позволяет выбирать компромисс между качеством и требованиями к ресурсам. Формат MTP GGUF интегрирует дополнительные выходные головы для ускорения инференса посредством предсказания нескольких будущих токенов за один проход. Сильными сторонами заявлены мультимодальность, большой контекст, поддержка управляемого уровня рассуждений через параметр reasoning_effort и высокая эффективность в задачах агентного программирования, computer-use и мультимодального использования инструментов. Ограничениями являются значительные требования к памяти, особенно для BF16 и F16, а также зависимость возможностей от выбранной квантизации и совместимого программного обеспечения. Модель совместима с Hugging Face Transformers, vLLM, SGLang, TokenSpeed и llama.cpp. Распространяется по лицензии Apache-2.0.

TelperionAI/Qwen3.8-27B-INT4-AWQ-GPTQ-gdn4 — квантизированная версия языковой модели Qwen3.8-27B, разработанная TelperionAI на базе модели Qwen/Qwen3.8-27B. Она предназначена для локального и серверного запуска больших языковых моделей, включая генерацию текста, рассуждения, работу с кодом, математическими и STEM-задачами, чат-сценарии и мультиязычные запросы. Модель рассчитана на использование через Transformers и vLLM; README отдельно указывает поддержку speculative decoding с MTP. Это смешанная квантизация INT4 W4A16 с группами размера 32 и асимметричным представлением весов. Для большинства MLP-проекций и GDN-линейных проекций используется INT4, часть слоёв MLP и все проекции self-attention хранятся в INT8, а lm_head, embed_tokens, нормализации, параметры состояния GDN, vision tower и MTP-head — в BF16. Квантизация выполнена в два этапа: AWQ с учетом активаций и последующая GPTQ-компенсация ошибок. Размер модели составляет около 22,6 ГБ; для работы требуется GPU с Compute Capability не ниже 7.5, то есть поддерживаются устройства уровня Turing и новее. Сильная сторона модели — удачный баланс размера и точности: по приведённым тестам она ближе к исходной BF16-модели, чем некоторые сопоставимые INT4-варианты, при заметно меньшем объёме, чем FP8-релиз. При этом переход GDN-проекций на INT4 немного снижает точность по сравнению с более крупной версией модели с GDN в INT8, а производительность зависит от GPU и реализации Marlin; измерения на B300 не следует напрямую переносить на Ampere. Модель распространяется по лицензии Apache-2.0.

unsloth/Seed-OSS-36B-Instruct-GGUF — GGUF-вариант инструкционной большой языковой модели Seed-OSS-36B-Instruct, разработанной командой ByteDance Seed. Модель предназначена для генерации текста, диалоговых приложений, задач рассуждения, работы с длинным контекстом, использования инструментов и агентских сценариев, включая решение технических вопросов и задач разработки. Серия оптимизирована преимущественно для международных многоязычных применений, однако точный перечень поддерживаемых языков в карточке не указан. Модель содержит 36 млрд параметров и использует архитектуру causal language model с RoPE, GQA-вниманием, RMSNorm и активацией SwiGLU. Она имеет 64 слоя, 80/8/8 QKV-голов, размер головы 128, скрытый размер 5120 и словарь на 155 тысяч токенов. Нативная длина контекста заявлена до 512 тысяч токенов. Пользователь может гибко управлять бюджетом рассуждения, регулируя длину процесса вывода и балансируя качество и эффективность. К сильным сторонам относятся развитые способности к рассуждению, агентским задачам, работе с инструментами и обработке длинного контекста при сохранении универсальных возможностей. Ограничения включают высокие требования к вычислительным ресурсам, связанные с размером модели и контекстом; конкретные требования для данного GGUF-файла и точные характеристики квантования в README не указаны. Модель распространяется по лицензии Apache-2.0.

CiscoKpanse/sp-DNM-4-26B-A4B-it_v0.1 — инструкция-настроенная мультимодальная модель семейства Gemma 4, созданного Google DeepMind. Вариант 26B A4B использует архитектуру Mixture-of-Experts: обрабатывает текст и изображения и генерирует текст; поддерживает диалог и визуальные задачи, включая ответы по изображениям, OCR, разбор документов, диаграмм и экранных интерфейсов. По карточке семейства Gemma 4 также предназначена для рассуждений, программирования, суммаризации и сценариев с вызовом инструментов. Для вариантов 26B A4B заявлено контекстное окно до 256 тысяч токенов и поддержка множества языков. Семейство использует гибридное внимание с локальными и глобальными слоями. Данная копия опубликована в формате safetensors и доступна по лицензии Apache 2.0. Карточка описывает семейство Gemma 4 в целом, поэтому не все заявленные возможности обязательно относятся к этому варианту: обработка аудио указана только для E2B и E4B, а видео — как возможность семейства. Ответы модели могут содержать ошибки; результаты распознавания и извлечения данных из изображений следует проверять.

DeepSeek-V4-Flash — предварительная версия большой языковой модели семейства DeepSeek-V4, разработанная командой DeepSeek AI. Модель предназначена для обработки длинного контекста, решения задач общего назначения, работы со знаниями, рассуждениями, программированием и агентными сценариями. В README также отмечается наличие режима DeepSeek-V4-Flash-Max с увеличенным бюджетом рассуждений, однако подробности его реализации не приведены. Модель построена на архитектуре Mixture-of-Experts (MoE) и содержит 284 млрд параметров, из которых 13 млрд активируются при обработке запроса. Поддерживается контекст длиной до 1 млн токенов. Для повышения эффективности длинноконтекстного вывода используются механизмы Compressed Sparse Attention и Heavily Compressed Attention, а также Manifold-Constrained Hyper-Connections. Модель поставляется в смешанном формате FP4 + FP8: параметры экспертов MoE используют FP4, большинство остальных параметров — FP8. Обучение проводилось более чем на 32 трлн токенов с последующей настройкой с использованием SFT, RL с GRPO и on-policy distillation. К сильным сторонам относятся высокая эффективность при работе с очень длинными контекстами, компактное число активируемых параметров относительно общего размера и заявленная конкурентоспособность в задачах рассуждений и программирования. По сравнению с версией Pro модель имеет меньший масштаб, поэтому, согласно README, несколько уступает ей в задачах, требующих обширных знаний, и в наиболее сложных агентных рабочих процессах. Языки и мультимодальные возможности в представленных данных не указаны. Лицензия — MIT.

DeepSeek-V4-Flash — текстовая генеративная модель семейства DeepSeek-V4. README описывает серию как смесь экспертов (MoE) с гибридным механизмом внимания CSA/HCA и контекстом до одного миллиона токенов; для Flash указано 284 млрд параметров, из которых активируются 13 млрд. В метаданных этого репозитория указаны архитектура DeepseekV4ForCausalLM, 10,7 млрд параметров и веса safetensors в формате FP8, что расходится с размером Flash в README. Модель предназначена для диалога, рассуждений, планирования и решения повседневных и сложных задач с длинным контекстом. README выделяет режимы ответа без рассуждений и с повышенным или максимальным уровнем рассуждений; среди сценариев применения также названы кодирование и агентные задачи. Репозиторий предоставляет отдельные скрипты для кодирования формата сообщений и разбора ответов, а стандартного Jinja-шаблона чата в выпуске нет. Модель принимает и генерирует текст. В README указана лицензия MIT. Поддерживаемые языки отдельно не перечислены; результат зависит от используемого формата запросов и конфигурации. Репозиторий создан 27 сентября 2026 года, поэтому сведения о выпуске следует считать предварительными.

ApocalypseParty/G4-31B-SFT-v6-2 — дообученная версия мультимодальной Gemma 4 31B от Google DeepMind. Модель принимает текст и изображения и генерирует текст; её можно использовать для диалога, рассуждений, программирования и анализа визуальных данных, включая распознавание текста в документах, понимание диаграмм и интерфейсов. Поддерживаются вызовы инструментов и длинные контексты; для семейства Gemma 4 31B заявлено до 256K токенов. Gemma 4 обучена работать со многими языками, однако конкретные языки и настройки этого дообучения не описаны. Репозиторий содержит веса Safetensors и использует лицензию Apache 2.0. Карточка не приводит отдельных оценок качества или ограничений именно этой версии.

GDN-primed-HQwen3-8B-Reasoner — гибридная причинно-следственная языковая модель Amazon, созданная на основе Qwen3-8B с помощью конвейера Priming из Hybrid Model Factory. В архитектуре сочетаются 18 слоёв Attention и 18 слоёв Gated DeltaNet (GDN), слоя модели пространства состояний с постоянным размером состояния. Модель содержит около 7,6 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для рассуждений на длинном контексте, ответов на вопросы, математики, научных задач, программирования, следования инструкциям и вызова инструментов. Она поддерживает режимы с рассуждением и без него; режим рассуждения может повысить качество ответов на сложные запросы, но увеличивает задержку. Гибридная архитектура сокращает использование растущего KV-кэша и, по данным разработчика, может ускорить инференс на длинном контексте до двух раз при качестве, близком к базовой модели. Модель работает с текстом, имеет контекст 128K токенов в описании разработчика и доступна в формате safetensors для Transformers. Она основана на многоязычной Qwen3-8B, однако конкретный перечень поддерживаемых языков в карточке не приведён. Лицензия — Apache 2.0. Результаты на отдельных тестах различаются: например, показатель SciCode ниже базовой Qwen3-8B; для длинных генераций разработчик рекомендует настройки кэша float32.

QuantTrio/gemma-4-31B-it-AWQ — это квантизированная версия инструкционно дообученной мультимодальной модели google/gemma-4-31B-it, разработанной Google DeepMind. Репозиторий QuantTrio содержит AWQ-квантизацию, выполненную методом data-free quantization без калибровочного датасета. Модель принимает текст и изображения и генерирует текст, поэтому предназначена для диалогов, анализа изображений, генерации текста, программирования, рассуждений и агентских сценариев с вызовом инструментов. Базовая модель относится к плотной архитектуре Gemma 4 и содержит около 30,7 млрд параметров, 60 слоёв и словарь размером 262 тысячи токенов. Она использует гибридный механизм внимания с чередованием локального sliding-window attention и глобального внимания; размер локального окна составляет 1024 токена. Заявленное контекстное окно — до 256 тысяч токенов. Для мультимодальной обработки используется визуальный энкодер примерно на 550 млн параметров; аудио для версии 31B не заявлено. Семейство Gemma 4 поддерживает более 140 языков, однако отдельные характеристики языкового покрытия именно этой сборки в README не уточняются. К сильным сторонам относятся большой контекст, поддержка изображений, возможности рассуждения, кодирования, native function calling и оптимизация для эффективного серверного развёртывания через vLLM. AWQ-квантизация уменьшает размер модели: указанный размер файлов составляет около 20 GiB, что может снизить требования к видеопамяти по сравнению с полной точностью. Ограничениями являются возможная потеря качества из-за квантизации, необходимость совместимых версий vLLM и Transformers, CUDA 12.8 и конфигурации с tensor parallelism; фактические требования зависят от выбранных параметров запуска и оборудования. Модель распространяется по лицензии Apache 2.0 с дополнительными условиями лицензии Gemma 4, ссылка на которую указана в README.

unsloth/gemma-4-31b-it-MLX-8bit — 8-битная MLX-версия instruction-tuned модели Gemma 4 31B, подготовленная Unsloth на базе Google Gemma 4 31B-it. Разработчик исходной модели — Google DeepMind. Это мультимодальная модель, принимающая текст и изображения и генерирующая текст; она предназначена для локального запуска на совместимом оборудовании Apple MLX, а также для диалоговых приложений, генерации текста, программирования, рассуждений, анализа изображений и агентских сценариев с поддержкой вызова функций. Модель имеет плотную архитектуру с 30,7 млрд параметров, 60 слоями и гибридным вниманием, сочетающим локальное скользящее окно размером 1024 токена с глобальным вниманием. Контекстное окно составляет до 256 тысяч токенов, размер словаря — 262 тысячи токенов, поддерживается более 140 языков. Gemma 4 также предлагает настраиваемые режимы рассуждения, нативную поддержку системных сообщений и обработку изображений с различным соотношением сторон и разрешением. К сильным сторонам относятся большой контекст, мультимодальность, возможности рассуждения и программирования, а также оптимизации Gemma 4 для эффективной работы. Ограничения конкретной MLX-версии, требования к памяти, результаты бенчмарков и влияние 8-битного квантования на качество в README не указаны; аудио для модели 31B не заявлено. Модель распространяется по лицензии Apache 2.0.

GLM-4-9B-Chat — диалоговая языковая модель семейства GLM, выпущенная Zhipu AI. Репозиторий содержит версию в формате Transformers и safetensors; модель насчитывает 8,8 млрд параметров и рассчитана на генерацию текста в многораундовом чате. Модель подходит для ответов на вопросы, рассуждений, задач по математике и коду, а также для сценариев с вызовом инструментов и длинными документами. Заявленная длина контекста — до 128K токенов. Поддерживаются китайский и английский; автор также заявляет поддержку 26 языков. README сообщает о результатах тестов на задачах семантики, математики, рассуждений, кода и знаний, но не приводит полных данных для некоторых сравнительных таблиц. Это дообученная версия THUDM/glm-4-9b-chat. Для загрузки весов требуется transformers версии 4.46.0 или новее: репозиторий несовместим с более старыми версиями. Лицензия указана как other, поэтому условия использования следует уточнить в материалах репозитория.

Карточка модели CandyBuster/GLM-5.2 на Hugging Face совпадает с карточкой Ares-Realm-Studios/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — большая языковая модель от Ares-Realm-Studios для продолжительных задач, диалогов и программирования. Она построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров; модель принимает и генерирует текст, поддерживает контекст до 1 048 576 токенов и рассчитана прежде всего на английский и китайский языки. Модель предназначена для многошаговой работы с длинным контекстом, включая анализ материалов и разработку программного кода. В README заявлены гибкие уровни усилий рассуждения и оптимизации для обработки контекста в миллион токенов; для локального запуска перечислены Transformers, vLLM, SGLang и другие среды. Репозиторий содержит веса Safetensors. Модель распространяется по лицензии MIT. Заявленные возможности и результаты приведены авторами; практическое качество может зависеть от сценария и настроек запуска.

Карточка модели matrixdose/GLM-5.2 на Hugging Face совпадает с карточкой ShaunGves/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — языковая модель компании Z.ai для длительных многошаговых задач, включая диалог и программирование. Модель объёмом 30,4 млрд параметров построена на архитектуре GLM MoE DSA и использует механизм IndexShare для снижения вычислений при работе с длинным контекстом. Заявлена поддержка контекста до 1 048 576 токенов и режимов рассуждения с разным уровнем усилий. Модель предназначена для генерации текста и диалоговых сценариев, а также для разработки кода и работы с задачами, требующими обработки больших объёмов контекста. В карточке указана поддержка английского и китайского языков. Модель доступна в формате safetensors для Transformers; README также описывает запуск через SGLang, vLLM и другие фреймворки. Лицензия — MIT.

Gravity-30B-A5B-Preview — языковая модель Trillion Labs, дообученная на основе Gravity-30B-A5B-Base. Это разреженная модель семейства GravityMoE: в карточке указаны 29,56 млрд параметров всего и 5,34 млрд активных параметров; метаданные каталога сообщают 3,8 млрд параметров. Модель принимает текст и генерирует ответы в диалоговом формате, поддерживает контекст до 131 072 токенов и гибридный режим рассуждений, включённый по умолчанию. Обучение включало длинноконтекстное instruction tuning и несколько этапов DPO, в том числе настройку многошагового использования инструментов на метках, полученных при выполнении вызовов. Модель предназначена для диалогов, рассуждений, работы с кодом и научными темами, а также сценариев с вызовом инструментов. Это предварительная версия; агентные и многошаговые возможности продолжают развиваться, а качество может снижаться для языков, слабо представленных в обучающих данных. Для работы требуется Transformers с поддержкой пользовательского кода архитектуры. Лицензия — Apache-2.0.

Карточка модели genevaquant/Hermes-4-14B на Hugging Face совпадает с карточкой NousResearch/Hermes-4-14B, поэтому описание составлено по ней. Hermes 4 14B — плотная языковая модель Nous Research на архитектуре Qwen3, дообученная на базе Qwen/Qwen3-14B. Она предназначена для диалогов и выполнения инструкций, включая задачи рассуждения, математики, программирования, STEM, логики, творческого письма и генерации ответов в заданном формате. Модель поддерживает гибридный режим рассуждений, следование схемам и вывод JSON, а также вызов инструментов при соответствующей настройке шаблона ChatML. Размер модели — 14 млрд параметров, длина контекста — 40 960 токенов; основным указанным языком карточки является английский. Модель распространяется под лицензией Apache-2.0. Для работы следует использовать формат ChatML; качество ответов и вызова инструментов зависит от корректной настройки шаблона и инференсного окружения. Заявления README о сравнительных результатах и улучшениях основаны на описании разработчика и не являются независимой оценкой.

Hermes-4-405B-GGUF — это крупная языковая модель в формате GGUF, разработанная Unsloth на основе Hermes 4 405B от Nous Research, который, в свою очередь, базируется на Llama 3.1 405B. Модель предназначена для диалоговых ассистентов, генерации и анализа текста, программирования, математики, STEM-задач, логики, творческого письма, ролевого взаимодействия, вызова функций и работы с инструментами. Модель поддерживает гибридный режим рассуждений: при необходимости она может формировать отдельные сегменты <think>...</think>, а также работать в более быстром режиме без длительного рассуждения. Она обучена следовать схемам и создавать структурированные ответы, включая валидный JSON и исправление некорректных объектов. Заявлена поддержка длинного контекста, формата чата Llama 3 и шаблонов ChatML; основной заявленный язык — английский. Для llama.cpp рекомендуется использовать режим шаблонов Jinja. К сильным сторонам относятся улучшенные рассуждения, математика, код, логика, соблюдение форматов, управляемость, вызов инструментов и сниженный уровень необязательных отказов. Из ограничений следует учитывать очень большой размер модели 405B, который предполагает значительные требования к памяти и вычислительным ресурсам; конкретные параметры контекстного окна, сведения о квантизации и детальные характеристики модальностей в README не указаны. Лицензия обозначена как llama3.

K2-Horizon-32B — плотная авторегрессионная языковая модель с архитектурой K2HorizonForCausalLM, разработанная IFM. Модель содержит 31,2 млрд параметров и предназначена для генерации текста в диалогах, решения задач на рассуждение, программирование и сценариев с агентами. Для работы с чатом и вызовом инструментов предусмотрены соответствующие парсеры; основной pipeline-тег — text-generation. Модель поддерживает контекст до 524 288 токенов и опубликована в формате Safetensors для Transformers. В карточке указаны английский язык и открытая публикация обучающих данных, рецепта и кода обучения. Указанная лицензия — Apache-2.0. Для заявленного качества авторы рекомендуют высокий уровень рассуждений; для обслуживания описаны конфигурации vLLM и SGLang, включая использование двух ускорителей H200.

Motif-3-NVFP4 — это NVFP4-квантизированный вариант большой авторегрессионной языковой модели Motif 3, разработанной компанией Motif Technologies. Модель предназначена для генерации текста общего назначения, мультиязычных задач, программирования, математического рассуждения, работы с длинными контекстами и агентных сценариев с использованием инструментов. Указанные языки — английский и корейский. Модель построена на декодерной архитектуре Mixture-of-Experts с примерно 314 млрд параметров, из которых около 13,2 млрд активируются для каждого токена. Она содержит 53 слоя, включая 2 плотных и 51 MoE-слой, 384 маршрутизируемых эксперта с выбором 8 экспертов на токен и одного общего эксперта. Используются Grouped Differential Latent Attention, модифицированные manifold-constrained hyper-connections, Expert-Specific PolyNorm и Multi-Token Prediction для self-speculative decoding. Нативная длина контекста составляет 262 144 токена, размер словаря — 220 160. Квантизация NVFP4 уменьшает требования к памяти и ориентирована на эффективное развертывание на GPU класса NVIDIA Blackwell. Сильными сторонами модели заявлены работа с длинным контекстом, агентное и инструментальное взаимодействие, а также конкурентные результаты в задачах программирования, математики и общих знаний. По приведённым тестам, NVFP4-версия в среднем почти не уступает варианту Block-FP8 по точности, однако фактическая производительность может зависеть от оборудования и настроек инференса. Ограничения включают высокую общую ёмкость модели, необходимость совместимого NVFP4-оборудования и отсутствие в этой карточке полного описания базовой модели и подробностей оценки. Модель распространяется по лицензии MIT.

Nemotron-H-4B-Instruct-128K — языковая модель NVIDIA для диалогов, следования инструкциям и вызова инструментов. Она дообучена на базе nvidia/Nemotron-H-4B-Base-8K и сочетает архитектуру Nemotron-Hybrid с преимущественно слоями Mamba-2 и MLP и четырьмя слоями Attention. Модель содержит 4 млрд параметров и поддерживает контекст до 128 тысяч токенов. Модель предназначена для одно- и многоходового общения, генерации кода и ответов на математические и научные запросы. Она поддерживает английский, немецкий, испанский, французский, итальянский, корейский, португальский, русский, японский и китайский языки. Для запуска NVIDIA указывает NeMo 24.12, Linux и ускорители H100 80 ГБ или A100; модель рассчитана на системы с GPU NVIDIA. Модель прошла несколько этапов дообучения для математики, программирования, естественных наук, чата, инструкций и вызова инструментов, а также предпочтительную настройку. Данные предварительного обучения актуальны по сентябрь 2024 года. NVIDIA позиционирует модель для исследований и разработок; лицензия указана как other, поэтому конкретные условия использования следует уточнить на странице модели.

Карточка модели RedHatAI/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 на Hugging Face совпадает с карточкой AbhijeetJain4075/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16, поэтому описание составлено по ней. Nemotron-3-Ultra-550B-A55B-BF16 — большая языковая модель NVIDIA для диалога, рассуждений и агентных сценариев. Она предназначена для разработчиков чат-ботов, RAG-систем и ИИ-агентов, которым нужны сложное следование инструкциям, анализ больших документов и кодовых баз, а также задачи в математике и науке. Модель использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2 и Mixture-of-Experts, отдельными слоями внимания и Multi-Token Prediction. Всего в ней 550 млрд параметров, из которых активно используются 55 млрд; метаданные указывают контекст до 262 144 токенов. README заявляет поддержку английского, французского, испанского, итальянского, немецкого, японского, хинди, корейского, бразильского португальского и китайского; теги карточки также включают арабский и иврит. Модель распространяется в формате safetensors, работает через Transformers и заявлена как пригодная для коммерческого и некоммерческого применения. Лицензия обозначена как other, поэтому перед использованием следует проверить её условия у разработчика.