II.9Статистика, эксперименты и причинный анализ

Карточка модели Rab007/Qwen3.8-2.4T-A95B на Hugging Face совпадает с карточкой Qwen/Qwen3.8-2.4T-A95B, поэтому описание составлено по ней. Qwen3.8-2.4T-A95B — текстовая причинная языковая модель семейства Qwen, разработанная командой Qwen. Модель предназначена для генерации текста, диалогов, программирования, профессиональных и исследовательских задач, а также многошаговой работы агентных систем с использованием обратной связи от среды и инструментов. Архитектура — MoE на основе Qwen3.5 с 2,4 трлн параметров суммарно и 95 млрд активируемых параметров. В модели 92 слоя и 512 экспертов, из которых для токена активируются 10 маршрутизируемых и один общий эксперт. Контекст составляет 262 144 токена нативно и может расширяться примерно до 1,01 млн токенов. Модель принимает только текст, работает в режиме рассуждений, который нельзя отключить, и поддерживает интерфейс вызова инструментов. Репозиторий содержит веса и конфигурацию в формате Transformers; README указывает совместимость с vLLM, SGLang и другими движками. Модель рассчитана на сложную генерацию текста, программирование, исследования и длительные задачи с планированием; глубину рассуждений можно настраивать параметром reasoning_effort. Она не поддерживает мультимодальный ввод. Лицензия обозначена как other, поэтому перед использованием следует проверить условия лицензии в репозитории Hugging Face.

ISTA-DASLab/Qwen3.8-27B-3Bit-GSQ — это квантованная версия Qwen/Qwen3.8-27B, опубликованная ISTA-DASLab и созданная с применением метода GSQ (Gumbel-Softmax Quantization). Модель предназначена для рассуждений, программирования, научных и общих текстовых задач, многоязычного понимания, обработки длинного контекста и агентских сценариев. В контрольную выборку для квантования также входили математические, кодовые, научные, мультиязычные и длинноконтекстные данные. Веса transformer-корпуса квантованы до 3 бит с размером группы 128. Слой эмбеддингов и LM head квантованы отдельно до 4 бит методом RTN с размером группы 64 для сохранения качества вывода и эмбеддингов. Контрольная точность на AIME 2025 составила 100%, а на GPQA Diamond — 91,41% в одном прогоне; авторы предупреждают о значительной вариативности таких результатов. Чекпойнт поддерживает vision-компоненты, однако они не калибровались на мультимодальных данных, поэтому качество работы с изображениями может быть ограничено. Размер составляет около 11,83 ГБ с vision-компонентами и 10,90 ГБ в text-only режиме. Для сервинга через vLLM требуется версия 0.27.1 и специальный патч для поддержки квантованных embedding-весов. Спекулятивное декодирование не поддерживается: компоненты MTP удалены из опубликованного чекпойнта. Лицензия — Apache-2.0.

Apodex-1.1-mini-GPTQ-Int4 — квантизированная версия модели Apodex-1.1-mini, разработанная Apodex AI. Это reasoning-first модель для сложных исследовательских задач с длительным горизонтом выполнения и текстовой генерации. Она ориентирована на работу с документами, наборами данных, таблицами, изображениями, кодом и внешними инструментами, включая декомпозицию задач, параллельную работу субагентов, поддержание состояния и проверку результатов перед выдачей. Модель поддерживает английский и китайский языки, использует шаблон чата Qwen3.5 и обучена для нативного вызова функций. Для агентских сценариев рекомендуется развёртывание через SGLang с OpenAI-совместимым API; в README указаны рекомендуемые параметры с максимальной длиной контекста 262144 токена и лимитом генерации 32768 токенов. Указанный формат GPTQ Int4 снижает требования к памяти, но сведения о точном размере, архитектуре и аппаратных требованиях не приведены. Сильные стороны модели — ориентация на комплексную многоэтапную работу, использование инструментов, адаптивное планирование и встроенная проверка утверждений, источников и вычислений. Ограничения связаны с тем, что результаты зависят от корректной настройки агентской инфраструктуры и доступных инструментов, а количественные показатели в README относятся преимущественно к системам Apodex и Agent Team, а не обязательно к автономной работе данной квантизированной версии. Модель распространяется по лицензии Apache 2.0.

Cogito v1 preview 8B — разработанная DeepCogito инструкция-донастроенная генеративная языковая модель на архитектуре Llama 3.1. Она принимает текст и генерирует текст; заявлены 7,5 млрд параметров и контекст до 131 072 токенов. Модель может отвечать напрямую или включать режим рассуждения с самоанализом, а также поддерживает вызов инструментов. Модель предназначена для диалогов, программирования, задач STEM, следования инструкциям и общих вопросов. Разработчик заявляет обучение более чем на 30 языках и улучшенные многоязычные возможности; конкретный перечень языков не приведён. Модель доступна по лицензии Llama 3.1, допускающей коммерческое использование согласно карточке.

Hermes 4 405B — языковая модель Nous Research для диалогов и следования инструкциям, дообученная на базе Meta Llama 3.1 405B. Это плотная авторегрессионная модель с 403,7 млрд параметров, представленная в формате safetensors и рассчитанная на контекст до 131 072 токенов. Модель предназначена для работы в роли универсального ассистента: она ведёт диалог, рассуждает, помогает с математикой, программированием, STEM-задачами, логикой и творческим письмом. Поддерживает гибридный режим рассуждений, вызов функций и инструментов, а также генерацию структурированных ответов, включая JSON по заданной схеме. В карточке указана поддержка английского языка. Разработчик сообщает об улучшениях в рассуждениях, следовании форматам и управляемости после дообучения. Реальное качество может зависеть от запроса, шаблона чата и настроек генерации; работа с инструментами требует подходящего парсера и среды исполнения. Лицензия — Llama 3.

Hermes-4-405B-GGUF — это крупная языковая модель в формате GGUF, разработанная Unsloth на основе Hermes 4 405B от Nous Research, который, в свою очередь, базируется на Llama 3.1 405B. Модель предназначена для диалоговых ассистентов, генерации и анализа текста, программирования, математики, STEM-задач, логики, творческого письма, ролевого взаимодействия, вызова функций и работы с инструментами. Модель поддерживает гибридный режим рассуждений: при необходимости она может формировать отдельные сегменты <think>...</think>, а также работать в более быстром режиме без длительного рассуждения. Она обучена следовать схемам и создавать структурированные ответы, включая валидный JSON и исправление некорректных объектов. Заявлена поддержка длинного контекста, формата чата Llama 3 и шаблонов ChatML; основной заявленный язык — английский. Для llama.cpp рекомендуется использовать режим шаблонов Jinja. К сильным сторонам относятся улучшенные рассуждения, математика, код, логика, соблюдение форматов, управляемость, вызов инструментов и сниженный уровень необязательных отказов. Из ограничений следует учитывать очень большой размер модели 405B, который предполагает значительные требования к памяти и вычислительным ресурсам; конкретные параметры контекстного окна, сведения о квантизации и детальные характеристики модальностей в README не указаны. Лицензия обозначена как llama3.

Hermes 4 70B — большая языковая модель Nous Research для диалога и генерации текста, дообученная на базе Meta Llama 3.1 70B. Она содержит около 69,5 млрд параметров, использует плотную архитектуру Llama и поддерживает контекст до 131 072 токенов. Модель рассчитана на ответы ассистента, рассуждения, математику, программирование, STEM-задачи, логику и творческое письмо; также заявлены следование инструкциям, вызов инструментов и генерация структурированных ответов, включая JSON. Hermes 4 предлагает гибридный режим рассуждений, в котором модель может выводить отдельные сегменты обдумывания, а также обучена точнее придерживаться заданных схем и форматов. README описывает улучшенную управляемость и снижение отказов, но эти характеристики заявлены разработчиком и не гарантируют корректность или безопасность каждого ответа. В карточке указаны английский язык и лицензия Llama 3; использование регулируется условиями этой лицензии. Для запуска модели такого размера обычно требуется мног GPU или подходящая квантизированная версия.

Blossom-V7.1-27B-GGUF — открытая мультимодальная модель общего назначения, разработанная Azure99 для локального развертывания. Это GGUF-вариант модели Blossom-V7.1-27B, построенной на базе Qwen3.8-27B. Модель предназначена для повседневного диалога, работы с общими знаниями, математики и рассуждений, программирования, веб-разработки, визуализации данных, понимания изображений и агентских сценариев с использованием инструментов. Заявлены английский и китайский языки. Модель имеет плотную архитектуру размером 27B параметров, поддерживает текстовые и графические входы и контекст до 262 144 токенов, при этом для наилучших результатов рекомендуется контекст до 131 072 токенов. Доступны два режима рассуждения — medium и max; по умолчанию используется max. Модель поддерживает чередование рассуждений и вызовов инструментов, а также ускорение инференса посредством Multi-Token Prediction в vLLM и llama.cpp. Сильными сторонами модели являются сочетание рассуждений, мультимодального понимания, программирования и инструментального использования, а также поддержка локального запуска и длинного контекста. Для работы требуется учитывать специальный chat template Blossom, который нельзя заменять шаблоном Qwen. В многоходовых диалогах рекомендуется сохранять полное сообщение ассистента вместе с данными рассуждений и вызовами инструментов; 27B-вариант ориентирован на GPU, где веса модели помещаются в видеопамять. Модель распространяется по лицензии Apache-2.0.

genevaquant/Hermes-4-405B-u — вариант Hermes 4 405B от GenevaQuant, созданный на основе NousResearch/Hermes-4-405B. Это плотная авторегрессионная модель семейства Llama 3.1 с 403,7 млрд параметров и контекстом до 131 072 токенов. Репозиторий содержит веса Safetensors и исправления шаблона чата Unsloth; для llama.cpp в карточке рекомендуется режим --jinja. Модель предназначена для диалогов и следования инструкциям, рассуждений, задач по математике, программированию, STEM и логике, а также генерации ответов в заданном формате, включая JSON. Поддерживает интерфейс вызова инструментов. README описывает гибридный режим рассуждений и заявляет улучшения в управляемости, качестве рассуждений и структурированной генерации. Карточка указывает английский язык. Это крупная модель, для обслуживания которой README рекомендует многопроцессорные серверы с SGLang или vLLM; качество и корректность структурированного вывода зависят от промпта и настроек инференса. Лицензия репозитория — Llama 3; ознакомьтесь с её условиями перед использованием.

InternLM2-Chat-20B — диалоговая языковая модель семейства InternLM2, разработанная командой InternLM. Это плотная авторегрессионная модель на 19,3 млрд параметров с поддержкой чата и контекстом 32 768 токенов по метаданным Hugging Face. README также описывает эксперименты с удлинённым контекстом до 200 тысяч токенов при использовании LMDeploy. Модель предназначена для диалогов, следования инструкциям, рассуждений, математики, программирования, творческого письма и анализа данных. Она может служить языковой основой для агентов, которые выбирают инструменты и выполняют многошаговые вызовы; запуск кода требует подключённого интерпретатора. В README приведены результаты OpenCompass, однако они зависят от версии конфигурации и не гарантируют качество в конкретном сценарии. Модель принимает текст и генерирует текст. Карточка демонстрирует использование Transformers, LMDeploy и vLLM. README сообщает, что код распространяется по Apache-2.0, веса открыты для академических исследований, а для коммерческого использования требуется бесплатная лицензия по заявке. Модель может выдавать предвзятые, дискриминационные или иные вредоносные ответы.

Meta-Llama-3.1-405B-Instruct-FP8-dynamic — квантизированная версия Meta-Llama-3.1-405B-Instruct, разработанная Neural Magic на базе модели Meta. Это текстовая instruction-tuned модель архитектуры Meta-Llama 3.1 с входом и выходом в виде текста, предназначенная прежде всего для ассистентских диалогов, генерации текста, решения задач с открытым ответом, математического рассуждения и программирования. Модель ориентирована на коммерческое и исследовательское использование. Весы и активации линейных слоёв трансформера квантизированы в FP8. Для весов применяется симметричная поканальная квантизация, а активации квантизуются динамически на уровне токенов. Это примерно вдвое уменьшает размер модели на диске и требования к памяти GPU по сравнению с 16-битным представлением; заявлено, что модель может запускаться на одном узле с 8 GPU H100 вместо нескольких узлов. Для инференса она подготовлена для vLLM и поддерживает совместимый с OpenAI режим сервинга. В README указаны языки English, German, French, Italian, Portuguese, Hindi, Spanish и Thai, однако в ограничениях отдельно сказано, что использование на языках, отличных от английского, находится вне заявленной области применения. В качестве ограничения также следует учитывать необходимость мощной GPU-инфраструктуры и возможные потери качества, связанные с квантизацией, хотя на приведённых бенчмарках модель продемонстрировала близкие к исходной модели результаты. Лицензия — llama3.1; дата выпуска — 22 августа 2024 года, версия 1.1.

Nemotron-H-8B-Reasoning-128K — языковая модель NVIDIA для диалогов, рассуждений и обычных текстовых задач. Она построена на гибридной архитектуре Mamba-2 и MLP с четырьмя слоями Attention, содержит 8 млрд параметров и основана на Nemotron-H-8B-Base-8K. Модель принимает и генерирует текст, поддерживает контекст до 128 тыс. токенов и работает с английским, немецким, испанским, французским, итальянским, корейским, португальским, русским, японским и китайским языками. Модель может сначала формировать рассуждение, а затем итоговый ответ; режим рассуждений задаётся системным промптом. NVIDIA предлагает контрольные точки BF16 для Transformers и TensorRT-LLM и FP8 для TensorRT-LLM. Модель подходит для ответов на вопросы, решения задач по математике и науке, работы с кодом и анализа длинных текстов. Для сложных запросов включение рассуждений обычно повышает качество, а отключение может немного снизить точность. Модель предназначена для исследований и разработки. Лицензия указана как other; конкретные условия следует сверять с лицензией репозитория. Возможны неточные, неполные или избыточные ответы, токсичный контент и усиление предвзятости; README также отмечает уязвимость к некоторым вариантам косвенной prompt injection.

Qwen3.8-27B-int4-AutoRound — мультимодальная версия базовой модели Qwen/Qwen3.8-27B, подготовленная пользователем devan-carlin с использованием Intel AutoRound. Модель предназначена для генерации текста, решения математических и логических задач, программирования, работы с алгоритмами, а также анализа изображений и текстовых запросов. Модель содержит 27 млрд параметров и использует архитектуру qwen3_5 с 64 слоями и чередованием линейного и полноформатного внимания в соотношении 3:1. Поддерживается контекст длиной до 256K токенов. В репозитории присутствует vision tower Qwen3-VL, поэтому модель работает как в текстовом, так и в мультимодальном режиме. Квантизация выполнена в INT4 с помощью AutoRound, с размером группы 128 и симметричным представлением; отдельные компоненты сохранены в 16-битной точности. Основное преимущество — существенное снижение объёма памяти: около 18 ГБ против примерно 52 ГБ для BF16, а также более высокая скорость генерации на конфигурации из четырёх Intel Arc Pro B70. В заявленном тесте скорость составила 47,8 токена в секунду против 30,2 у BF16, при сопоставимом качестве на математических, логических, алгоритмических и программных запросах. Ограничением является более многословная генерация INT4-версии, из-за чего при длинных ответах может потребоваться увеличить параметр max_tokens. Для запуска рекомендуется vLLM с tensor parallelism; на XPU/ARK может потребоваться исправление qzeros guard для загрузки симметричных INT4-весов. Модель распространяется по лицензии Apache-2.0, как и базовая модель.

Ring-flash-linear-2.0-128k — языковая модель компании inclusionAI для генерации текста и диалогов. Она основана на Ling-flash-base-2.0 и дополнительно обучена на 1 трлн токенов. Модель использует гибридную архитектуру линейного и стандартного внимания и разреженную MoE-схему; в README заявлена производительность на уровне плотной модели с 40 млрд параметров при активации 6,1 млрд. Метаданные указывают общий размер 5,5 млрд параметров. Модель предназначена для рассуждений, программирования, научных и математических задач, а также работы с длинными входными и выходными текстами. Нативное контекстное окно составляет 131 072 токена; README указывает на возможность расширения до 512 тыс. токенов с помощью YaRN. Заявлены ускоренная генерация и эффективность обработки длинного контекста. Поддерживаются интерфейсы чата и вызова инструментов. Модель принимает и генерирует текст; в метаданных указан английский язык. Распространяется по лицензии MIT.

Virtuoso-Medium-v2 — языковая модель на 32 млрд параметров от Arcee AI для генерации текста и диалоговых сценариев. Она основана на архитектуре Qwen2.5-32B и использует токенизатор Qwen; по карточке модели, её обучали дистилляцией логитов Deepseek-v3 на большом объёме данных, затем применяли слияние и DPO. Метаданные каталога обозначают связь с Qwen/Qwen2.5-32B как дообучение, поэтому происхождение модели указано как дообучение. Модель рассчитана на чат-ботов и виртуальных помощников, анализ данных и автоматизацию рабочих процессов, а также задачи в технических, научных и STEM-сценариях, включая код и математику. Контекст достигает 131 072 токенов. Модель поддерживает генерацию текста и имеет интерфейс для вызова инструментов. В карточке заявлены высокие результаты на ряде бенчмарков, однако конкретные численные результаты и условия оценки не приведены. База знаний может не охватывать события после июня 2024 года, а ответы могут содержать ошибки, предвзятость или вредный контент. Лицензия — Apache-2.0.

NVIDIA DeepSeek-V4-Pro-nvfp4-DSpark — это квантизированная версия DeepSeek-V4-Pro, разработанная на базе моделей DeepSeek и собранная с использованием NVIDIA Model Optimizer. Модель не является новой базовой моделью NVIDIA: она представляет собой NVFP4-вариант DeepSeek-V4-Pro-NVFP4, объединённый с официальным модулем спекулятивного декодирования DSpark от DeepSeek в едином контрольном файле. Лицензия — MIT; модель заявлена для коммерческого и некоммерческого использования. Модель предназначена для генерации текста, сложного рассуждения, математических задач, программной инженерии, агентных приложений, вызова инструментов и корпоративных AI-ассистентов. Она поддерживает многоходовые диалоги, системные инструкции, структурированный JSON-вывод и function/tool calling. Доступны режимы Non-think для быстрой генерации, Think High для логического анализа и Think Max для наиболее глубокого рассуждения. Архитектура основана на Transformer и Mixture-of-Experts с гибридным вниманием. Основная модель содержит около 1,6 триллиона параметров, из которых примерно 49 миллиардов активируются при обработке запроса. Модуль DSpark использует черновую модель общим размером 82 миллиарда параметров и примерно 2,4 миллиардами активных параметров; размер блока черновой генерации составляет 5 токенов. Поддерживается текстовый ввод и вывод, а максимальная длина контекста достигает 1 миллиона токенов. Ключевое преимущество модели — сочетание крупной MoE-модели с NVFP4-квантизацией и спекулятивным декодированием DSpark, что ориентировано на ускорение инференса при сохранении возможностей исходной модели. Ограничения связаны с требованиями к инфраструктуре: модель рассчитана на NVIDIA GPU архитектуры Blackwell, интегрируется с vLLM через DSpark и рекомендуется для Linux. Перед эксплуатацией необходимы тестирование на прикладных данных и проверка безопасности; сведения о поддерживаемых языках в карточке явно не указаны.

cyankiwi/gemma-4-26B-A4B-it-AWQ-4bit — это 4-битно квантованная версия Gemma 4 26B A4B instruction-tuned, подготовленная cyankiwi на базе модели Google DeepMind. Квантование выполнено в формате AWQ, а калибровочный набор ориентирован на STEM-задачи и агентские сценарии. Размер модели составляет 17,19 ГБ. Модель предназначена для генерации текста, программирования, рассуждений, агентских рабочих процессов и мультимодального понимания изображений и текста. Архитектура базовой модели — Mixture-of-Experts; для варианта 26B A4B заявлено 26 млрд общих параметров и около 4 млрд активных параметров. Для средних моделей Gemma 4 заявлено контекстное окно до 256K токенов. Поддерживаются английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Ключевые преимущества — уменьшенное потребление памяти благодаря AWQ-квантованию, поддержка длинного контекста, мультимодальный ввод и возможности Gemma 4 в области рассуждений, кодирования и вызова функций. Ограничением является возможная потеря качества по сравнению с полной точностью, характерная для 4-битных квантованных моделей; конкретные требования к видеопамяти и результаты бенчмарков в README не указаны. Лицензия — Apache 2.0.

QuantTrio/GLM-4.7-Flash-AWQ — квантованная версия модели GLM-4.7-Flash, разработанной командой GLM (Z.ai). Модель предназначена для генерации текста, рассуждений, программирования, решения задач и агентских сценариев, включая использование инструментов. Она поддерживает английский и китайский языки и рассчитана на работу с Transformers, vLLM и SGLang. В основе лежит MoE-архитектура размером 30B-A3B: общий объём параметров составляет около 30 млрд, при этом в вычислениях активируется примерно 3 млрд параметров. Версия AWQ занимает около 19 GiB и ориентирована на более эффективное локальное развёртывание. В README для запуска через vLLM указан максимальный контекст 32 768 токенов, а также поддержка tensor parallelism, expert parallelism, tool calling и speculative decoding. Приведённые результаты показывают сильные показатели в математике, общих знаниях, программировании, агентских задачах и веб-поиске, однако сравнительные результаты зависят от конкретного бенчмарка. Основные ограничения — необходимость актуальных версий vLLM и Transformers, поддержка модели только в основных ветках соответствующих проектов, требование CUDA 12.8 для указанной конфигурации и рекомендованный запуск с распределением на два GPU. Лицензия модели — MIT.

GLM-4.7-Flash-GGUF — это GGUF-версия модели GLM-4.7-Flash, подготовленная Unsloth на основе модели Z.ai. Это языковая модель для генерации текста с архитектурой MoE: 30 млрд параметров, из которых при обработке активируется около 3 млрд. Модель поддерживает английский и китайский языки; размер контекста в README не указан. Модель предназначена для общего диалога, рассуждений, программирования, агентских сценариев, вызова инструментов и локального развертывания. Заявлены сильные результаты на задачах математического и научного рассуждения, программирования, веб-поиска и взаимодействия с инструментами. Для локального запуска указана поддержка llama.cpp, vLLM, SGLang и Transformers; также допускается дообучение через Unsloth. Ключевое преимущество модели — сочетание высокой заявленной производительности с относительно компактным числом активных параметров, что делает её подходящей для более эффективного развертывания по сравнению с плотными моделями сопоставимого общего размера. Ограничения включают необходимость использовать актуальные версии некоторых фреймворков, а для GGUF-файлов — корректные параметры генерации; в README отдельно рекомендуется отключить repeat penalty и учитывать настройки temperature, top-p и min-p. Модель распространяется по лицензии MIT.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-mlx-oQ4e-DFlash2 — мультимодальная версия модели GLM-5.3-Flash, разработанная на основе архитектуры Zhipu AI / ZAI; некensored-веса предоставлены dealignai, а смешанная квантализация oQ4e и MLX-сборка — Solstice-AI. Модель предназначена для генерации и анализа текста, программирования, математического рассуждения, работы с изображениями и видео, а также сценариев с длинным контекстом. Заявлены поддержка английского и китайского языков, native-контекст до 1 048 576 токенов и работа на Apple Silicon через библиотеку MLX. Модель имеет 320 млрд общих параметров в разреженной MoE-архитектуре с 288 экспертами и примерно 18 млрд активных параметров на токен. Квантализация использует 4-битное аффинное представление с целевой плотностью около 4,6 bpw; критические компоненты, включая маршрутизаторы MoE, lm_head и мультимодальные слои, частично или полностью сохраняются в более высокой точности. В комплект входит DFlash2 для speculative decoding, заявленный для ускорения генерации до трёх раз. Потенциальные сильные стороны — большой контекст, мультимодальность, поддержка видео, эффективность разреженной архитектуры и оптимизация для чипов Apple. Ограничения включают высокие требования к памяти и совместимому Apple Silicon-окружению, а также возможные потери качества из-за квантализации; приведённые в README результаты тестов не являются независимой верификацией. Указана лицензия MIT.

gpt-oss-120b — открытая по весам языковая модель OpenAI для генерации текста, задач, требующих сложного рассуждения, и агентских сценариев. Она ориентирована на универсальное применение в продуктивных системах и разработке, включая вызов функций, веб-браузинг, выполнение Python-кода и Structured Outputs. Модель доступна через Transformers, vLLM, PyTorch/Triton, Ollama и LM Studio. Модель использует архитектуру Mixture-of-Experts: содержит 117 млрд параметров, из которых 5,1 млрд активируются при обработке запроса. Она оптимизирована с помощью MXFP4-квантизации весов MoE и рассчитана на запуск на одной GPU с 80 ГБ памяти, например NVIDIA H100 или AMD MI300X. Доступен настраиваемый уровень рассуждения — низкий, средний или высокий; заявлена возможность fine-tuning. Модель обучена с использованием формата ответов harmony и, согласно README, корректно работает только при его применении. К сильным сторонам относятся высокая вычислительная мощность для рассуждений, поддержка агентских инструментов, открытая настройка и возможность коммерческого использования. Ограничение — значительные требования к аппаратным ресурсам и обязательное соблюдение формата harmony. README не указывает поддерживаемые языки, длину контекста и результаты конкретных оценок. Распространение осуществляется по лицензии Apache 2.0.

Calandracas/gpt-oss-120b-Derestricted-GGUF — это GGUF-квантизированная версия модели gpt-oss-120b-Derestricted, созданная Arli AI на базе открытой весовой модели openai/gpt-oss-120b от OpenAI. Модель предназначена для генерации текста, задач общего назначения, сложного рассуждения и агентских сценариев, включая вызов функций, веб-браузинг, выполнение Python-кода и структурированный вывод. Архитектура исходной модели основана на Mixture-of-Experts: заявлено около 117 млрд параметров, из которых примерно 5,1 млрд активируются при обработке запроса. Модель поддерживает настраиваемый уровень рассуждения — low, medium и high — и обучена работать в формате ответов Harmony, без которого, согласно карточке, она функционирует некорректно. В README не указаны поддерживаемые языки и точный размер контекста. GGUF-формат ориентирован на локальный запуск совместимыми средствами. Ключевая особенность версии Derestricted — удаление значительной части отказов и ограничивающего поведения при сохранении возможностей рассуждения исходной модели. Для этого Arli AI применила метод Norm-Preserving Biprojected Abliteration, направленный на сохранение норм весов и снижение деградации логики по сравнению с обычной abliteration. При этом модель может иногда сохранять склонность к отказам, а снижение встроенных ограничений повышает риски небезопасного или нежелательного использования. Для производственного запуска также требуются значительные вычислительные ресурсы; исходная модель рассчитана на размещение в одной GPU с 80 ГБ памяти. Лицензия — Apache 2.0.

Hermes-4-14B-AWQ-4bit — квантизированная 4-битная версия языковой модели Hermes 4 14B, разработанной Nous Research на базе Qwen 3 14B. Модель предназначена для диалоговых ассистентов, генерации и анализа текста, решения задач по математике, программированию, STEM и логике, творческого письма, структурированного вывода данных, а также сценариев с вызовом функций и использованием инструментов. Модель поддерживает гибридный режим рассуждений: при необходимости формирует сегменты <think>…</think>, а в быстром режиме может отвечать без длительного рассуждения. Она обучена следовать инструкциям, соблюдать заданные JSON-схемы и исправлять некорректные структурированные объекты. Для взаимодействия используется формат ChatML; заявлена поддержка английского языка. Архитектура основана на Qwen 3 14B, однако точная длина контекста в README не указана. Мультимодальные возможности не заявлены, поэтому модель следует рассматривать как текстовую. К сильным сторонам относятся улучшенные рассуждения, математика, код, логика, качество форматирования, управляемость и поддержка function calling и tool use. К ограничениям относятся зависимость качества от корректного применения ChatML-шаблона и инструментов, а также возможные компромиссы 4-битной квантизации по сравнению с полноточной версией; конкретные результаты бенчмарков в README не приведены. Модель распространяется по лицензии Apache 2.0.

Карточка модели luganoquants/Hermes-4-70B на Hugging Face совпадает с карточкой NousResearch/Hermes-4-70B, поэтому описание составлено по ней. Hermes 4 70B — большая языковая модель Nous Research для диалога и генерации текста, дообученная на базе Meta Llama 3.1 70B. Она содержит около 69,5 млрд параметров, использует плотную архитектуру Llama и поддерживает контекст до 131 072 токенов. Модель рассчитана на ответы ассистента, рассуждения, математику, программирование, STEM-задачи, логику и творческое письмо; также заявлены следование инструкциям, вызов инструментов и генерация структурированных ответов, включая JSON. Hermes 4 предлагает гибридный режим рассуждений, в котором модель может выводить отдельные сегменты обдумывания, а также обучена точнее придерживаться заданных схем и форматов. README описывает улучшенную управляемость и снижение отказов, но эти характеристики заявлены разработчиком и не гарантируют корректность или безопасность каждого ответа. В карточке указаны английский язык и лицензия Llama 3; использование регулируется условиями этой лицензии. Для запуска модели такого размера обычно требуется мног GPU или подходящая квантизированная версия.

Qwopus3.6-27B-v2-AWQ-4bit — это квантизированная версия Jackrong/Qwopus3.6-27B-v2, дообученной на базе Qwen 3.6 27B с дистилляцией рассуждений Claude Opus. Квантизацию выполнил mconcat. Модель предназначена для генерации текста, решения математических и логических задач, программирования, анализа, творческого письма, работы с общими знаниями и вызова инструментов. В README также сохранены метаданные мультимодального процессора и vision-компонентов. Модель использует гибридную архитектуру DeltaNet и softmax attention, а также однос-layer MTP head для speculative decoding. Основные веса представлены в формате AutoAWQ INT4 (W4A16) с размером группы 128, при этом ряд компонентов, включая vision tower, мультимодальный проектор, MTP head, нормы и крайние слои трансформера, сохранён в BF16. Размер чекпойнта составляет около 26 ГБ вместо примерно 54 ГБ у BF16-версии. Заявлены языки English, Chinese, Korean и Japanese; в конфигурации запуска указан максимальный контекст 16384 токена. К сильным сторонам относятся существенное уменьшение размера модели, сохранение качества исходной BF16-версии на приведённых тестах и ускорение генерации с MTP speculative decoding. На одном NVIDIA B300 SXM6 заявлена скорость до 251 токена в секунду при batch size 1 и ускорение 2,19 раза относительно режима без MTP. Ограничения включают зависимость от совместимого окружения vLLM версии 0.21.0 или выше, необходимость trust_remote_code для указанного запуска и аппаратную специфику приведённых показателей производительности. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

WizardLM-2 8x22B — большая языковая модель семейства Mixtral, разработанная командой WizardLM в Microsoft AI. Это диалоговая модель с архитектурой Mixture of Experts (MoE), дообученная на базе mistral-community/Mixtral-8x22B-v0.1 с использованием синтетической обучающей системы. README указывает 141 млрд параметров; метаданные Hugging Face — 22B параметров. Указанный в метаданных контекст составляет 65 536 токенов. Модель предназначена для сложных диалогов, многоязычных запросов, рассуждений, написания текстов и кода, математических задач и сценариев с агентами. Для общения в README приведён шаблон системного промпта. Заявления о качестве основаны на оценках авторов, включая MT-Bench и сравнения предпочтений людей; они не гарантируют аналогичных результатов во всех задачах. Модель принимает текст и генерирует текст. README описывает поддержку нескольких языков, но не перечисляет их по отдельности. Лицензия — Apache 2.0.

Granite-4.2-30B (MXFP4) — квантизированная версия языковой модели Granite-4.2-30B, разработанная командой Granite компании IBM. Это открытая text-generation модель для рассуждений, генерации и анализа кода, многошаговых задач, диалога, вызова инструментов и агентных рабочих процессов. Вариант MXFP4 предназначен для инференса с уменьшенными требованиями к памяти; он получен квантизацией исходной модели с помощью GPTQ, калиброванной на 2 тысячах примеров из SFT-датасета. Исходная модель представляет собой decoder-only dense Transformer с архитектурой GraniteForCausalLM, примерно 30 млрд параметров, 64 слоями, Grouped Query Attention с 32 attention heads и 8 KV heads, RoPE, SwiGLU, RMSNorm и раздельными входными и выходными embedding. Модель поддерживает текстовую модальность, встроенное рассуждение в режимах полного, отключённого и low-effort thinking, native tool calling и OpenAI-совместимые сценарии развёртывания. Нативный контекст составляет 128K токенов; заявлено расширение long-context до 512K. Тестировались English, German, Spanish, French, Japanese, Portuguese, Arabic, Czech, Italian, Korean, Dutch и Chinese. Сильные стороны модели — рассуждения, программирование, следование инструкциям, вызов инструментов, агентные задачи и работа с длинным контекстом. Ограничения включают возможное снижение качества на языках кроме English, а также риск неточных, предвзятых или небезопасных ответов; раскрываемое содержимое reasoning может быть промежуточным и не отражать окончательный вывод. Модель распространяется по лицензии Apache 2.0.

Hermes 4 405B — большая плотная языковая модель Nous Research для диалогов и следования инструкциям, созданная на основе Meta Llama 3.1 405B с дополнительным постобучением. Модель содержит около 403,7 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. Основной язык карточки — английский. Модель предназначена для диалогового помощника и сложных задач рассуждения, включая математику, программирование, STEM, логику и творческое письмо. Она поддерживает режим рассуждения, вызов инструментов и функций, а также генерацию структурированных ответов, в том числе JSON по заданной схеме. Вызовы инструментов требуют подходящего шаблона диалога и обработки специального формата вывода. Модель распространяется под лицензией Llama 3.1 Community License. Это крупная модель, для обслуживания которой README рекомендует многокарточные серверные конфигурации и движки вывода вроде vLLM или SGLang. Утверждения о качестве и результатах на бенчмарках приведены разработчиком; карточка не предоставляет подробных таблиц результатов.

Карточка модели genevaquant/Hermes-4-70B на Hugging Face совпадает с карточкой NousResearch/Hermes-4-70B, поэтому описание составлено по ней. Hermes 4 70B — большая языковая модель Nous Research для диалога и генерации текста, дообученная на базе Meta Llama 3.1 70B. Она содержит около 69,5 млрд параметров, использует плотную архитектуру Llama и поддерживает контекст до 131 072 токенов. Модель рассчитана на ответы ассистента, рассуждения, математику, программирование, STEM-задачи, логику и творческое письмо; также заявлены следование инструкциям, вызов инструментов и генерация структурированных ответов, включая JSON. Hermes 4 предлагает гибридный режим рассуждений, в котором модель может выводить отдельные сегменты обдумывания, а также обучена точнее придерживаться заданных схем и форматов. README описывает улучшенную управляемость и снижение отказов, но эти характеристики заявлены разработчиком и не гарантируют корректность или безопасность каждого ответа. В карточке указаны английский язык и лицензия Llama 3; использование регулируется условиями этой лицензии. Для запуска модели такого размера обычно требуется мног GPU или подходящая квантизированная версия.

Olmo-3.1-32B-Instruct — авторегрессионная языковая модель на архитектуре Transformer, разработанная Allen Institute for AI (Ai2). Это плотная модель семейства OLMo 3 с 31,7 млрд параметров, дообученная на основе allenai/Olmo-3.1-32B-Instruct-DPO; карточка также описывает этапы SFT, DPO и обучения с подкреплением на данных Dolci. Модель рассчитана на диалог, выполнение инструкций, общие знания, математику и программирование; поддерживает интерфейс вызова инструментов. Основной язык — английский, контекст — до 65 536 токенов. Модель можно применять для ответов на вопросы, помощи с кодом и математическими задачами, а также для диалоговых и общих текстовых запросов. Доступна в формате Safetensors и работает с Transformers версии 4.57.0 или выше. Лицензия Apache 2.0; разработчик указывает на исследовательское и образовательное применение в соответствии с рекомендациями Ai2 по ответственному использованию.