I.11Классификация, ранжирование и сопоставление

Карточка модели genevaquant/Hermes-4-70B на Hugging Face совпадает с карточкой NousResearch/Hermes-4-70B, поэтому описание составлено по ней. Hermes 4 70B — большая языковая модель Nous Research для диалога и генерации текста, дообученная на базе Meta Llama 3.1 70B. Она содержит около 69,5 млрд параметров, использует плотную архитектуру Llama и поддерживает контекст до 131 072 токенов. Модель рассчитана на ответы ассистента, рассуждения, математику, программирование, STEM-задачи, логику и творческое письмо; также заявлены следование инструкциям, вызов инструментов и генерация структурированных ответов, включая JSON. Hermes 4 предлагает гибридный режим рассуждений, в котором модель может выводить отдельные сегменты обдумывания, а также обучена точнее придерживаться заданных схем и форматов. README описывает улучшенную управляемость и снижение отказов, но эти характеристики заявлены разработчиком и не гарантируют корректность или безопасность каждого ответа. В карточке указаны английский язык и лицензия Llama 3; использование регулируется условиями этой лицензии. Для запуска модели такого размера обычно требуется мног GPU или подходящая квантизированная версия.

JoyAI-LLM Flash-Base — базовая языковая модель семейства JoyAI-LLM Flash, представленная в карточке модели как разработанная для высокопроизводительных приложений с низкой задержкой и стоимостью запросов. Это плотная архитектура DeepseekV3ForCausalLM по метаданным; README описывает модель как смесь экспертов (MoE) с 48 млрд параметров всего и 3 млрд активируемых параметров, тогда как метаданные указывают общий размер 2,7 млрд параметров. Модель предназначена для генерации текста, рассуждений, работы со знаниями и кодом, а также сценариев с использованием инструментов и автономным решением задач. README сообщает об обучении с оптимизатором Muon и о варианте с MTP, который, по заявлению авторов, повышает пропускную способность в 1,3–1,7 раза относительно версии без MTP. Поддерживаемые языки по тегам карточки — китайский и английский; контекстное окно составляет 131 072 токена. В репозитории указаны веса safetensors. Лицензия в предоставленных данных не указана.

Nemotron-3-Nano-30B-A3B-FP8 — языковая модель NVIDIA для диалогов, рассуждений и типовых задач по инструкциям. Репозиторий unsloth содержит производную FP8-версию базовой модели nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16; веса представлены в формате safetensors. Модель предназначена для разработчиков чат-ботов, RAG-систем и агентных приложений, а также для решения задач общего назначения и программирования. Архитектура сочетает Mamba-2, Transformer и Mixture-of-Experts: 30 млрд параметров всего, из них 3,5 млрд активны на токен. Модель поддерживает английский, немецкий, испанский, французский, итальянский и японский языки. Контекст в конфигурации по умолчанию — 256 тыс. токенов; README заявляет возможность работы с контекстом до 1 млн токенов при соответствующих ресурсах. Доступен режим с рассуждениями и без их вывода; поддерживается интерфейс вызова инструментов. Модель рассчитана на коммерческое применение. Метаданные указывают лицензию «other», поэтому перед использованием следует проверить условия лицензии в карточке репозитория. Для работы с длинным контекстом нужны значительные ресурсы GPU; отключение режима рассуждений может немного снизить точность на сложных задачах.

unsloth/Phi-3.5-mini-instruct-bnb-4bit — 4-битная версия инструкционной языковой модели Phi-3.5-mini-instruct, разработанной Microsoft и опубликованной в формате, совместимом с Transformers. Модель относится к семейству Phi-3, обучалась на синтетических данных и отфильтрованных общедоступных веб-материалах с акцентом на плотные по содержанию данные для рассуждений. Указана поддержка многоязычного применения и контекста до 128K токенов. Модель предназначена для создания генеративных AI-систем и функций общего назначения, особенно в средах с ограниченными ресурсами и требованиями к низкой задержке. Она ориентирована на выполнение инструкций, а также задачи программирования, математики, логики и других сценариев, требующих рассуждений. Квантование BNB до 4 бит снижает требования к памяти и может упростить запуск и дообучение, однако конкретные характеристики производительности зависят от оборудования и конфигурации. К ограничениям относятся возможные ошибки, неточности, проблемы безопасности и смещения, типичные для языковых моделей. Модель не оценивалась отдельно для всех прикладных областей, поэтому перед использованием в критически важных или регулируемых сценариях необходимы самостоятельная проверка качества, безопасности, справедливости и соответствия требованиям законодательства. В README указана лицензия MIT.

ThomasBaruzier/Qwen2.5-14B-Instruct-GGUF — это набор GGUF-квантизаций инструкционно дообученной языковой модели Qwen2.5-14B-Instruct, разработанной командой Qwen. Репозиторий подготовлен с использованием llama.cpp и imatrix-квантизации, поэтому предназначен для локального запуска совместимых вариантов модели с различным соотношением качества, размера и требований к памяти. Модель является авторегрессионной causal language model на архитектуре Transformers с RoPE, SwiGLU, RMSNorm и смещениями в attention QKV. Она содержит 14,7 млрд параметров, 48 слоёв и использует GQA с 40 головами для Q и 8 для KV. Поддерживаются контекст до 131 072 токенов и генерация до 8192 токенов. Модель предназначена для диалогов, следования инструкциям, генерации длинных текстов, работы со структурированными данными и JSON, а также задач программирования и математики. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Главное преимущество репозитория — широкий выбор квантизаций от IQ1_S до Q8_0 и F16: меньшие варианты экономят память, а более крупные обеспечивают качество, близкое к полной точности. Ограничения зависят от выбранного варианта: агрессивная квантизация снижает размер, но может ухудшать точность и плавность генерации; для работы требуется совместимое ПО, например llama.cpp. Модель распространяется по лицензии Apache-2.0.

Qwen3-30B-A3B-Thinking-2507-AWQ-4bit — это 4-битно квантованная версия модели Qwen3-30B-A3B-Thinking-2507, опубликованная пользователем cyankiwi на Hugging Face и основанная на модели Qwen от команды Qwen. Это каузальная языковая модель для генерации текста, ориентированная на сложные задачи рассуждения, включая логику, математику, естественные науки, программирование, академические задания, следование инструкциям и использование инструментов. Модель построена по архитектуре Mixture-of-Experts: всего 30,5 млрд параметров, из которых при обработке токена активируется около 3,3 млрд; используется 128 экспертов, 8 активных экспертов, 48 слоёв и GQA с 32 головами для Q и 4 для KV. Нативная длина контекста составляет 262 144 токена. Поддерживается только режим размышления, причём шаблон чата автоматически добавляет соответствующий маркер. Модель предназначена для текстовых задач; конкретный набор поддерживаемых языков в README не указан. К сильным сторонам относятся улучшенные результаты в рассуждении, кодировании, работе с инструментами, обобщённых задачах и обработке длинного контекста; в README также приведены высокие показатели на ряде математических, кодовых и агентских бенчмарков. Ограничение — обязательный режим размышления и потенциально большая длина вывода, что может повышать требования к ресурсам и задержку. Для запуска рекомендуется актуальная версия Transformers, а также совместимы SGLang и vLLM. Базовая модель распространяется по лицензии Apache-2.0; отдельная лицензия квантованной версии в README не указана.

Qwen3-4B-Thinking-2507 — плотная причинно-языковая модель семейства Qwen3, разработанная командой Qwen. Это модель с 3,7 млрд параметров для генерации текста в режиме рассуждения; она ориентирована на сложные задачи логики, математики, естественных наук, программирования и академических вопросов, а также на следование инструкциям и работу с инструментами. Модель построена на архитектуре Qwen3ForCausalLM с 36 слоями и группированным многозапросным вниманием. Она принимает текст и поддерживает нативный контекст длиной 262 144 токена. Режим рассуждения включён по умолчанию; увеличенная длина рассуждений особенно полезна для многошаговых задач. Модель распространяется в формате safetensors по лицензии Apache-2.0.

Qwen3.5-35B-A3B-GGUF — это квантизированная GGUF-версия мультимодальной модели Qwen3.5-35B-A3B, разработанной командой Qwen. Репозиторий подготовлен ugreen-ai с использованием материалов и методов Unsloth. Модель предназначена для локального запуска и совместима с инструментами экосистемы GGUF; исходная модель также поддерживает Transformers, vLLM, SGLang и KTransformers. Модель представляет собой каузальную языковую модель с vision encoder и поддерживает работу с текстом и изображениями. Архитектура сочетает Gated Delta Networks и разреженный Mixture-of-Experts. Всего модель содержит 35 млрд параметров, из которых активируется около 3 млрд; указаны 40 слоёв, hidden dimension 2048 и словарь размером 248 320 токенов. Заявлена поддержка 201 языка и диалекта. Модель ориентирована на рассуждения, программирование, визуальное понимание, агентские сценарии, вызов инструментов и задачи с длинным контекстом, однако точный максимальный размер контекста для этой версии в README не указан. К сильным сторонам относятся мультимодальность, высокая вычислительная эффективность разреженной MoE-архитектуры, улучшенные возможности coding и tool calling, а также обновлённые данные и алгоритм квантования Unsloth Dynamic 2.0. GGUF-квантизация упрощает локальный запуск и снижает требования к ресурсам, но конкретные характеристики зависят от выбранного варианта квантизации и могут сопровождаться потерей точности по сравнению с исходными весами. Для управления режимом рассуждений предусмотрена настройка enable_thinking. Модель распространяется по лицензии Apache-2.0.

hamishivi/Qwen3.5-9B — дообученная мультимодальная модель на 9 млрд параметров, основанная на Qwen/Qwen3.5-9B-Base. Это причинная языковая модель с визуальным энкодером, реализованная в архитектуре Qwen3.5 и представленная в формате Transformers с весами safetensors; она поддерживает чат и интерфейс вызова инструментов. Модель предназначена для диалога и рассуждений по тексту и изображениям, визуального понимания, программирования и агентных сценариев с использованием инструментов. В README заявлена поддержка 201 языка и диалекта. Контекст составляет 262 144 токена и может расширяться до 1 010 000 токенов; по умолчанию модель работает в режиме рассуждений. Архитектура сочетает Gated Delta Networks и разреженную смесь экспертов. Для обслуживания доступны Transformers, vLLM, SGLang и KTransformers; README рекомендует современные версии этих фреймворков и специализированные движки для высокой пропускной способности. Длинный контекст может требовать значительных ресурсов памяти. Лицензия — Apache-2.0.

mlx-community/Qwen3.6-27B-OptiQ-4bit — это квантизированная MLX-версия языковой модели Qwen/Qwen3.6-27B, созданная сообществом mlx-community с использованием инструментария mlx-optiq. Модель предназначена для локального запуска на устройствах с Apple Silicon без PyTorch и облачных сервисов, а также для генерации текста, рассуждений, программирования, следования инструкциям, работы с агентными сценариями и вызовами инструментов. Модель использует смешанную точность: 276 слоёв представлены в 4-битном формате, а 220 наиболее чувствительных слоёв — в 8-битном; размер группы составляет 64. Общий объём на диске — около 17,5 ГБ. В комплект входит MTP-голова для speculative decoding, которая при использовании mlx-optiq может ускорять декодирование примерно в 1,4 раза. README не указывает поддерживаемые языки и размер контекстного окна. Для загрузки доступна библиотека mlx-lm, а расширенные возможности предоставляет mlx-optiq. По приведённым тестам модель демонстрирует высокие результаты в MMLU, GSM8K, следовании инструкциям, вызове функций, генерации кода и извлечении данных из длинного контекста; средний Capability Score составляет 86,04. Ограничениями являются необходимость совместимого оборудования Apple Silicon, больший размер по сравнению с равномерной 4-битной версией и некоторое снижение результатов в отдельных тестах относительно неё. Модель распространяется по лицензии Apache 2.0 и наследует её от базовой модели.

MrFuzzihead/Qwen3.8-35B-A3B-Distill-APEX-GGUF — это набор GGUF-квантизаций модели Qwen3.8-35B-A3B-Distill, разработанной Empero и квантизированной MrFuzzihead методом APEX при участии команды LocalAI. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, включая сценарии генерации текста, рассуждений, программирования, следования инструкциям, вызова функций и агентного использования. В основе лежит разреженная Mixture-of-Experts-архитектура примерно на 35 млрд параметров, из которых для каждого токена активируются 8 из 256 маршрутизируемых экспертов, а также общий эксперт. Модель использует 40 слоёв с гибридной схемой Gated DeltaNet и Gated Attention; полный attention применяется только в 10 слоях, что снижает нагрузку на KV-кэш. Заявлен нативный контекст до 262 144 токенов. Базовая модель мультимодальная и сохраняет vision tower, однако дистилляция выполнялась только для текста, а визуальные возможности не были проверены. Поддерживаются отдельные vision-проектор и MTP-компоненты для мультимодальности и спекулятивного декодирования. Ключевая особенность — APEX-квантизация с разной точностью для типов тензоров и позиций слоёв, учитывающая разреженность MoE. Доступны варианты размером примерно от 10,9 до 25,3 ГБ, рассчитанные на видеокарты с 12–24 ГБ памяти и различные компромиссы между качеством, размером и скоростью. I-варианты используют importance matrix на разнообразных данных, включая диалоги, код, рассуждения, вызов инструментов и агентные трассы, и ориентированы на более высокую точность. Модель использует постоянно включённое дистиллированное пошаговое рассуждение с блоком <think>, поэтому адаптивного переключателя уровня рассуждений нет. Распространяется по лицензии Apache-2.0.

Qwopus3.6-27B-v2-AWQ-4bit — это квантизированная версия Jackrong/Qwopus3.6-27B-v2, дообученной на базе Qwen 3.6 27B с дистилляцией рассуждений Claude Opus. Квантизацию выполнил mconcat. Модель предназначена для генерации текста, решения математических и логических задач, программирования, анализа, творческого письма, работы с общими знаниями и вызова инструментов. В README также сохранены метаданные мультимодального процессора и vision-компонентов. Модель использует гибридную архитектуру DeltaNet и softmax attention, а также однос-layer MTP head для speculative decoding. Основные веса представлены в формате AutoAWQ INT4 (W4A16) с размером группы 128, при этом ряд компонентов, включая vision tower, мультимодальный проектор, MTP head, нормы и крайние слои трансформера, сохранён в BF16. Размер чекпойнта составляет около 26 ГБ вместо примерно 54 ГБ у BF16-версии. Заявлены языки English, Chinese, Korean и Japanese; в конфигурации запуска указан максимальный контекст 16384 токена. К сильным сторонам относятся существенное уменьшение размера модели, сохранение качества исходной BF16-версии на приведённых тестах и ускорение генерации с MTP speculative decoding. На одном NVIDIA B300 SXM6 заявлена скорость до 251 токена в секунду при batch size 1 и ускорение 2,19 раза относительно режима без MTP. Ограничения включают зависимость от совместимого окружения vLLM версии 0.21.0 или выше, необходимость trust_remote_code для указанного запуска и аппаратную специфику приведённых показателей производительности. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

CiscoKpanse/sp-DNM-4-26B-A4B-it_v0.1 — инструкция-настроенная мультимодальная модель семейства Gemma 4, созданного Google DeepMind. Вариант 26B A4B использует архитектуру Mixture-of-Experts: обрабатывает текст и изображения и генерирует текст; поддерживает диалог и визуальные задачи, включая ответы по изображениям, OCR, разбор документов, диаграмм и экранных интерфейсов. По карточке семейства Gemma 4 также предназначена для рассуждений, программирования, суммаризации и сценариев с вызовом инструментов. Для вариантов 26B A4B заявлено контекстное окно до 256 тысяч токенов и поддержка множества языков. Семейство использует гибридное внимание с локальными и глобальными слоями. Данная копия опубликована в формате safetensors и доступна по лицензии Apache 2.0. Карточка описывает семейство Gemma 4 в целом, поэтому не все заявленные возможности обязательно относятся к этому варианту: обработка аудио указана только для E2B и E4B, а видео — как возможность семейства. Ответы модели могут содержать ошибки; результаты распознавания и извлечения данных из изображений следует проверять.

Blossom-V7.1-27B — открытая мультимодальная модель общего назначения от разработчиков семейства Blossom. Это плотная модель архитектуры Qwen3.5 с 27 млрд параметров, дообученная для работы в роли ассистента. Она принимает текст и изображения и генерирует текст; поддерживает диалог, рассуждения, вызов инструментов и агентные сценарии. В README указаны режимы рассуждения medium и max, контекст до 262 144 токенов и рекомендуемый контекст 131 072 токена. Модель предназначена для повседневных вопросов и ответов, знаний общего характера, математики, программирования, веб-разработки, визуализации данных и анализа изображений. Доступны запуски через Transformers, vLLM и llama.cpp; для мультимодального общения и сохранения вызовов инструментов требуется использовать встроенный шаблон чата и сохранять полные сообщения ассистента в истории диалога. Модель распространяется под лицензией Apache-2.0. Для запуска версии 27B требуется достаточно памяти, чтобы разместить веса на GPU; фактическая скорость и доступная длина контекста зависят от оборудования. В README также отмечено, что качество последующих ходов диалога может снизиться, если при повторной передаче истории опускать поля рассуждений или вызовы инструментов.

Blossom-V7-27B — мультимодальная модель общего назначения с открытыми весами, разработанная командой Blossom. Это плотная модель семейства Qwen3.5, дообученная для работы в роли ассистента и предназначенная для локального запуска. Она принимает текст и изображения, поддерживает диалог, адаптивное рассуждение и вызов инструментов; подходит для повседневных вопросов, математики, программирования, веб-разработки и визуализации данных. Контекст достигает 262 144 токенов, при этом в README рекомендовано 131 072 токена для наилучших результатов. Для ускорения генерации поддерживается спекулятивное декодирование MTP в vLLM и llama.cpp. Модель рассчитана на развёртывание на GPU, где помещаются её веса. README указывает, что для многоходового диалога следует сохранять полное сообщение ассистента, включая поля рассуждения и вызовы инструментов. Также требуется использовать встроенный шаблон чата Blossom; подмена его шаблоном Qwen3.5 может нарушить работу. Репозиторий распространяется по лицензии Apache-2.0.

Calcium-Opus-14B-Elite2-R1 — плотная языковая модель семейства Qwen2, разработанная PrithivMLmods и дообученная на синтетических данных на основе DeepSeek R1 для усиления рассуждений. Модель содержит 14 млрд параметров, принимает текст и предназначена для генерации ответов, следования инструкциям и многошагового решения задач. Метаданные указывают контекст до 131 072 токенов; карточка заявляет поддержку до 128K токенов и генерацию ответов до 8K токенов. Модель рассчитана на логические и математические задачи, программирование, работу со структурированными данными, создание длинных текстов и многоязычные диалоги. Карточка заявляет поддержку более 29 языков, а метаданные явно отмечают английский. Лицензия — Apache 2.0. Для эффективного вывода нужны значительные вычислительные ресурсы; качество может различаться между языками, длинные ответы могут содержать несогласованности, а знания ограничены данными обучения и могут быть неактуальными.

Calcium-Opus-20B-v1 — диалоговая языковая модель на архитектуре Qwen2, созданная на основе Qwen/Qwen2.5-14B-Instruct и дообученная для рассуждений, математики, программирования и следования инструкциям. По метаданным модель содержит 18,4 млрд параметров, использует Transformers и формат safetensors; заявленное в README контекстное окно до 128K токенов расходится с указанным в метаданных пределом 4096 токенов, поэтому фактический размер контекста следует уточнить для конкретной версии. Модель предназначена для диалоговых помощников, генерации и анализа текста, решения математических задач, написания и отладки кода, работы с таблицами и JSON, а также создания длинных материалов. README заявляет поддержку более 29 языков, включая русский и английский; метаданные карточки указывают английский. Заявлены генерация до 8K токенов за один ответ и интерфейс вызова инструментов. Лицензия Apache-2.0. Качество может различаться между языками; возможны ошибки в длинных ответах, повторы и неверные выводы при неоднозначных или состязательных запросах. Модель не обладает актуальными знаниями о событиях после обучения и требует значительных вычислительных ресурсов.

Cohere Command A Reasoning — авторегрессионная языковая модель с открытыми весами, разработанная Cohere и Cohere Labs. Модель на 111 млрд параметров предназначена для диалогов, агентных сценариев и работы с внешними инструментами; она поддерживает режим рассуждений, который можно включать для повышения качества или отключать ради меньшей задержки. Модель принимает текст и генерирует текст. Она обучена на 23 языках и поддерживает контекст до 256 тыс. токенов и генерацию до 32 тыс. токенов. Архитектура использует Transformer с чередованием слоёв скользящего внимания и глобального внимания; после предварительного обучения модель прошла дообучение с учителем и обучение на предпочтениях. Для работы с инструментами и цитированием результатов предусмотрен шаблон диалога Transformers. Модель подходит для многоязычного диалога, сложных запросов с рассуждением, вызова инструментов и агентных рабочих процессов. Лицензия CC-BY-NC-4.0 запрещает коммерческое использование без отдельного согласования с Cohere; также необходимо соблюдать Acceptable Use Policy Cohere Labs. Для загрузки модели README рекомендует версию Transformers из исходного репозитория с необходимыми изменениями.

DeepSeek-V4-Flash — предварительная версия большой языковой модели семейства DeepSeek-V4, разработанная командой DeepSeek AI. Модель предназначена для обработки длинного контекста, решения задач общего назначения, работы со знаниями, рассуждениями, программированием и агентными сценариями. В README также отмечается наличие режима DeepSeek-V4-Flash-Max с увеличенным бюджетом рассуждений, однако подробности его реализации не приведены. Модель построена на архитектуре Mixture-of-Experts (MoE) и содержит 284 млрд параметров, из которых 13 млрд активируются при обработке запроса. Поддерживается контекст длиной до 1 млн токенов. Для повышения эффективности длинноконтекстного вывода используются механизмы Compressed Sparse Attention и Heavily Compressed Attention, а также Manifold-Constrained Hyper-Connections. Модель поставляется в смешанном формате FP4 + FP8: параметры экспертов MoE используют FP4, большинство остальных параметров — FP8. Обучение проводилось более чем на 32 трлн токенов с последующей настройкой с использованием SFT, RL с GRPO и on-policy distillation. К сильным сторонам относятся высокая эффективность при работе с очень длинными контекстами, компактное число активируемых параметров относительно общего размера и заявленная конкурентоспособность в задачах рассуждений и программирования. По сравнению с версией Pro модель имеет меньший масштаб, поэтому, согласно README, несколько уступает ей в задачах, требующих обширных знаний, и в наиболее сложных агентных рабочих процессах. Языки и мультимодальные возможности в представленных данных не указаны. Лицензия — MIT.

DeepSeek-V4-Flash — текстовая генеративная модель семейства DeepSeek-V4. README описывает серию как смесь экспертов (MoE) с гибридным механизмом внимания CSA/HCA и контекстом до одного миллиона токенов; для Flash указано 284 млрд параметров, из которых активируются 13 млрд. В метаданных этого репозитория указаны архитектура DeepseekV4ForCausalLM, 10,7 млрд параметров и веса safetensors в формате FP8, что расходится с размером Flash в README. Модель предназначена для диалога, рассуждений, планирования и решения повседневных и сложных задач с длинным контекстом. README выделяет режимы ответа без рассуждений и с повышенным или максимальным уровнем рассуждений; среди сценариев применения также названы кодирование и агентные задачи. Репозиторий предоставляет отдельные скрипты для кодирования формата сообщений и разбора ответов, а стандартного Jinja-шаблона чата в выпуске нет. Модель принимает и генерирует текст. В README указана лицензия MIT. Поддерживаемые языки отдельно не перечислены; результат зависит от используемого формата запросов и конфигурации. Репозиторий создан 27 сентября 2026 года, поэтому сведения о выпуске следует считать предварительными.

Falcon3-7B-Instruct — инструктивная языковая модель семейства Falcon3, разработанная Technology Innovation Institute. Это плотная авторегрессионная Transformer-модель с причинным декодером и 7,1 млрд параметров, дообученная на основе tiiuae/Falcon3-7B-Base. Архитектура включает 28 блоков декодера, grouped-query attention, SwiGLU и RMSNorm; контекстное окно — до 32 768 токенов. Модель предназначена для диалогов и выполнения инструкций, включая задачи рассуждения, понимания языка, программирования и математики. Она поддерживает английский, французский, испанский и португальский языки; метаданные также отмечают интерфейс вызова инструментов. В README указана посттренировка на примерах STEM, диалогов, кода, безопасности и вызова функций. Репозиторий использует safetensors и библиотеку Transformers. Лицензия — TII Falcon-LLM License 2.0; перед применением следует учитывать её условия.

cyankiwi/gemma-4-31B-it-AWQ-4bit — 4-битная AWQ-квантованная версия инструкционно дообученной модели google/gemma-4-31B-it. Базовую модель разработала Google DeepMind, а данную квантованную сборку опубликовал cyankiwi. Модель относится к семейству Gemma 4 и предназначена для генерации текста, рассуждений, программирования, агентских сценариев и мультимодального анализа изображений. Модель использует плотную архитектуру с примерно 30,7 млрд параметров, гибридным вниманием с локальными скользящими окнами и глобальными слоями, контекстом до 256 тысяч токенов и поддержкой текстовых и графических входных данных с генерацией текста. В карточке указана поддержка английского, китайского, хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков. Квантование AWQ снижает требования к памяти и упрощает локальное развертывание, однако может немного ухудшать качество по сравнению с полноразмерной версией; конкретные системные требования и результаты бенчмарков для этой сборки не указаны. Модель распространяется по лицензии Apache 2.0 с учетом условий лицензии Gemma 4.

Gemma 4 E4B Instruct QAT Mobile — мультимодальная модель Google DeepMind с плотной архитектурой Gemma 4ForConditionalGeneration, дообученная для следования инструкциям и оптимизированная с помощью Quantization-Aware Training для мобильного оборудования. Эта версия распространяется в формате compressed-tensors и использует схему wNa8o8 с 2-битными слоями декодирования, оптимизированным KV-кэшем и статическими активациями, чтобы снизить требования к памяти при запуске на устройстве. Модель принимает текст и изображения, а для варианта E4B также поддерживает аудио; выдаёт текст. Она предназначена для диалогов, генерации и редактирования кода, рассуждений, извлечения сведений из изображений и документов, OCR, понимания видео и агентных сценариев с вызовом инструментов. Для E4B заявлено контекстное окно 128K токенов; семейство Gemma поддерживает более 140 языков при предварительном обучении. Модель может работать на мобильных устройствах и других локальных системах с ограниченными ресурсами. Модель доступна по лицензии Apache 2.0. Качество и скорость на конкретном устройстве зависят от реализации и аппаратного обеспечения; QAT снижает расход памяти, но отдельные слои используют низкую разрядность. Карточка описывает аудио-возможности семейства, однако не уточняет их точный охват для этой сборки.

GLM-4.7-Flash — языковая модель семейства GLM от Z.ai, представленная как модель Mixture of Experts с конфигурацией 30B-A3B: около 30 млрд параметров всего и примерно 3 млрд активных на токен. Метаданные Hugging Face указывают 4,1 млрд параметров, поэтому сведения о размере в источниках расходятся. Модель распространяется в формате Safetensors и работает через Transformers; для локального запуска также заявлена поддержка vLLM и SGLang. Модель предназначена для генерации текста и диалогов, включая рассуждения, программирование и агентные сценарии. В карточке приведены результаты бенчмарков по математике, вопросам на научные знания и программированию; заявлено окно контекста 202 752 токена. Карточка указывает английский и китайский языки. Модель выпущена Z.ai под лицензией MIT. Производитель позиционирует её как вариант для относительно лёгкого локального развёртывания с балансом производительности и эффективности. Для vLLM и SGLang требуются версии из основных веток проектов.

GLM-5.3-Flash-GGUF — это квантизированная версия мультимодальной модели GLM-5.3-Flash, разработанной командой GLM-5 компании Z.ai; данный вариант опубликован в формате GGUF организацией zurichquants. Модель предназначена для генерации текста, программирования, решения сложных задач, работы с инструментами и агентских сценариев. Она поддерживает английский и китайский языки, а также текстовые и визуальные входные данные. Базовая модель содержит 320 млрд параметров, из которых при обработке активируется около 18 млрд. В архитектуре используются гибридное сочетание разреженного и линейного внимания, а также Manifold-Constrained Hyper-Connections, что направлено на снижение стоимости работы с длинным контекстом при сохранении точности. Модель обучалась на мультимодальном корпусе объёмом около 30 трлн токенов. В README не указаны точный размер контекста для этого GGUF-варианта и конкретный уровень квантизации, поэтому требования к памяти и производительность зависят от файла сборки. К сильным сторонам относятся высокая эффективность благодаря разреженной активации параметров, поддержка длинного контекста, мультимодальность и заявленная конкурентоспособность в задачах программирования и автономных агентов. Для локального запуска рекомендуется использовать совместимые версии llama.cpp или Unsloth Desktop; поддержка может зависеть от реализации. Модель и её базовая версия распространяются по лицензии MIT.

NVIDIA GLM-5.3-Flash NVFP4 — квантизированная версия модели GLM-5.3-Flash, разработанной ZAI и подготовленной NVIDIA с использованием Model Optimizer. Это авторегрессионная мультимодальная модель на базе оптимизированной Transformer-архитектуры с Mixture-of-Experts (MoE), гибридным механизмом разреженного и линейного внимания и Manifold-Constrained Hyper-Connections (mHC). Общее число параметров составляет 320 млрд, из них активируется 18 млрд. Модель предназначена для рассуждений, программирования и агентных задач, а также для чат-ботов, RAG-систем и других приложений на базе ИИ. Она принимает текст, изображения и видео, включая RGB-изображения и видео в форматах MP4/WebM, и генерирует текст. Заявлена поддержка контекста длиной до 1 млн токенов, однако сведения о поддерживаемых языках отсутствуют. Модель оптимизирована для инференса на GPU NVIDIA, в частности на архитектуре Blackwell, и поддерживает запуск через vLLM и SGLang в Linux. Квантизация весов и активаций в формат NVFP4 уменьшает вычислительные требования по сравнению с полной версией, но README не содержит количественных оценок качества, скорости или потребления памяти. Данные обучения не раскрыты; для калибровки использовались CNN/Daily Mail и Nemotron-Post-Training-Dataset-v2. Модель распространяется по лицензии MIT и разрешена для коммерческого и некоммерческого использования.

FastFlowLM/GPT-OSS-20B-NPU2 — текстовая генеративная модель на базе openai/gpt-oss-20b, разработанной OpenAI. Она предназначена для задач рассуждения, универсальной генерации текста, локального и специализированного применения, а также агентских сценариев для разработчиков, включая вызов функций, веб-б browsing, выполнение Python-кода и Structured Outputs. Модель относится к серии open-weight gpt-oss-20b: заявлено 21 млрд параметров, из которых 3,6 млрд активны при инференсе. Используется архитектура MoE с постобучением весов в формате MXFP4; модель рассчитана на работу примерно в пределах 16 ГБ памяти. Поддерживается настраиваемый уровень рассуждения — low, medium или high, а также дообучение. Формат входа и ответа должен соответствовать harmony response format, иначе модель может работать некорректно. README не содержит подтвержденных сведений о языках, размере контекста и мультимодальных возможностях; по указанному pipeline_tag модель предназначена для генерации текста. Сильными сторонами являются относительно низкие требования к памяти, возможность локального запуска, настраиваемый баланс качества рассуждений и задержки, а также пригодность для кастомизации и агентских приложений. К ограничениям относятся обязательное использование harmony response format и то, что цепочку рассуждений не рекомендуется показывать конечным пользователям. Модель распространяется по лицензии Apache 2.0, допускающей свободное использование, модификацию и коммерческое развертывание.

Карточка модели jdlovestofish/granite-4.2-8b на Hugging Face совпадает с карточкой ibm-granite/granite-4.2-8b, поэтому описание составлено по ней. Granite-4.2-8B — языковая модель команды Granite компании IBM для диалогов, рассуждений и работы с инструментами. Это плотный декодерный трансформер GraniteForCausalLM с 8,4 млрд параметров, доступный в формате safetensors и рассчитанный на библиотеку Transformers. Модель дообучена на базе ibm-granite/granite-4.1-8b-base; лицензия Apache 2.0 разрешает коммерческое и академическое использование. Модель предназначена для ответов на вопросы, многошаговых рассуждений, математических и программных задач, а также сценариев, где нужно выбирать и вызывать инструменты. Поддерживаются режимы полного, облегчённого и отключённого рассуждения. Метаданные указывают контекст до 131 072 токенов. Архитектура включает Grouped Query Attention, RoPE, SwiGLU и RMSNorm. Модель обучалась преимущественно на английских инструкциях, также включает многоязычные данные для немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Качество на других языках может уступать английскому; ответы могут быть неточными, предвзятыми или небезопасными. Текст рассуждений может содержать промежуточные мысли и не отражать итоговый ответ.

Карточка модели genevaquant/Hermes-4.3-36B на Hugging Face совпадает с карточкой NousResearch/Hermes-4.3-36B, поэтому описание составлено по ней. Hermes 4.3 36B — языковая модель для диалогов и следования инструкциям, разработанная Nous Research на основе ByteDance-Seed/Seed-OSS-36B-Base. Это плотная архитектура Seed OSS с 31,7 млрд параметров и контекстом до 524 288 токенов; модель распространяется в формате safetensors и рассчитана прежде всего на английский язык. Модель предназначена для рассуждений и ответов общего назначения, включая задачи по математике, программированию, STEM, логике и творческому письму. Она поддерживает гибридный режим рассуждений, вызов инструментов, а также формирование структурированных ответов и JSON по заданной схеме. Для диалогов используется шаблон чата Hermes на основе формата Llama 3. По описанию разработчика, при дообучении использовался корпус примерно из 5 млн примеров и 60 млрд токенов, с акцентом на проверяемые цепочки рассуждений и точное соблюдение формата. Модель выпущена под лицензией Apache-2.0. Для запуска на сервере с несколькими GPU разработчик рекомендует движки инференса вроде SGLang или vLLM; качество и скорость зависят от настроек и аппаратного обеспечения.

Карточка модели luganoquants/Hermes-4.3-36B на Hugging Face совпадает с карточкой NousResearch/Hermes-4.3-36B, поэтому описание составлено по ней. Hermes 4.3 36B — языковая модель для диалогов и следования инструкциям, разработанная Nous Research на основе ByteDance-Seed/Seed-OSS-36B-Base. Это плотная архитектура Seed OSS с 31,7 млрд параметров и контекстом до 524 288 токенов; модель распространяется в формате safetensors и рассчитана прежде всего на английский язык. Модель предназначена для рассуждений и ответов общего назначения, включая задачи по математике, программированию, STEM, логике и творческому письму. Она поддерживает гибридный режим рассуждений, вызов инструментов, а также формирование структурированных ответов и JSON по заданной схеме. Для диалогов используется шаблон чата Hermes на основе формата Llama 3. По описанию разработчика, при дообучении использовался корпус примерно из 5 млн примеров и 60 млрд токенов, с акцентом на проверяемые цепочки рассуждений и точное соблюдение формата. Модель выпущена под лицензией Apache-2.0. Для запуска на сервере с несколькими GPU разработчик рекомендует движки инференса вроде SGLang или vLLM; качество и скорость зависят от настроек и аппаратного обеспечения.