I.11Классификация, ранжирование и сопоставление

NVIDIA подготовила FP8-квантизированную версию языковой модели Qwen3-235B-A22B, разработанной Alibaba. Это авторегрессионная разреженная трансформерная модель архитектуры Qwen3 MoE для генерации текста; в репозитории указано 18,2 млрд параметров, а базовая модель описана как крупная MoE-модель для диалогов, рассуждений, программирования, перевода и работы с инструментами. Модель принимает текст и выдаёт текст, поддерживает чат и интерфейс вызова инструментов. В метаданных указан контекст 40 960 токенов; README заявляет до 131 тыс. токенов. Модель предназначена для развёртывания в агентных системах, чат-ботах, RAG-системах и других приложениях на базе ИИ. Квантизация весов и активаций линейных операторов в блоках трансформера до FP8 снижает требования к диску и памяти GPU примерно в 1,6 раза относительно 16-битного представления. Для запуска README указывает TensorRT-LLM, Linux и графические процессоры NVIDIA Blackwell. README разрешает коммерческое и некоммерческое использование; лицензия в метаданных — Apache-2.0.

Карточка модели biohomunculus/Qwen3.8-2.4T-A95B на Hugging Face совпадает с карточкой Qwen/Qwen3.8-2.4T-A95B, поэтому описание составлено по ней. Qwen3.8-2.4T-A95B — текстовая причинная языковая модель семейства Qwen, разработанная командой Qwen. Модель предназначена для генерации текста, диалогов, программирования, профессиональных и исследовательских задач, а также многошаговой работы агентных систем с использованием обратной связи от среды и инструментов. Архитектура — MoE на основе Qwen3.5 с 2,4 трлн параметров суммарно и 95 млрд активируемых параметров. В модели 92 слоя и 512 экспертов, из которых для токена активируются 10 маршрутизируемых и один общий эксперт. Контекст составляет 262 144 токена нативно и может расширяться примерно до 1,01 млн токенов. Модель принимает только текст, работает в режиме рассуждений, который нельзя отключить, и поддерживает интерфейс вызова инструментов. Репозиторий содержит веса и конфигурацию в формате Transformers; README указывает совместимость с vLLM, SGLang и другими движками. Модель рассчитана на сложную генерацию текста, программирование, исследования и длительные задачи с планированием; глубину рассуждений можно настраивать параметром reasoning_effort. Она не поддерживает мультимодальный ввод. Лицензия обозначена как other, поэтому перед использованием следует проверить условия лицензии в репозитории Hugging Face.

Карточка модели musafa901/Qwen3.8-2.4T-A95B на Hugging Face совпадает с карточкой Qwen/Qwen3.8-2.4T-A95B, поэтому описание составлено по ней. Qwen3.8-2.4T-A95B — текстовая причинная языковая модель семейства Qwen, разработанная командой Qwen. Модель предназначена для генерации текста, диалогов, программирования, профессиональных и исследовательских задач, а также многошаговой работы агентных систем с использованием обратной связи от среды и инструментов. Архитектура — MoE на основе Qwen3.5 с 2,4 трлн параметров суммарно и 95 млрд активируемых параметров. В модели 92 слоя и 512 экспертов, из которых для токена активируются 10 маршрутизируемых и один общий эксперт. Контекст составляет 262 144 токена нативно и может расширяться примерно до 1,01 млн токенов. Модель принимает только текст, работает в режиме рассуждений, который нельзя отключить, и поддерживает интерфейс вызова инструментов. Репозиторий содержит веса и конфигурацию в формате Transformers; README указывает совместимость с vLLM, SGLang и другими движками. Модель рассчитана на сложную генерацию текста, программирование, исследования и длительные задачи с планированием; глубину рассуждений можно настраивать параметром reasoning_effort. Она не поддерживает мультимодальный ввод. Лицензия обозначена как other, поэтому перед использованием следует проверить условия лицензии в репозитории Hugging Face.

Карточка модели tanmayola/Qwen3.8-2.4T-A95B на Hugging Face совпадает с карточкой Qwen/Qwen3.8-2.4T-A95B, поэтому описание составлено по ней. Qwen3.8-2.4T-A95B — текстовая причинная языковая модель семейства Qwen, разработанная командой Qwen. Модель предназначена для генерации текста, диалогов, программирования, профессиональных и исследовательских задач, а также многошаговой работы агентных систем с использованием обратной связи от среды и инструментов. Архитектура — MoE на основе Qwen3.5 с 2,4 трлн параметров суммарно и 95 млрд активируемых параметров. В модели 92 слоя и 512 экспертов, из которых для токена активируются 10 маршрутизируемых и один общий эксперт. Контекст составляет 262 144 токена нативно и может расширяться примерно до 1,01 млн токенов. Модель принимает только текст, работает в режиме рассуждений, который нельзя отключить, и поддерживает интерфейс вызова инструментов. Репозиторий содержит веса и конфигурацию в формате Transformers; README указывает совместимость с vLLM, SGLang и другими движками. Модель рассчитана на сложную генерацию текста, программирование, исследования и длительные задачи с планированием; глубину рассуждений можно настраивать параметром reasoning_effort. Она не поддерживает мультимодальный ввод. Лицензия обозначена как other, поэтому перед использованием следует проверить условия лицензии в репозитории Hugging Face.

Step-3.7-Flash-FP8 — мультимодальная vision-language модель компании StepFun. Это разреженная архитектура Mixture-of-Experts (MoE) с 198 млрд параметров: языковая часть содержит 196 млрд параметров, а визуальный энкодер — 1,8 млрд. На каждый токен активируется около 11 млрд параметров. Модель поддерживает изображения, текст и контекст до 256 тысяч токенов, а также три уровня рассуждений: низкий, средний и высокий. В README указан английский язык, при этом в примере системного сообщения заявлена поддержка китайского, английского и многих других языков. Модель предназначена для высокочастотных производственных и агентских сценариев, объединяющих восприятие, поиск, проверку информации и рассуждение. Она подходит для анализа крупных финансовых отчётов, многошагового поиска с cross-source verification, работы с интерфейсами, wireframe, GUI и графиками, преобразования визуальных материалов в структурированный код, оркестрации внешних API и длительных рабочих процессов, а также для инженерных задач с многофайловыми репозиториями, поиска ошибок и подготовки патчей. Заявленная пропускная способность достигает 400 токенов в секунду. Сильные стороны модели — визуальное заземление и проверка данных, устойчивость к adversarial traps в многошаговой оркестрации, взаимодействие с инструментами и пригодность для высокопроизводительных coding-пайплайнов. Ограничения следует оценивать по приведённым бенчмаркам: результаты Terminal-Bench 2.1 и GDPVal-AA уступают абсолютным лидерам соответствующих сравнений. Модель доступна через StepFun Open Platform, OpenRouter и NVIDIA NIM; поддерживаются vLLM, SGLang, Hugging Face Transformers и llama.cpp. Указана лицензия Apache-2.0. Для локального запуска требуются высокопамятные системы; в README приведены устройства с объёмом unified memory не менее 128 ГБ.

Это зеркальная копия Gemma 4 E2B IT от Google DeepMind, подготовленная chibifire. Модель прошла обучение с учётом квантизации Q4_0 (QAT), а в репозитории хранятся полут точные веса в формате safetensors вместе с токенизатором, шаблоном диалога и конфигурациями обработки и генерации. Она основана на плотной архитектуре Gemma 4 и предназначена для локального вывода и дальнейшего преобразования весов. Модель принимает текстовые и мультимодальные запросы и формирует ответы в диалоговом режиме; базовая Gemma 4 E2B IT поддерживает анализ изображений и аудио наряду с текстом. Обучение QAT рассчитано на сохранение качества при последующем хранении весов в Q4_0, хотя данная копия содержит полут точные, а не квантизованные веса. Для загрузки README рекомендует Transformers. Лицензия репозитория — Apache 2.0.

google/gemma-4-E2B-it-qat-q4_0-unquantized — мультимодальная инструктивная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 E2B IT и подготовленная с использованием Quantization-Aware Training. Репозиторий содержит извлечённые из QAT-процесса веса половинной точности в формате safetensors, предназначенные для собственной компиляции и исследовательских экспериментов; это не готовый к запуску сжатый GGUF-чекпойнт. Модель принимает текст и изображения, а вариант E2B также поддерживает аудио; генерирует текст. Она предназначена для диалогов, рассуждений, программирования, понимания изображений и документов, распознавания речи и многоязычной работы. Для семейства Gemma 4 заявлены контекст до 128 тысяч токенов для малых моделей, включая E2B, гибридное локальное и глобальное внимание, вызов инструментов и поддержка более 140 языков при предобучении. К сильным сторонам относятся компактный размер семейства E2B, мультимодальный ввод и QAT-обучение, направленное на сохранение качества bf16 при снижении требований к памяти в соответствующих QAT-вариантах. Данный репозиторий содержит unquantized QAT-веса, поэтому описанное преимущество снижения памяти нельзя автоматически считать характеристикой этих файлов. Лицензия — Apache 2.0.

Карточка модели Terom/gemma-4-E2B-it-qat-q4_0-unquantized на Hugging Face совпадает с карточкой google/gemma-4-E2B-it-qat-q4_0-unquantized, поэтому описание составлено по ней. google/gemma-4-E2B-it-qat-q4_0-unquantized — мультимодальная инструктивная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 E2B IT и подготовленная с использованием Quantization-Aware Training. Репозиторий содержит извлечённые из QAT-процесса веса половинной точности в формате safetensors, предназначенные для собственной компиляции и исследовательских экспериментов; это не готовый к запуску сжатый GGUF-чекпойнт. Модель принимает текст и изображения, а вариант E2B также поддерживает аудио; генерирует текст. Она предназначена для диалогов, рассуждений, программирования, понимания изображений и документов, распознавания речи и многоязычной работы. Для семейства Gemma 4 заявлены контекст до 128 тысяч токенов для малых моделей, включая E2B, гибридное локальное и глобальное внимание, вызов инструментов и поддержка более 140 языков при предобучении. К сильным сторонам относятся компактный размер семейства E2B, мультимодальный ввод и QAT-обучение, направленное на сохранение качества bf16 при снижении требований к памяти в соответствующих QAT-вариантах. Данный репозиторий содержит unquantized QAT-веса, поэтому описанное преимущество снижения памяти нельзя автоматически считать характеристикой этих файлов. Лицензия — Apache 2.0.

AMAImedia/GLM-5.3-Flash-FP8-GGUF — GGUF-квантованная версия мультимодальной модели GLM-5.3-Flash, выпущенная AMAImedia в рамках платформы NOESIS. Оригинальная модель разработана организацией Z.ai; в README также указано, что проект связан с Tencent/Hy4-preview. Модель опубликована 19 сентября 2026 года под лицензией Apache 2.0. GLM-5.3-Flash предназначена для задач генерации текста, программирования, работы с длинным контекстом, агентных сценариев и анализа изображений. Это первая нативно мультимодальная модель серии GLM-5: она поддерживает текстовые и визуальные входные данные. Заявлены 320 млрд общих параметров и 18 млрд активных параметров, что указывает на разреженную архитектуру, ориентированную на снижение вычислительных затрат. В архитектуре используются sparse attention, linear attention и Manifold-Constrained Hyper-Connections (mHC). Точная длина контекста в README не указана. Модель поддерживает широкий набор языков, включая английский, русский, китайский, вьетнамский, японский, казахский и многие другие. К сильным сторонам относятся сочетание мультимодальности, агентных и кодовых возможностей с относительно небольшим числом активных параметров, а также возможность локального развёртывания через SGLang, vLLM, TokenSpeed и KTransformers. Ограничения включают отсутствие в README точных данных о длине контекста, производительности, требованиях к памяти и качестве работы на отдельных языках. Формат FP8-GGUF рассчитан на эффективное локальное использование, но совместимость и фактическая скорость зависят от выбранного рантайма и оборудования.

unsloth/gpt-oss-20b-bnb-4bit — 4-битная версия модели gpt-oss-20b, опубликованная Unsloth и основанная на открытой модели OpenAI. Она предназначена для генерации текста, локального и специализированного использования, сценариев с пониженной задержкой, рассуждений и агентских задач. Модель поддерживает вызов функций, веб-браузинг, выполнение кода на Python и структурированные ответы. gpt-oss-20b — разреженная MoE-модель с 21 млрд параметров, из которых при обработке активны 3,6 млрд. Она обучена в формате ответов harmony и должна использоваться с ним. Доступна настройка интенсивности рассуждений — низкая, средняя или высокая. Модель поддерживает дообучение, а 4-битное представление снижает требования к памяти; исходная модель рассчитана на работу в пределах 16 ГБ памяти. В README не указаны языки и размер контекстного окна. Полный процесс рассуждений доступен для отладки и повышения прозрачности, но не предназначен для показа конечным пользователям. Лицензия Apache 2.0 разрешает использование, модификацию и коммерческое развертывание без требований copyleft. Ограничения связаны с необходимостью корректно применять формат harmony и с тем, что README не содержит подробной оценки качества, перечня поддерживаемых языков или гарантий безопасности.

Карточка модели bernquant/Inkling на Hugging Face совпадает с карточкой thinkingmachines/Inkling, поэтому описание составлено по ней. Inkling — мультимодальная модель общего назначения от Thinking Machines. Это авторегрессионный трансформер с 66 слоями, архитектурой decoder-only и разреженным MoE-блоком: из 256 экспертов для каждого токена активируются 6, а ещё 2 общих эксперта участвуют всегда. Всего в модели 975 млрд параметров, активно используется 41 млрд. Поддерживаются форматы BF16 и NVFP4; веса опубликованы в Safetensors. Модель принимает текст, изображения и аудио, обрабатывает их в общем пространстве представлений и выдаёт текст. Она предназначена для диалогов, следования инструкциям, анализа изображений и аудио, программирования, агентных систем с использованием инструментов и RAG-приложений. Основной язык — английский; заявлены также общие многоязычные возможности. Для изображений рекомендуются размеры сторон от 40 до 4096 пикселей, для аудио — WAV с частотой 16 кГц и длительностью менее 20 минут. Модель доступна для интеграции, исследований и дообучения; лицензия — Apache-2.0. Возможны фактические ошибки, неточное следование инструкциям и ухудшение качества в длинных диалогах; качество может различаться между языками и предметными областями. Для важных решений требуется проверка человеком, а для публичных приложений README рекомендует дополнительные меры модерации.

Ministral-8B-Instruct-2410 — инструкция-дообученная плотная трансформерная языковая модель компании Mistral AI с примерно 8 млрд параметров. Она предназначена для локального и периферийного запуска, диалогов и выполнения инструкций; также поддерживает вызов функций и задачи с кодом и математическими рассуждениями. Модель обучена на многоязычных данных и данных по программированию. В карточке заявлено контекстное окно до 128 тыс. токенов с чередующимся скользящим вниманием; в vLLM контекст ограничен 32 тыс. токенов. Метаданные указывают 32 768 токенов как native context. Модель рассчитана на генерацию текста и чат на нескольких языках, включая русский, английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский и корейский. Для запуска на одном GPU требуется около 24 ГБ видеопамяти; для длинного контекста требования могут быть выше. Модель выпущена по Mistral Research License; для коммерческого использования README предлагает обратиться к Mistral AI за коммерческой лицензией.

grimjim/mistralai-Mistral-Nemo-Instruct-2407 — инструктивно дообученная языковая модель на базе Mistral Nemo, разработанной совместно Mistral AI и NVIDIA. Она предназначена для диалога, следования инструкциям, генерации текста и вызова инструментов. Модель использует плотную архитектуру Transformer семейства Mistral с 40 слоями, GQA и 12,1 млрд параметров; контекстное окно составляет 131 072 токена. Доступны веса в формате Safetensors. Модель рассчитана на многоязычные задачи, включая английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский; обучающие данные также включают код. Подходит для чат-ботов, помощников и генерации ответов по инструкциям. Выпускается по лицензии Apache 2.0. В карточке разработчика модель названа демонстрацией возможностей базовой модели; встроенных механизмов модерации нет.

ybelkada/Mixtral-8x7B-Instruct-v0.1-AWQ — это 4-битно квантованная версия Mixtral 8x7B Instruct v0.1, опубликованная пользователем ybelkada на Hugging Face. Исходную модель разработала Mistral AI. Она предназначена для генерации текста, диалоговых сценариев и выполнения инструкций; поддерживает запуск через Transformers, vLLM и SGLang. В основе лежит decoder-only Transformer с разреженной архитектурой Mixture of Experts: восемь experts примерно по 7B параметров, из которых для каждого токена выбираются два. Всего модель содержит около 47B параметров, но во время обработки токена активно используется около 13B. Контекстное окно исходной модели составляет 32K токенов. Модель обучалась на многоязычных данных и демонстрирует сильные результаты в рассуждениях, математике, генерации кода и многоязычных задачах; версия Instruct дополнительно дообучена следовать инструкциям с использованием supervised fine-tuning и Direct Preference Optimization. Ключевое преимущество этой версии — снижение требований к памяти благодаря AWQ-квантизации до 4 бит при сохранении функциональности исходной модели. Ограничения включают значительный общий объём параметров и соответствующие требования к памяти, а также возможные накладные расходы MoE-маршрутизации; эффективность зависит от совместимого программного обеспечения и GPU. Для исходной Mixtral 8x7B Instruct указана лицензия Apache 2.0, допускающая академическое и коммерческое использование; для конкретного квантованного репозитория условия следует проверять отдельно.

mlx-community/Qwen3-14B-bf16 — версия Qwen3-14B, подготовленная сообществом mlx-community для запуска через библиотеку MLX. Модель преобразована из Qwen/Qwen3-14B с помощью mlx-lm версии 0.24.0; в репозитории используются веса safetensors. Это плотная авторегрессионная языковая модель с 14 млрд параметров и контекстом до 40 960 токенов. Модель предназначена для диалогов, следования инструкциям, рассуждений, генерации кода и многоязычного текста. Интерфейс поддерживает чат и вызов инструментов. Она принимает текст и генерирует текст; отдельные языки в предоставленных метаданных не перечислены. Лицензия Apache-2.0 разрешает использование на её условиях.

Карточка модели textclf/Qwen3.5-397B-A17B-TQ-4bit на Hugging Face совпадает с карточкой Qwen/Qwen3.5-397B-A17B, поэтому описание составлено по ней. Qwen3.5-397B-A17B — мультимодальная модель семейства Qwen от Alibaba, предназначенная для диалогов, рассуждений, работы с изображениями и видео, программирования и использования инструментов. Это постобученная причинная языковая модель с визуальным энкодером, гибридной архитектурой Gated Delta Networks и разреженной Mixture-of-Experts: всего 397 млрд параметров, из которых активируются 17 млрд. В модели 60 слоёв и 512 экспертов; одновременно задействуются 10 маршрутизируемых и один общий эксперт. Модель принимает текст, изображения и видео, а её основными результатами являются текстовые ответы и вызовы инструментов. Она поддерживает 201 язык и диалект. Нативная длина контекста составляет 262 144 токена, с расширением до 1 010 000 токенов. По умолчанию включён режим рассуждений; доступны интеграции с Transformers, vLLM, SGLang и KTransformers. Модель подходит для мультимодальных помощников, анализа визуального содержимого, сложных вопросов, программирования и агентных сценариев с вызовом инструментов. Эффективность вывода и пропускная способность зависят от используемого фреймворка и его версии. Веса и конфигурации опубликованы в формате Transformers/Safetensors под лицензией Apache-2.0.

hikka2515/Qwen3.5-4B-MTP-GGUF — GGUF-версия мультимодальной модели Qwen3.5-4B, разработанной командой Qwen и подготовленной с использованием инструментов Unsloth. Модель предназначена для локального запуска и генерации текста, рассуждений, программирования, агентских сценариев, вызова инструментов и анализа изображений. Она поддерживает текстово-визуальный ввод и совместима с llama.cpp и другими средствами работы с GGUF. Модель содержит около 4 млрд параметров и использует гибридную архитектуру с Gated Delta Networks, разреженным Mixture-of-Experts и блоками gated attention. Контекст составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Поддерживается 201 язык и диалект. Версия включает обучение для multi-step speculative decoding (MTP), которое при совместимой сборке llama.cpp может ускорять генерацию примерно в 1,5–2 раза, а также улучшения поддержки роли developer и вызова инструментов. Сильные стороны модели — сочетание мультимодальности, большого контекста, компактного размера и возможности эффективного локального запуска в квантованном формате. Ограничения связаны с необходимостью специальной сборки llama.cpp для MTP; при таком режиме не поддерживаются параллельность запросов через параметр -np больше 1 и параметр --mmproj. Точные характеристики конкретного квантования UD-Q4_K_XL в README не приведены. Модель распространяется по лицензии Apache-2.0.

Карточка модели Deepdive404-3/Qwen3.8-2.4T-A95B на Hugging Face совпадает с карточкой Qwen/Qwen3.8-2.4T-A95B, поэтому описание составлено по ней. Qwen3.8-2.4T-A95B — текстовая причинная языковая модель семейства Qwen, разработанная командой Qwen. Модель предназначена для генерации текста, диалогов, программирования, профессиональных и исследовательских задач, а также многошаговой работы агентных систем с использованием обратной связи от среды и инструментов. Архитектура — MoE на основе Qwen3.5 с 2,4 трлн параметров суммарно и 95 млрд активируемых параметров. В модели 92 слоя и 512 экспертов, из которых для токена активируются 10 маршрутизируемых и один общий эксперт. Контекст составляет 262 144 токена нативно и может расширяться примерно до 1,01 млн токенов. Модель принимает только текст, работает в режиме рассуждений, который нельзя отключить, и поддерживает интерфейс вызова инструментов. Репозиторий содержит веса и конфигурацию в формате Transformers; README указывает совместимость с vLLM, SGLang и другими движками. Модель рассчитана на сложную генерацию текста, программирование, исследования и длительные задачи с планированием; глубину рассуждений можно настраивать параметром reasoning_effort. Она не поддерживает мультимодальный ввод. Лицензия обозначена как other, поэтому перед использованием следует проверить условия лицензии в репозитории Hugging Face.

Карточка модели vll1addd/Qwen3.8-2.4T-A95B на Hugging Face совпадает с карточкой Qwen/Qwen3.8-2.4T-A95B, поэтому описание составлено по ней. Qwen3.8-2.4T-A95B — текстовая причинная языковая модель семейства Qwen, разработанная командой Qwen. Модель предназначена для генерации текста, диалогов, программирования, профессиональных и исследовательских задач, а также многошаговой работы агентных систем с использованием обратной связи от среды и инструментов. Архитектура — MoE на основе Qwen3.5 с 2,4 трлн параметров суммарно и 95 млрд активируемых параметров. В модели 92 слоя и 512 экспертов, из которых для токена активируются 10 маршрутизируемых и один общий эксперт. Контекст составляет 262 144 токена нативно и может расширяться примерно до 1,01 млн токенов. Модель принимает только текст, работает в режиме рассуждений, который нельзя отключить, и поддерживает интерфейс вызова инструментов. Репозиторий содержит веса и конфигурацию в формате Transformers; README указывает совместимость с vLLM, SGLang и другими движками. Модель рассчитана на сложную генерацию текста, программирование, исследования и длительные задачи с планированием; глубину рассуждений можно настраивать параметром reasoning_effort. Она не поддерживает мультимодальный ввод. Лицензия обозначена как other, поэтому перед использованием следует проверить условия лицензии в репозитории Hugging Face.

ToBeStyled/Qwen3.8-27B-ColdFusion-GAIN-Blackwell-DFlash2-Ultra-V1.0 — мультиязычная гибридная модель на базе Qwen/Qwen3.8-27B, предназначенная для генерации текста, диалога, программирования, математических рассуждений и агентских сценариев. Она поддерживает текстовые и графические входы, распространяется в формате GGUF и рассчитана на запуск через llama.cpp с CUDA и спекулятивным декодированием DFlash2. Разработчик производной модели в README явно не указан; базовая модель относится к семейству Qwen. Модель имеет 27 млрд параметров и заявленный контекст до 262 000 токенов. Сборка оптимизирована для видеокарт NVIDIA Blackwell, в частности RTX 5090 с 32 ГБ памяти, и использует NVFP4-квантизацию весов с головой и эмбеддингами в Q8_0. В приведённых измерениях она достигла до примерно 200 токенов в секунду, обеспечила ускорение решения задач примерно в 2,4–2,5 раза относительно базовой Q4_K_M-сборки и показала 94% на HumanEval-50 и 96–98% на вариантах GSM8K. Сильные стороны модели — высокая скорость вывода, поддержка спекулятивного декодирования, большой контекст, мультимодальность и хорошие результаты на задачах программирования и математики. Ограничения связаны с зависимостью производительности от конкретного оборудования, версии llama.cpp, настроек DFlash2 и режима reasoning_effort; NVFP4 обеспечивает более высокую скорость, но несколько уступает Q4_K_M по perplexity. README также отмечает, что модель не идеальна и может ошибаться на неоднозначных задачах. Указанная лицензия — Apache 2.0.

Cogito v2 preview 405B — инструкция-донастроенная плотная языковая модель семейства Llama, разработанная Deep Cogito на базе Meta Llama 3.1 405B. Она поддерживает обычный режим ответа и режим рассуждения с самопроверкой; для включения расширенного мышления требуется соответствующая настройка шаблона чата или системная инструкция. Модель оптимизирована для программирования, STEM-задач, следования инструкциям и диалоговой помощи, а также поддерживает вызов инструментов. Модель содержит 403,7 млрд параметров, работает с текстом и имеет контекст до 131 072 токенов. По заявлению разработчиков, обучение охватывало более 30 языков. Для весов используется формат Safetensors, а запуск описан через Transformers. Модель распространяется по лицензии Llama 3.1, которая допускает коммерческое использование на её условиях.

wnfldchen/gemma-4-12B-it-qat-q4_0-unquantized-heretic — производная инструкционная мультимодальная модель на архитектуре Gemma 4 Unified, дообученная на google/gemma-4-12B-it-qat-q4_0-unquantized. В карточке описаны возможности семейства Gemma 4: гибридное внимание, анализ изображений и видео, работа с аудио для модели 12B, генерация текста и кода, рассуждения и вызов инструментов. Для этой версии заявлены форматы safetensors и лицензия Apache-2.0. Модель подходит для диалоговых помощников, разбора изображений и документов, распознавания речи и перевода аудио в текст, а также для создания и исправления кода. Семейство Gemma 4 поддерживает более 35 языков и было предварительно обучено на более чем 140 языках; для вариантов 12B заявлен контекст до 256K токенов. README описывает базовое семейство, поэтому эти сведения относятся к данной версии с учётом того, что она основана на модели 12B. Модель может ошибаться в фактах, упускать языковые нюансы и воспроизводить смещения из обучающих данных; сложные или недостаточно чётко сформулированные запросы могут ухудшать результат. Тегами версия обозначена как uncensored/abliterated, поэтому при развёртывании стоит учитывать её ориентацию на менее ограниченные ответы. Условия лицензии — Apache-2.0.

llmfan46 подготовил Gemma 4 31B IT Uncensored Heretic — дообученную версию мультимодальной Gemma 4 31B IT от Google DeepMind. В README указано изменение компонента attn.o_proj; модель предназначена для диалогов, рассуждений, агентных сценариев, программирования и понимания изображений. Она принимает текст и изображения, поддерживает вызов инструментов и может разбирать документы, графики и интерфейсы, извлекать текст с изображений и отвечать на вопросы по визуальному содержимому. В основе — плотная архитектура Gemma4ForConditionalGeneration с чередованием локального скользящего и глобального внимания. Для исходной модели Gemma 4 31B IT заявлен контекст до 256 тысяч токенов и поддержка более 35 языков; метаданные указывают Transformers и формат safetensors. README также описывает видео и аудио для семейства Gemma 4, однако аудио заявлено только для вариантов E2B и E4B, поэтому здесь эти возможности не приписываются версии 31B. Карточка предупреждает о возможных фактических ошибках, предвзятости и трудностях с неоднозначностью и сложными открытыми задачами. Название «uncensored» указывает на изменённую фильтрацию, но карточка не описывает её конкретный эффект. Лицензия — Apache-2.0.

Карточка модели OsGo/gemma-4-E2B-it-qat-q4_0-unquantized на Hugging Face совпадает с карточкой google/gemma-4-E2B-it-qat-q4_0-unquantized, поэтому описание составлено по ней. google/gemma-4-E2B-it-qat-q4_0-unquantized — мультимодальная инструктивная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 E2B IT и подготовленная с использованием Quantization-Aware Training. Репозиторий содержит извлечённые из QAT-процесса веса половинной точности в формате safetensors, предназначенные для собственной компиляции и исследовательских экспериментов; это не готовый к запуску сжатый GGUF-чекпойнт. Модель принимает текст и изображения, а вариант E2B также поддерживает аудио; генерирует текст. Она предназначена для диалогов, рассуждений, программирования, понимания изображений и документов, распознавания речи и многоязычной работы. Для семейства Gemma 4 заявлены контекст до 128 тысяч токенов для малых моделей, включая E2B, гибридное локальное и глобальное внимание, вызов инструментов и поддержка более 140 языков при предобучении. К сильным сторонам относятся компактный размер семейства E2B, мультимодальный ввод и QAT-обучение, направленное на сохранение качества bf16 при снижении требований к памяти в соответствующих QAT-вариантах. Данный репозиторий содержит unquantized QAT-веса, поэтому описанное преимущество снижения памяти нельзя автоматически считать характеристикой этих файлов. Лицензия — Apache 2.0.

Карточка модели google/gemma-4-E2B-it-qat-q4_0-unquantized-assistant на Hugging Face совпадает с карточкой google/gemma-4-E2B-it-qat-q4_0-unquantized, поэтому описание составлено по ней. google/gemma-4-E2B-it-qat-q4_0-unquantized — мультимодальная инструктивная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 E2B IT и подготовленная с использованием Quantization-Aware Training. Репозиторий содержит извлечённые из QAT-процесса веса половинной точности в формате safetensors, предназначенные для собственной компиляции и исследовательских экспериментов; это не готовый к запуску сжатый GGUF-чекпойнт. Модель принимает текст и изображения, а вариант E2B также поддерживает аудио; генерирует текст. Она предназначена для диалогов, рассуждений, программирования, понимания изображений и документов, распознавания речи и многоязычной работы. Для семейства Gemma 4 заявлены контекст до 128 тысяч токенов для малых моделей, включая E2B, гибридное локальное и глобальное внимание, вызов инструментов и поддержка более 140 языков при предобучении. К сильным сторонам относятся компактный размер семейства E2B, мультимодальный ввод и QAT-обучение, направленное на сохранение качества bf16 при снижении требований к памяти в соответствующих QAT-вариантах. Данный репозиторий содержит unquantized QAT-веса, поэтому описанное преимущество снижения памяти нельзя автоматически считать характеристикой этих файлов. Лицензия — Apache 2.0.

Карточка модели OsGo/gemma-4-E2B-it-qat-q4_0-unquantized-assistant на Hugging Face совпадает с карточкой google/gemma-4-E2B-it-qat-q4_0-unquantized, поэтому описание составлено по ней. google/gemma-4-E2B-it-qat-q4_0-unquantized — мультимодальная инструктивная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 E2B IT и подготовленная с использованием Quantization-Aware Training. Репозиторий содержит извлечённые из QAT-процесса веса половинной точности в формате safetensors, предназначенные для собственной компиляции и исследовательских экспериментов; это не готовый к запуску сжатый GGUF-чекпойнт. Модель принимает текст и изображения, а вариант E2B также поддерживает аудио; генерирует текст. Она предназначена для диалогов, рассуждений, программирования, понимания изображений и документов, распознавания речи и многоязычной работы. Для семейства Gemma 4 заявлены контекст до 128 тысяч токенов для малых моделей, включая E2B, гибридное локальное и глобальное внимание, вызов инструментов и поддержка более 140 языков при предобучении. К сильным сторонам относятся компактный размер семейства E2B, мультимодальный ввод и QAT-обучение, направленное на сохранение качества bf16 при снижении требований к памяти в соответствующих QAT-вариантах. Данный репозиторий содержит unquantized QAT-веса, поэтому описанное преимущество снижения памяти нельзя автоматически считать характеристикой этих файлов. Лицензия — Apache 2.0.

NVIDIA GLM-5.2 NVFP4 — это посттренировочно квантованная версия языковой модели ZAI GLM-5.2, подготовленная NVIDIA с помощью Model Optimizer. Модель предназначена для авторегрессионной генерации текста, рассуждений и программирования, а также для использования в AI-агентах, чат-ботах, RAG-системах и других приложениях на основе искусственного интеллекта. Модель построена на архитектуре Transformer с сетью GLM-5.2 типа GlmMoeDsaForCausalLM. Это разреженная Mixture-of-Experts-модель объёмом 753 млрд параметров, из которых активируется 40 млрд; для поддержки длинного контекста используется sparse attention с индексатором IndexShare. Она принимает и генерирует текст, поддерживает контекст до 1 млн токенов. Веса и активации линейных операторов в MoE-экспертах квантизированы в формат NVFP4, при этом общий эксперт не квантизирован. Сильными сторонами модели являются поддержка длинного контекста, задач рассуждения, научного программирования, следования инструкциям и агентского использования инструментов, а также готовность к ускоренному инференсу. Обучающие данные не раскрыты, а для самой версии Model Optimizer отдельные обучение и тестирование не выполнялись; поэтому качество следует дополнительно проверять на данных конкретного сценария. Модель ориентирована на системы с GPU NVIDIA Blackwell, Linux и движками SGLang или vLLM; заявленное тестовое оборудование — NVIDIA B200 и B300. Лицензия MIT разрешает коммерческое и некоммерческое использование.

Карточка модели crusoeai/gpt-oss-120b-BF16 на Hugging Face совпадает с карточкой unsloth/gpt-oss-120b-BF16, поэтому описание составлено по ней. unsloth/gpt-oss-120b-BF16 — вариант модели gpt-oss-120b от Unsloth, основанный на openai/gpt-oss-120b. Это генеративная языковая модель с архитектурой MoE; карточка описывает исходную gpt-oss-120b как модель на 117 млрд параметров, из которых активно 5,1 млрд, а метаданные этого репозитория указывают 2,1 млрд параметров. Модель предназначена для диалога, сложных рассуждений, агентных сценариев и задач разработчиков. Она поддерживает настройку уровня рассуждений и работу с вызовом функций, веб-поиском, выполнением Python-кода и структурированными ответами. Контекстное окно — 131 072 токена. Для корректной работы требуется формат диалога Harmony; в README также отмечено, что цепочку рассуждений не следует показывать конечным пользователям. Репозиторий содержит веса Safetensors и рассчитан на Transformers. Лицензия — Apache 2.0, допускающая коммерческое использование.

Это GGUF-модель NVIDIA Nemotron-3-Nano-30B-A3B в формате BF16, подготовленная автором репозитория с помощью llama.cpp. Исходная модель NVIDIA обучена с нуля как универсальная языковая модель для рассуждений и обычного диалога; этот вариант использует гибридную архитектуру MoE с 23 слоями Mamba-2 и MoE и 6 слоями внимания. Всего модель содержит 30 млрд параметров, из которых на каждом токене активны около 3,5 млрд; в каждом MoE-слое есть 128 экспертов и один общий эксперт, активируются шесть экспертов. Модель предназначена для ответов на вопросы, следования инструкциям, программирования, многоязычного диалога, а также создания чат-ботов, RAG-систем и агентных приложений. Режим рассуждений можно включать и отключать через шаблон чата; карточка указывает контекст до 1 млн токенов, при этом конфигурация по умолчанию рассчитана на 256 тыс. токенов. Поддерживаются английский, немецкий, испанский, французский, итальянский и японский языки. Вариант использует BF16, поэтому это не низкобитная квантизация, хотя веса представлены в GGUF и подготовлены для llama.cpp. Для запуска также перечислены Transformers, vLLM, TRT-LLM и SGLang; максимальный контекст и требования к памяти зависят от конфигурации. Модель заявлена как пригодная для коммерческого использования; метаданные репозитория указывают лицензию «other», поэтому перед применением следует проверить условия лицензии исходной модели NVIDIA.

ddalcu/Qwen3.8-Flash-Next-MLX-Serve-mixed-4-8bit — это квантованный пакет модели Qwen/Qwen3.8-Flash-Next, подготовленный для mlx-serve. Модель основана на экспериментальной архитектуре Qwen4 с разреженным вниманием, Mixture-of-Experts, GDN, n-gram embedding и встроенной MTP-головой. Пакет также содержит vision tower для обработки изображений и видео. Модель предназначена для генерации текста, включая работу с кодом, длинными контекстами, диалогами, изображениями и видео, а также для сценариев с инструментами через XML-формат вызовов Qwen3.8. Заявлен нативный контекст до 262 000 токенов. Разреженное внимание после первых 2048 токенов выбирает наиболее релевантные блоки, благодаря чему стоимость внимания не растёт линейно с длиной контекста. Механизм MTP может ускорять декодирование, особенно на коде, но включается отдельно и не используется для запросов с изображениями. Полный состав оценивается в 180B параметров: 125B основной части, 51B n-gram embedding и 4B MTP-головы. Эксперты MoE хранятся в 4-bit, большинство остальных компонентов — в 8-bit, а отдельные параметры и vision tower — в bf16. Пакет рассчитан на Mac с 128 GB памяти и занимает около 75 GB резидентной памяти без учёта KV-кэша. Ограничения mlx-serve включают обработку только одного запроса одновременно, отсутствие пакетированного декодирования и возможное замедление холодного prefill длинных запросов из-за чтения n-gram-таблицы с SSD. Модель использует лицензию qwen-community-1.0; дополнительные условия следует уточнять в файле LICENSE.