I.11Классификация, ранжирование и сопоставление

Qwen3-Next-80B-A3B-Thinking-GGUF — GGUF-квантизированное представление причинной языковой модели Qwen3-Next-80B-A3B-Thinking, разработанной командой Qwen. Модель предназначена для генерации текста и решения сложных задач, требующих многошагового рассуждения, включая математические задачи, программирование, анализ знаний, следование инструкциям и агентские сценарии. Она работает только в режиме thinking, а шаблон чата автоматически добавляет тег <think>. Модель использует гибридную архитектуру с Gated DeltaNet и Gated Attention, а также разреженную Mixture-of-Experts. Общее число параметров составляет 80 млрд, из которых на каждом токене активируется около 3 млрд; 512 экспертов, 10 активируемых экспертов и один общий эксперт. Архитектура включает 48 слоёв и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Обучение включало предварительное обучение на 15 трлн токенов и последующее дообучение. В README языки и мультимодальные возможности не указаны; по описанию это текстовая модель. Сильными сторонами являются высокая эффективность инференса за счёт разреженной MoE-архитектуры, работа с очень длинным контекстом и хорошие результаты на задачах рассуждения, программирования, мультиязычности и вызова инструментов. Модель может генерировать особенно длинные рассуждения, поэтому лучше подходит для сложных задач, чем для сценариев, требующих кратких ответов и минимальной задержки. Условия использования определяются лицензией Apache-2.0.

Spark-X2.5-4B-Base — предварительно обученная плотная языковая модель семейства Spark2.5 от разработчиков Spark-X2.5. Она содержит 3,8 млрд параметров и предназначена для генерации текста, диалогов, написания и перевода текстов, рассуждений, программирования и использования инструментов в агентных сценариях. Гибридная архитектура чередует один слой полного внимания с тремя слоями внимания в скользящем окне, что помогает снизить вычислительные затраты и расход KV-кэша при длинном контексте. Модель поддерживает контекст до 1 048 576 токенов. README заявляет поддержку более 200 языков, включая английский и китайский; метаданные также отмечают интерфейс для вызова инструментов. Веса доступны в формате Safetensors для Transformers. Модель рассчитана на применение в чат-ботах, программировании и агентных системах; совместима с несколькими аппаратными платформами и системами инференса. Лицензия — Apache-2.0. Заявленные в карточке сравнительные преимущества не сопровождаются здесь подробностями оценок; фактическое качество может зависеть от задачи и конфигурации.

Cogito v1 preview 70B — диалоговая языковая модель, разработанная Deep Cogito и дообученная на базе Meta Llama 3.1 70B. Модель содержит 69,5 млрд параметров, использует архитектуру Llama с плотной авторегрессионной сетью и предназначена для генерации текста, следования инструкциям и общения. Модель поддерживает два режима ответа: прямой и с дополнительным рассуждением, которое можно включить через системную инструкцию или параметр шаблона чата. Она ориентирована на программирование, STEM-задачи, многоязычные запросы, вызов инструментов и общую помощь; заявлена поддержка более 30 языков и контекст до 128 тыс. токенов. Модель работает с текстом на входе и выдаёт текст. По заявлению разработчика, Cogito обучалась методом Iterated Distillation and Amplification и показывает результаты выше сопоставимых по размеру моделей на стандартных отраслевых тестах. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Лицензия Llama 3.1 допускает коммерческое использование с соблюдением её условий.

Droplychee-1.0-27B — мультимодальная модель на архитектуре Qwen3.5 с 27 млрд параметров, разработанная Droplychee AI Research на основе Qwen/Qwen3.6-27B и доработанная полным supervised fine-tuning и слиянием моделей. Она поддерживает входные изображения и текст, а основное назначение по карточке Hugging Face — диалоговое понимание изображений и текста. В README также заявлены следование инструкциям, ответы на вопросы, программирование, рассуждения, перевод, суммаризация, анализ документов и агентные сценарии. Модель ориентирована на английский и бенгальский языки, а README дополнительно заявляет поддержку более чем 40 языков, включая русский; качество может различаться. README указывает контекст до 1 000 000 токенов в зависимости от среды запуска. Модель доступна в формате safetensors и совместима с Transformers. Лицензия — Apache-2.0. Возможные ограничения включают фактические ошибки, галлюцинации, предвзятость и ошибки рассуждения; важные результаты следует проверять. README не приводит независимо подтверждённых результатов бенчмарков.

Карточка модели 12B-Suite/gemma-4-12B-it-QAT-SOMPOA-heresy на Hugging Face совпадает с карточкой MuXodious/gemma-4-12B-it-QAT-SOMPOA-heresy, поэтому описание составлено по ней. MuXodious/gemma-4-12B-it-QAT-SOMPOA-heresy — дообученная версия мультимодальной инструкционной Gemma 4 12B от Google DeepMind. Автор репозитория применил к базовой модели метод abliteration с инструментом Heretic и настройками Self-Organizing Maps и Magnitude-Preserving Orthogonal Ablation; по карточке, доля отказов в указанном тесте снизилась с 522/535 до 34/535. Модель предназначена для диалога, рассуждений и генерации текста, а также для анализа изображений, видео и аудио; семейство Gemma 4 также поддерживает код и вызов инструментов. Для этой версии в карточке названы размер 12B, контекст до 256K токенов и поддержка более 140 языков. Архитектура — плотная Gemma4UnifiedForConditionalGeneration; репозиторий содержит веса safetensors. Карточка описывает её как вариант Gemma с ослабленными отказами, но не приводит отдельной оценки качества этой конкретной модификации. Базовая модель Gemma 4 QAT использует веса, подготовленные с учётом квантования, однако в этом репозитории указан вариант unquantized Q4_0, а формат файлов — safetensors. Лицензия — Apache-2.0.

unsloth/gemma-4-31B-it-qat-GGUF — инструкцияно дообученная мультимодальная модель из семейства Gemma 4, разработанного Google DeepMind и подготовленная в GGUF-формате компанией Unsloth. Модель принимает текст и изображения и генерирует текст; её назначение включает генерацию текста, программирование, рассуждения и работу с мультимодальными запросами. Модель основана на Gemma 4 31B и использует Quantization-Aware Training (QAT) с квантизацией Q4_0, что снижает требования к памяти при сохранении качества, близкого к bfloat16. Доступна в формате GGUF для совместимого локального и серверного развёртывания, включая llama.cpp. Для ускорения генерации в поставку входит Multi-Token Prediction drafter, поддерживающий speculative decoding без изменения итогового результата. Семейство Gemma 4 поддерживает контекст до 256K токенов и более 140 языков; конкретная языковая специализация этой версии отдельно не указана. Сильные стороны модели — сочетание инструкционного режима, мультимодальности, расширенного контекста и сниженных требований к памяти благодаря QAT. Ограничения связаны с тем, что квантизированная версия может требовать совместимого программного обеспечения и аппаратных ресурсов для эффективной работы, а точные характеристики архитектуры 31B и перечень поддерживаемых языков для этого репозитория не раскрыты. Модель распространяется по лицензии Apache 2.0 с дополнительными условиями лицензии Gemma 4.

Albert0919c/gemma-4-E2B-it — дообученная инструктивная версия Gemma 4 E2B от Google DeepMind. Это плотная мультимодальная модель класса Gemma4 для диалогов, рассуждений, генерации и редактирования кода, а также понимания изображений и аудио. Она принимает текст и изображения; для варианта E2B поддерживаются распознавание речи и преобразование речи в переведённый текст. Модель выдаёт текст и подходит для локального запуска на мобильных устройствах и ноутбуках. Семейство Gemma 4 использует гибридное внимание с локальными скользящими окнами и глобальными слоями; для малых вариантов заявлено контекстное окно до 128 тысяч токенов. Поддерживаются многочисленные языки: семейство обучено более чем на 140 языках, а для практических сценариев README заявляет поддержку более 35. Возможности включают ответы на вопросы по изображениям, OCR, разбор документов, видеоанализ по кадрам и вызов инструментов. Репозиторий распространяется в формате Safetensors под лицензией Apache 2.0. Характеристики и возможности описаны для семейства Gemma 4; конкретные результаты этой дообученной версии отдельно не приведены. Как и другие генеративные модели, она может ошибаться в распознавании содержимого и ответах; видеоанализ относится к обработке последовательностей кадров.

Карточка модели ckcegg/gemma-4-E2B-it-qat-q4_0-unquantized-assistant на Hugging Face совпадает с карточкой google/gemma-4-E2B-it-qat-q4_0-unquantized, поэтому описание составлено по ней. google/gemma-4-E2B-it-qat-q4_0-unquantized — мультимодальная инструктивная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 E2B IT и подготовленная с использованием Quantization-Aware Training. Репозиторий содержит извлечённые из QAT-процесса веса половинной точности в формате safetensors, предназначенные для собственной компиляции и исследовательских экспериментов; это не готовый к запуску сжатый GGUF-чекпойнт. Модель принимает текст и изображения, а вариант E2B также поддерживает аудио; генерирует текст. Она предназначена для диалогов, рассуждений, программирования, понимания изображений и документов, распознавания речи и многоязычной работы. Для семейства Gemma 4 заявлены контекст до 128 тысяч токенов для малых моделей, включая E2B, гибридное локальное и глобальное внимание, вызов инструментов и поддержка более 140 языков при предобучении. К сильным сторонам относятся компактный размер семейства E2B, мультимодальный ввод и QAT-обучение, направленное на сохранение качества bf16 при снижении требований к памяти в соответствующих QAT-вариантах. Данный репозиторий содержит unquantized QAT-веса, поэтому описанное преимущество снижения памяти нельзя автоматически считать характеристикой этих файлов. Лицензия — Apache 2.0.

MuXodious выпустил дообученную модель Gemma 4 E4B Instruct, созданную с помощью Heretic v1.2.0 и методов abliteration. По карточке, исходная модель Google DeepMind — плотная мультимодальная Gemma 4 E4B Instruct; модель принимает текст и изображения, а семейство поддерживает также аудио на вариантах E2B и E4B. Для Gemma 4 E4B указано контекстное окно 128K токенов. Дообучение нацелено на снижение отказов: в приведённом тесте осталось 12 отказов из 416 запросов, при 414 отказах у исходной модели. Модель подходит для диалога и генерации текста, анализа изображений и документов, программирования и рассуждений. Карточка не приводит отдельного описания датасета или подробной оценки качества этой производной модели; её результаты могут отличаться от исходной Gemma 4. Репозиторий распространяется под лицензией Apache-2.0.

Карточка модели Cup3/gemma-4-E4B-it-uncensored-heretic на Hugging Face совпадает с карточкой llmfan46/gemma-4-E4B-it-uncensored-heretic, поэтому описание составлено по ней. llmfan46/gemma-4-E4B-it-uncensored-heretic — производная модель на основе Google Gemma 4 E4B Instruct, опубликованная независимым автором. Это плотная мультимодальная модель для диалога и генерации текста, понимания изображений и аудио, рассуждений, программирования и вызова инструментов. В карточке заявлены гибридное внимание с локальными скользящими окнами и глобальными слоями, а для базовой модели E4B — контекст до 128 тысяч токенов и поддержка более 35 языков. Модель подходит для чат-ботов, суммаризации и создания текстов, извлечения данных из изображений и документов, распознавания речи и голосовых сценариев. В названии и тегах указано uncensored/abliterated, однако README не описывает конкретные изменения и не приводит отдельные оценки качества именно этой производной версии. Возможны фактические ошибки, смещения и трудности с неоднозначными или сложными запросами. Лицензия — Apache-2.0.

Qwen3-30B-A3B-Thinking-2507 — причинная языковая модель семейства Qwen3 от команды Qwen. Это модель типа Mixture of Experts с 30,5 млрд параметров, из которых при генерации активируются около 3,3 млрд; в архитектуре 128 экспертов, одновременно используются 8. Она предназначена для диалогов и сложных задач рассуждения, включая математику, науку, программирование, следование инструкциям и работу с инструментами. Модель поддерживает только режим рассуждения и имеет нативное контекстное окно 262 144 токена. В README отмечены улучшения в глубине рассуждений, общих возможностях и обработке длинного контекста. Модель принимает текст и генерирует текст; сведения о поддерживаемых естественных языках в предоставленных данных отсутствуют. Модель распространяется под лицензией Apache-2.0. Длинные рассуждения могут приводить к большому объёму вывода, а для высоких нагрузок на контекст требуются значительные вычислительные ресурсы; README рекомендует актуальную версию Transformers и описывает запуск через vLLM или SGLang.

Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-Final-NVFP4-GGUF — это квантизированная в формате GGUF версия модели на базе Qwen3.6, созданной Alibaba Group, с доработками LuffyTheFox и квантизацией NVFP4 от jan1k. Модель также включает Hermes-файнтюнинг для диалогов, генерации текста, программирования, агентских сценариев и function calling. Указана поддержка английского, китайского и других языков, а также мультимодального ввода изображений через отдельный vision-проектор. Архитектура представляет собой Mixture of Experts: около 35 млрд общих параметров и примерно 3 млрд активных параметров на токен, с восемью маршрутизируемыми экспертами и одним общим. NVFP4 — 4-битный формат с плавающей точкой, оптимизированный для GPU NVIDIA архитектур Ada Lovelace, Blackwell и Ampere. Рекомендуется использовать файл версии v4 с inline scales; он совместим с llama.cpp, LM Studio и Pelican. Для работы с изображениями требуется отдельный проектор F16 размером около 899 МБ. Размер рекомендуемого файла модели составляет около 20 ГБ. Сильными сторонами являются MoE-архитектура с относительно небольшим числом активных параметров, поддержка мультимодальных и агентских задач, function calling и формат NVFP4, снижающий требования к памяти по сравнению с полноразмерной моделью. Ограничения включают зависимость от совместимого NVIDIA-оборудования и корректно поддерживающего NVFP4 рантайма, необходимость отдельного vision-проектора для изображений и отсутствие в предоставленных данных сведений о максимальной длине контекста и результатах независимого тестирования. Модель распространяется по лицензии Apache-2.0.

PassingByPixels/Qwen3.8-27B-NVFP4 — это квантованная версия мультимодальной модели Qwen3.8-27B, разработанной Qwen и преобразованной в формат NVFP4 с помощью NVIDIA TensorRT Model Optimizer 0.45.0. Модель предназначена для генерации и понимания текста, анализа изображений и видео, программирования, профессиональных и исследовательских задач, а также многошаговых агентских сценариев. Квантование не включало обучение или дообучение и представляет собой lossy-преобразование исходных весов bf16. Модель содержит около 27 млрд параметров и использует архитектуру causal language model с vision encoder. Она включает 64 слоя, механизм Gated DeltaNet с линейным вниманием, Gated Attention, MTP и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 000 000 токенов посредством RoPE scaling, например YaRN. Поддерживаемый язык в карточке указан как английский. Ключевая часть параметров представлена в 4-битном формате NVFP4 с блочными масштабами, а vision tower, эмбеддинги, LM head, MTP head и Gated DeltaNet сохранены в более высокой точности bf16. Основное преимущество — существенно меньшее потребление памяти и возможность запуска на одном устройстве DGX Spark с 128 ГБ памяти через vLLM и Blackwell FP4 path. При этом README не содержит оценки качества квантованной версии по сравнению с исходной bf16-моделью, поэтому возможное снижение точности следует учитывать. Лицензия — Apache-2.0.

Spark-X2.5-1.7B — компактная языковая модель общего назначения от разработчиков семейства Spark-X2.5. Это постобученная версия базовой модели XHToken/Spark-X2.5-1.7B-Base с плотной архитектурой Spark2_5ForCausalLM; веса доступны в формате Safetensors и рассчитаны на работу через Transformers. Архитектура сочетает полное внимание с окнами скользящего внимания, а заявленная длина контекста составляет до 1 048 576 токенов. Модель предназначена для диалогов, письма, перевода, рассуждений, программирования, вызова инструментов и агентных сценариев. Разработчики заявляют поддержку более 200 языков и обучение примерно на 20 триллионах токенов; карточка приводит результаты сравнительных тестов, но не сами значения таблицы. Модель совместима с несколькими аппаратными платформами и средствами инференса, включая SGLang и vLLM. Модель может подойти для локальных ассистентов, анализа длинных контекстов и агентных рабочих процессов. Большое окно контекста требует достаточной памяти устройства, а при ограниченных ресурсах его рекомендуется уменьшить. Лицензия — Apache-2.0.

Synthia-4-27B — мультимодальная диалоговая модель и персональный ИИ-ассистент, созданный Migtissera на основе Qwen/Qwen3.8-27B. Это плотная модель с 27 млрд параметров, дообученная на длинных агентных сессиях: обучение охватывало ответы ассистента и вызовы инструментов. Она рассчитана на продолжительные диалоги, работу с инструментами и многошаговые задачи — от планирования, исследований и творческой работы до программирования, отладки и анализа изображений. Поддерживает ввод изображений и видео, контекстное окно до 262 144 токенов и многошаговое предсказание токенов (MTP); дообучение проводилось на последовательностях длиной до 65 536 токенов. Для неё заявлены сохранение контекста и устойчивого стиля в длинных сессиях, а также переход между беседой и выполнением задач. Эти качества проверялись в агентной среде, но постоянную память между сессиями должен предоставлять хост-runtime. Опубликован объединённый чекпойнт BF16 в формате Safetensors для Transformers; лицензия — Apache-2.0.

AFM-4.5B — инструкционная языковая модель Arcee.ai для диалогов и генерации текста. Это плотный decoder-only трансформер с архитектурой ArceeForCausalLM; в карточке указано 4,5 млрд параметров, а в метаданных — 6 млрд. Модель дообучена на основе arcee-ai/AFM-4.5B-Base с supervised fine-tuning и последующим обучением с подкреплением по проверяемым результатам и предпочтениям людей. Модель предназначена для генерации ответов и выполнения инструкций в различных средах развёртывания — от облака до периферийных устройств. Обучение включало данные для математических рассуждений и генерации кода. Среди архитектурных особенностей — grouped-query attention и активации ReLU²; поддерживаются диалоговый режим и контекст до 65 536 токенов. Указаны языки: английский, испанский, французский, немецкий, итальянский, португальский, русский, арабский, хинди, корейский и китайский. Модель распространяется под лицензией Apache 2.0. Карточка приводит оговорку о вариативности результатов на бенчмарках и рекомендуемые параметры генерации, но не описывает подробно конкретные слабые стороны модели.

A.X K1 — большая языковая модель SKT, обученная с нуля без инициализации от существующей предварительно обученной модели. Это декодерный Transformer с разреженной архитектурой Mixture-of-Experts: в README указано 519 млрд параметров всего, из которых активны 33 млрд на токен; метаданные Hugging Face сообщают 37,9 млрд параметров. Архитектура включает 192 эксперта и один общий эксперт, механизм Multi-Latent Attention и контекст длиной 131 072 токена. Модель предназначена для диалоговой генерации текста, следования инструкциям и рассуждений. Режим Think позволяет получать развёрнутые ответы с промежуточными шагами, а Non-Think — более краткие ответы с меньшей задержкой. Токенизатор оптимизирован для английского, корейского, китайского, японского и испанского языков, а также исходного кода и структурированного текста. Метаданные карточки подтверждают английский и корейский; модель опубликована в формате safetensors и поддерживает чат. Модель подходит для задач, требующих высокой ёмкости и работы с длинным контекстом; разреженная архитектура рассчитана на более эффективное использование вычислений, чем плотная модель сопоставимой общей ёмкости. README предупреждает, что ответы могут быть неверными или вводящими в заблуждение, объяснения в режиме Think не следует считать достоверным отражением внутренних процессов модели, а качество может различаться по предметным областям и языкам. Лицензия — Apache-2.0.

Карточка модели ApocalypseParty/G4-31B-SFT-v5-2-seed1337 на Hugging Face совпадает с карточкой ApocalypseParty/G4-31B-SFT-v6-2, поэтому описание составлено по ней. ApocalypseParty/G4-31B-SFT-v6-2 — дообученная версия мультимодальной Gemma 4 31B от Google DeepMind. Модель принимает текст и изображения и генерирует текст; её можно использовать для диалога, рассуждений, программирования и анализа визуальных данных, включая распознавание текста в документах, понимание диаграмм и интерфейсов. Поддерживаются вызовы инструментов и длинные контексты; для семейства Gemma 4 31B заявлено до 256K токенов. Gemma 4 обучена работать со многими языками, однако конкретные языки и настройки этого дообучения не описаны. Репозиторий содержит веса Safetensors и использует лицензию Apache 2.0. Карточка не приводит отдельных оценок качества или ограничений именно этой версии.

Карточка модели ApocalypseParty/G4-31B-SFT-v6-1 на Hugging Face совпадает с карточкой ApocalypseParty/G4-31B-SFT-v6-2, поэтому описание составлено по ней. ApocalypseParty/G4-31B-SFT-v6-2 — дообученная версия мультимодальной Gemma 4 31B от Google DeepMind. Модель принимает текст и изображения и генерирует текст; её можно использовать для диалога, рассуждений, программирования и анализа визуальных данных, включая распознавание текста в документах, понимание диаграмм и интерфейсов. Поддерживаются вызовы инструментов и длинные контексты; для семейства Gemma 4 31B заявлено до 256K токенов. Gemma 4 обучена работать со многими языками, однако конкретные языки и настройки этого дообучения не описаны. Репозиторий содержит веса Safetensors и использует лицензию Apache 2.0. Карточка не приводит отдельных оценок качества или ограничений именно этой версии.

MuXodious/gemma-4-12B-it-QAT-SOMPOA-heresy — дообученная версия мультимодальной инструкционной Gemma 4 12B от Google DeepMind. Автор репозитория применил к базовой модели метод abliteration с инструментом Heretic и настройками Self-Organizing Maps и Magnitude-Preserving Orthogonal Ablation; по карточке, доля отказов в указанном тесте снизилась с 522/535 до 34/535. Модель предназначена для диалога, рассуждений и генерации текста, а также для анализа изображений, видео и аудио; семейство Gemma 4 также поддерживает код и вызов инструментов. Для этой версии в карточке названы размер 12B, контекст до 256K токенов и поддержка более 140 языков. Архитектура — плотная Gemma4UnifiedForConditionalGeneration; репозиторий содержит веса safetensors. Карточка описывает её как вариант Gemma с ослабленными отказами, но не приводит отдельной оценки качества этой конкретной модификации. Базовая модель Gemma 4 QAT использует веса, подготовленные с учётом квантования, однако в этом репозитории указан вариант unquantized Q4_0, а формат файлов — safetensors. Лицензия — Apache-2.0.

coder3101/gemma-4-26B-A4B-it-heretic — мультимодальная диалоговая модель на базе Google Gemma 4 26B A4B IT, дообученная автором репозитория. Она принимает текст и изображения и генерирует текст; подходит для диалогов, рассуждений, программирования, анализа изображений и агентных сценариев с вызовом инструментов. По карточке базовой модели Gemma 4 поддерживает распознавание объектов, чтение документов и экранов, OCR, анализ диаграмм и последовательностей видеокадров. Для этой версии доступны веса SafeTensors и библиотека Transformers; контекст базовой модели составляет до 256 тысяч токенов. Модель обозначена как uncensored/decensored/abliterated. Эти метки указывают на изменение поведения относительно базовой модели, но карточка не описывает методику или объём изменений и не приводит отдельную оценку качества. Поддержка аудио заявлена только для вариантов Gemma 4 E2B и E4B, поэтому её не следует приписывать этой версии. Возможны ошибки в фактах, трудности с нюансами языка и сложными открытыми задачами, а также смещения из обучающих данных. Лицензия — Apache-2.0.

K-EXAONE-2.0-750B-A37B-DSpark — мультиязычная языковая модель общего назначения от LG AI Research. Это модель с архитектурой Mixture of Experts семейства EXAONE, предназначенная для генерации текста и диалогового взаимодействия. По метаданным, модель содержит 34,1 млрд параметров и поддерживает контекст до 262 144 токенов. Модель рассчитана на рассуждения, агентные сценарии, работу с кодом и поиск информации в длинном контексте. Она поддерживает корейский, английский, испанский, немецкий, японский, вьетнамский, французский, итальянский, польский и португальский языки. Для ускорения генерации README описывает speculative decoding методами MTP и DSpark; заявлено ускорение примерно в 3–5 раз. Для запуска приведены конфигурации SGLang и vLLM на двух узлах с 16 GPU NVIDIA H200, поэтому использование требует значительных вычислительных ресурсов. Модель выпущена под лицензией Apache 2.0. Она может выдавать ошибочные, устаревшие, предвзятые или неподходящие ответы; актуальность сведений не гарантируется. README также отмечает проблему генерации на NVIDIA B200 с рекомендацией отключить prefill CUDA graph до исправления.

unsloth/Kimi-K2-Thinking-BF16 — публикация модели Kimi K2 Thinking в формате BF16, размещённая Unsloth и основанная на moonshotai/Kimi-K2-Thinking. Это текстовая разговорная модель с архитектурой DeepSeek V3; карточка описывает исходную Kimi K2 Thinking как модель с архитектурой Mixture-of-Experts, примерно 1 трлн параметров и 32 млрд активируемых параметров. В метаданных данной публикации указано 37,9 млрд параметров. Модель предназначена для сложных рассуждений, работы с инструментами, исследований, программирования и написания текстов. Заявлены контекст до 256 тыс. токенов и способность поддерживать длинные последовательности вызовов инструментов; результаты тестов в README получены с поиском, браузером и интерпретатором кода там, где указано использование инструментов. Это текстовая модель, а не модель для обработки изображений или аудио. Метаданные указывают лицензию «other», поэтому конкретные условия использования следует сверять с лицензией и уведомлениями в репозитории. README описывает INT4-квантизацию исходной Kimi K2 Thinking, однако эта публикация заявлена как BF16, а в метаданных указан формат safetensors; результаты и характеристики исходной версии не следует автоматически переносить на эту публикацию.

unsloth/Llama-3.1-8B-unsloth-bnb-4bit — это 4-битная версия языковой модели Llama 3.1 с 8 млрд параметров, подготовленная Unsloth на основе базовой модели Meta Llama 3.1 8B. Модель работает с текстом на входе и генерирует многоязычный текст и программный код. Архитектура — авторегрессионный Transformer с поддержкой Grouped-Query Attention (GQA), контекстное окно — до 128 тысяч токенов. Модель обучена на смеси общедоступных онлайн-данных; дата отсечения знаний — декабрь 2023 года. В README явно указан английский язык, при этом семейство Llama 3.1 описано как многоязычное. Модель предназначена для генерации текста и кода, диалоговых сценариев, дообучения под прикладные задачи и запуска в условиях ограниченных вычислительных ресурсов. 4-битное представление снижает требования к памяти по сравнению с полноразмерной версией и подходит для локального инференса и последующего fine-tuning, однако может сопровождаться компромиссами по точности и качеству генерации. README не содержит детальных результатов бенчмарков или характеристик аппаратных требований. Использование регулируется лицензией Llama 3.1; дополнительных условий для версии Unsloth в README не указано.

Это FP8-квантизированная версия инструкционной модели Mistral-Large-Instruct-2407, подготовленная Alpindale на основе Mistral AI. Модель относится к плотной архитектуре MistralForCausalLM и содержит 122,2 млрд параметров; веса, активации и KV-кэш представлены в FP8. Репозиторий содержит веса в формате safetensors. Модель предназначена для диалоговой генерации текста и запуска через vLLM или Aphrodite Engine. Контекстное окно составляет до 131 072 токенов. Метаданные указывают поддержку английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков, а также интерфейс для вызова инструментов. Квантизация уменьшает требования к памяти и вычислениям по сравнению с полной точностью, сохраняя возможности базовой инструкционной модели для диалога, рассуждений и программирования. FP8 требует совместимого оборудования и программного стека; квантизация может повлиять на точность. Лицензия указана как other, поэтому перед использованием следует проверить условия в карточке модели и лицензии базовой модели.

Motif-3-NVFP4 — это NVFP4-квантизированный вариант большой авторегрессионной языковой модели Motif 3, разработанной компанией Motif Technologies. Модель предназначена для генерации текста общего назначения, мультиязычных задач, программирования, математического рассуждения, работы с длинными контекстами и агентных сценариев с использованием инструментов. Указанные языки — английский и корейский. Модель построена на декодерной архитектуре Mixture-of-Experts с примерно 314 млрд параметров, из которых около 13,2 млрд активируются для каждого токена. Она содержит 53 слоя, включая 2 плотных и 51 MoE-слой, 384 маршрутизируемых эксперта с выбором 8 экспертов на токен и одного общего эксперта. Используются Grouped Differential Latent Attention, модифицированные manifold-constrained hyper-connections, Expert-Specific PolyNorm и Multi-Token Prediction для self-speculative decoding. Нативная длина контекста составляет 262 144 токена, размер словаря — 220 160. Квантизация NVFP4 уменьшает требования к памяти и ориентирована на эффективное развертывание на GPU класса NVIDIA Blackwell. Сильными сторонами модели заявлены работа с длинным контекстом, агентное и инструментальное взаимодействие, а также конкурентные результаты в задачах программирования, математики и общих знаний. По приведённым тестам, NVFP4-версия в среднем почти не уступает варианту Block-FP8 по точности, однако фактическая производительность может зависеть от оборудования и настроек инференса. Ограничения включают высокую общую ёмкость модели, необходимость совместимого NVFP4-оборудования и отсутствие в этой карточке полного описания базовой модели и подробностей оценки. Модель распространяется по лицензии MIT.

Phi-3-medium-128k-instruct-GGUF — квантизированная версия инструкционной языковой модели Phi-3-medium-128k-instruct, разработанной Microsoft и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, работу с длинными документами и программным кодом. В README указана поддержка multilingual, однако конкретный перечень языков не приведён. Архитектура и точное число параметров не указаны; модель относится к типу phi-msft и поддерживает контекст до 128 000 токенов. Доступны варианты квантизации от Q2_K до Q8_0, а также f16, размером примерно от 5,14 до 27,9 ГБ. Варианты с более сильной квантизацией требуют меньше памяти, но могут заметно терять в качестве; Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые для баланса между размером и качеством. Модель рассчитана на запуск через совместимые инструменты, включая LlamaEdge, с использованием шаблона phi-3-chat. Лицензия — MIT; дополнительные ограничения или сведения о мультимодальности в README не указаны.

unsloth/Qwen3.6-35B-A3B-UD-MLX-4bit — 4-битная MLX-версия открытой мультимодальной модели Qwen3.6-35B-A3B. Модель разработана командой Qwen, а данная адаптация опубликована Unsloth. Это авторегрессионная языковая модель с vision encoder, предназначенная для генерации текста, анализа изображений, программирования и агентных сценариев. Модель имеет 35 млрд параметров, из которых 3 млрд активируются при обработке запроса. Архитектура сочетает Mixture of Experts с 256 экспертами, Gated DeltaNet и Gated Attention; содержит 40 слоёв и скрытое измерение 2048. Нативная длина контекста составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Поддерживаются текстовая и визуальная модальности, однако конкретный набор языков в README не указан. К сильным сторонам относятся улучшенная работа с кодированием, репозиториями и frontend-задачами, поддержка сохранения контекста рассуждений между сообщениями и улучшенный вызов инструментов, включая вложенные объекты. 4-битное представление снижает требования к памяти и подходит для запуска через MLX, но может уступать полноразмерным вариантам по точности, а производительность зависит от совместимого оборудования и программного окружения. Модель распространяется по лицензии Apache-2.0.

TelperionAI/Qwen3.8-27B-NVFP4-AWQ-GPTQ — это квантованная версия базовой модели Qwen/Qwen3.8-27B, опубликованная под лицензией Apache-2.0. Модель предназначена для запуска большой языковой модели с меньшими требованиями к памяти, прежде всего в задачах генерации и обработки текста, включая программирование, математику, STEM, диалоги и многоязычные сценарии. В README также указана поддержка speculative decoding через MTP и возможность FP8-квантизации KV-кэша. Модель использует смешанную точность: основные MLP-слои квантованы в NVFP4 с группами размера 16 и FP8-масштабами, часть MLP-слоёв, attention- и GDN-модули работают в динамическом FP8, а эмбеддинги, lm_head, нормализации, параметры состояния GDN, MTP-голова и vision tower сохранены в BF16. Квантизация выполнена методом AWQ с последующим GPTQ и калибровкой на сбалансированном наборе данных из кода, математики, STEM, диалогов и многоязычных текстов. Размер чекпойнта составляет около 24,7 ГБ. По приведённому сравнению модель точнее других рассмотренных NVFP4-чекпойнтов и заметно компактнее FP8-версии, сохраняя высокую скорость инференса. AWQ повышает устойчивость к потере качества без увеличения размера или снижения пропускной способности. Ограничения включают необходимость Blackwell-класса GPU, совместимый vLLM с compressed-tensors и то, что оценка проводилась только на одном внутреннем корпусе; качество vision tower отдельно не оценивалось. Acceptance rate для MTP не измерялся.

IsValorum Qwen3.8-35B-A3B-Distill-MTP-APEX-I-MiniPlus-V2.1-Abliterated-GGUF — это GGUF-квантизированная версия модели empero-ai/Qwen3.8-35B-A3B-Distill, предназначенная для генерации текста, рассуждений, программирования и локального запуска через llama.cpp и совместимые инструменты. Модель относится к разреженной архитектуре Mixture-of-Experts и содержит 40 слоёв и 256 микроэкспертов. Заявлена поддержка контекста до 256K токенов, а также английского, китайского, испанского, французского, немецкого, португальского, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Это аблитерированная версия без стандартных ограничителей отказа, ориентированная на сценарии, где требуется минимизация отказов при задачах по безопасности систем, пентестингу и анализу соответствия требованиям. Вариант APEX-I-MiniPlus V2.1 использует настраиваемое покомпонентное квантование: маршрутизаторы gate_inp сохранены в F32, выходная голова — в Q6_K, attention gates — в Q8_0, а основные экспертные тензоры — преимущественно в IQ3_XXS. Размер модели составляет примерно 13,74 GiB, заявлены отсутствие существенных задержек AVX2 и поддержка ускоренного speculative execution с отдельной Q8_0 MTP-компонентой. К сильным сторонам относятся компактный размер для MoE-модели, сохранение маршрутизации экспертов в F32, высокая заявленная близость к качеству Q5–Q6-квантов и широкий языковой охват. Ограничение унаследовано от исходной BF16 Distill-модели: при очень длинных ответах возможны повторения, в том числе после блока рассуждений; это не связывается с квантованием. Релиз распространяется по лицензии Apache-2.0.