I.11Классификация, ранжирование и сопоставление

stelterlab/phi-4-AWQ — это 4-битно-квантизированная версия модели phi-4, разработанной Microsoft Research. Квантизация выполнена stelterlab в формате INT4 GEMM с использованием AutoAWQ. Базовая модель представляет собой плотный decoder-only Transformer с 14 млрд параметров, обученный на синтетических и отфильтрованных общедоступных данных, академических книгах, наборах вопросов и ответов, образовательных материалах и коде. Модель ориентирована преимущественно на английский язык; около 8% обучающих данных являются многоязычными. Модель предназначена для генерации текста по текстовым запросам, прежде всего в чат-формате, и может использоваться как основа генеративных AI-функций, в том числе в условиях ограниченных ресурсов и требований к низкой задержке. Среди ключевых сценариев — рассуждение, логика, математика, программирование, ответы на вопросы, диалог и выполнение инструкций. Контекстное окно составляет 16 000 токенов, а выходом является сгенерированный текст. Обучение включало supervised fine-tuning и direct preference optimization для повышения точности следования инструкциям и безопасности. К преимуществам относятся относительно компактный для своих возможностей размер, акцент на рассуждениях, математике, коде и следовании инструкциям, а также снижение требований к памяти благодаря INT4-квантизации. Ограничения включают преимущественную ориентацию на английский язык, статичность модели и отсечение общедоступных данных на июнь 2024 года; перед применением в чувствительных или высокорисковых сценариях необходимы проверка точности, безопасности и справедливости результатов. Модель распространяется по лицензии MIT.

Qwen1.5-72B-Chat-GGUF — квантованный вариант чат-модели Qwen1.5, разработанной командой Qwen. Это авторегрессионная языковая модель на основе архитектуры Transformer decoder-only, предназначенная для ведения диалогов и генерации текста. Модель подходит для чат-ботов, ответов на вопросы, обработки инструкций и других сценариев текстовой генерации. Модель содержит 72 миллиарда параметров и поддерживает контекст длиной до 32K токенов. Она работает с текстом и обучена для многоязычных сценариев, включая естественные языки и программный код; в метаданных README явно указан английский язык. После предварительного обучения модель прошла supervised fine-tuning и direct preference optimization, что направлено на улучшение качества диалогов и соответствия человеческим предпочтениям. Архитектура включает SwiGLU и attention с QKV bias; для beta-версии заявлено отсутствие GQA и сочетания sliding window attention с full attention, кроме отдельных вариантов. Репозиторий предоставляет GGUF-квантизации q2_k, q3_k_m, q4_0, q4_k_m, q5_0, q5_k_m, q6_k и q8_0, позволяющие выбирать компромисс между качеством, размером файлов и требованиями к ресурсам. Сильными сторонами являются большой размер, контекст 32K и поддержка локального запуска через llama.cpp. Ограничения включают высокие требования к памяти и вычислительным ресурсам для 72B-модели, а также возможные потери качества при более агрессивной квантизации. Лицензия указана как other, с названием tongyi-qianwen; подробные условия доступны по ссылке на LICENSE.

QuantFactory/Qwen3-1.7B-GGUF — квантизированная версия языковой модели Qwen3-1.7B, созданная QuantFactory с использованием llama.cpp на основе базовой модели Qwen/Qwen3-1.7B от команды Qwen. Это причинная языковая модель для генерации текста, диалогов, следования инструкциям, математических и логических задач, программирования, творческого письма, ролевого общения, перевода и сценариев с использованием внешних инструментов. Модель содержит 1,7 млрд параметров, из которых 1,4 млрд не относятся к embedding-слою, и включает 28 слоёв. Используется grouped-query attention: 16 голов для Q и 8 для KV. Максимальная длина контекста — 32 768 токенов. Qwen3 поддерживает более 100 языков и диалектов, а также мультиязычное следование инструкциям и перевод. В одной модели доступны режимы с рассуждением и без него: первый ориентирован на сложные задачи, математику и код, второй — на более быстрый диалог и универсальную генерацию. Формат GGUF и квантизация предназначены для более эффективного локального запуска с инструментами и приложениями, совместимыми с llama.cpp, включая Ollama и LM Studio; конкретный уровень квантизации в карточке не указан. Ограничениями являются отсутствие сведений о точном варианте квантизации, требованиях к аппаратному обеспечению и результатах бенчмарков, а также возможное появление повторов при неподходящих параметрах генерации. Модель распространяется по лицензии Apache-2.0.

Qwen/Qwen3-1.7B-MLX-bf16 — языковая модель семейства Qwen3, представленная в формате MLX и весах BF16. По метаданным, это производная Qwen/Qwen3-1.7B-Base; модель плотная, с архитектурой Qwen3ForCausalLM и 1,7 млрд параметров. Она предназначена для генерации текста и диалогов, выполнения инструкций, рассуждений, математических и программных задач, а также интеграции с инструментами. Модель переключается между режимом рассуждений и обычным режимом диалога. README указывает поддержку более 100 языков и диалектов, а метаданные задают контекст до 40 960 токенов. Разработчик рекомендует MLX для запуска; веса опубликованы в формате safetensors. Лицензия Apache-2.0 разрешает свободное использование на её условиях. Компактный размер упрощает запуск по сравнению с крупными моделями семейства, а интерфейс вызова инструментов подходит для агентных сценариев. Как модель на 1,7 млрд параметров, она может уступать более крупным моделям в сложных задачах; в режиме рассуждений не рекомендуется жадное декодирование, поскольку оно может ухудшать ответы и приводить к повторениям.

NVFP4/Qwen3-30B-A3B-Thinking-2507-FP4 — квантизированная FP4-версия модели Qwen3-30B-A3B-Thinking-2507, разработанной командой Qwen. Модель относится к классу авторегрессионных языковых моделей и предназначена для генерации текста с акцентом на углублённое рассуждение. Модель подходит для сложных задач логического рассуждения, математики, науки, программирования, следования инструкциям, использования инструментов, генерации текста и агентских сценариев. Заявлена улучшенная работа с длинным контекстом, включая контекст длиной до 262 144 токенов, а также поддержка многоязычных задач. Модель работает только в режиме рассуждения; увеличенная длина рассуждений особенно рекомендуется для сложных запросов. Архитектура — causal language model на основе MoE: 30,5 млрд параметров всего, из которых активируется около 3,3 млрд; 48 слоёв, 128 экспертов и 8 активируемых экспертов, используется GQA с 32 головами Q и 4 головами KV. Квантизация FP4 может снизить требования к памяти и упростить развёртывание, однако точные требования к аппаратуре и влияние квантизации на качество в README не указаны. Ограничением является отсутствие режима без рассуждений и потенциально высокая длина генерируемого вывода. Модель распространяется по лицензии Apache 2.0.

Qwen3.5-35B-A3B-GGUF — это GGUF-квантизированная версия модели Qwen3.5-35B-A3B, разработанная ByteShape с использованием ShapeLearn. ShapeLearn подбирает оптимальный тип данных для каждого тензора, стремясь сохранить качество при малой разрядности. Модель распространяется в вариантах для GPU и CPU с различными компромиссами между размером, скоростью и качеством; размер доступных вариантов в приведённой таблице составляет от 9,41 до 17,9 ГБ при 2,17–4,12 бит на вес. Модель предназначена для текстовых и визуально-текстовых задач, включая диалоговое применение, программирование, агентные сценарии, function calling и обработку изображений. Она поддерживает vision-возможности при запуске через llama.cpp с автоматической загрузкой vision projector. Для работы рекомендуются llama.cpp или LM Studio; на момент публикации Ollama не поддерживает эту модель на базе Llama.cpp GGUF. В README не указаны языки и размер контекстного окна. К сильным сторонам относятся доступность нескольких уровней квантизации, оптимизация под разные аппаратные платформы и заявленная ориентация на сохранение качества при низкой разрядности. Ограничения включают зависимость характеристик от выбранного варианта квантизации и оборудования, а также отсутствие в README подробных численных результатов benchmark-тестов для конкретных файлов. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-99B — текстовая версия модели Qwen3.5-122B-A10B, подготовленная 0xSero методом REAP (Routing-Enhanced Activation Pruning). Из модели с архитектурой MoE удалено 20% наименее активных экспертов; итоговый чекпойнт содержит 99 млрд параметров и распространяется в формате BF16. В метаданных указаны Transformers и возможность диалогового взаимодействия. Модель предназначена для генерации текста и диалогов, включая программирование, ответы на вопросы и рассуждения. README приводит результаты бенчмарков для генерации кода и общих задач на знания и рассуждения; согласно карточке, после удаления экспертов сохранено в среднем 97,9% измеренных возможностей. Это текстовый чекпойнт: для запуска в vLLM README рекомендует флаг --language-model-only и задаёт контекст до 8192 токенов в примере команды. Базовая модель Qwen3.5-122B-A10B мультимодальна, но данная версия не предназначена для обработки изображений. Модель опубликована под лицензией other; конкретные условия использования следует проверять в сведениях о лицензии репозитория. Для обслуживания требуется значительный объём вычислительных ресурсов; README приводит конфигурацию vLLM с четырьмя GPU и экспертным параллелизмом. Бенчмарки в карточке не гарантируют аналогичных результатов на произвольных задачах.

FreedomAISVR подготовил GGUF-вариант мультимодальной инструктивной модели Qwen3.5-9B с квантизацией MXFP4. Модель содержит 32 трансформерных блока с гибридной архитектурой attention, FFN и SSM, дополнительную голову Multi-Token Prediction и проектор SigLIP для обработки изображений. Размер модели — 9 млрд параметров, контекст — до 262 144 токенов; веса представлены в 4-битном формате MXFP4, а проектор — в F16. Модель предназначена для генерации ответов и диалога на нескольких языках, понимания изображений и видео, вызова инструментов, рассуждений и задач по коду. Режим рассуждений в этой сборке выключен по умолчанию и включается параметром enable_thinking=true. Для мультимодального запуска требуется подключить файл проектора mmproj; использовать сборку можно через llama.cpp и совместимые инструменты для GGUF. Модель основана на Qwen/Qwen3.5-9B и распространяется по лицензии Apache-2.0. Квантизация уменьшает требования к памяти, но может повлиять на точность по сравнению с исходными весами. В README указана поддержка английского, китайского и кода; метаданные также отмечают многоязычность.

Qwen3.8-27B-Uncensored-FP8-MTP — мультимодальная модель на базе JonathanColetti/Qwen3.8-27B-Uncensored, опубликованная пользователем pramoths. Репозиторий содержит FP8-квантизацию и сохраняет vision tower и рабочую MTP-голову для speculative decoding. Модель относится к семейству Qwen3.8 и поддерживает текстовые и визуальные задачи; заявленные языки — английский, китайский и тайский. Модель предназначена для генерации текста и кода, извлечения информации, анализа изображений и таблиц, а также ускоренного инференса через vLLM и MTP. Размер исходной модели — 27B параметров, веса занимают около 30 ГБ. Контекст поддерживается до 262 144 токенов. Основные матричные операции квантизированы в FP8 с блоками 128×128 и форматом E4M3, тогда как нормализации, рекуррентные компоненты, vision tower, lm_head, embed_tokens и некоторые части MTP сохранены в BF16. По приведённым измерениям, модель близка к официальной Qwen3.8-27B-FP8 по точности на задачах извлечения, программирования и анализа изображений; скорость достигает 132 токенов в секунду при одном запросе и 1 373 токенов в секунду при конкуренции 16. Уровень принятия спекулятивных токенов MTP составляет около 52%. Модель изменена в сторону отсутствия стандартных отказов, поэтому её поведение отличается от официальной версии. Для эффективной работы необходимы GPU с поддержкой FP8 tensor cores, например Ada Lovelace, Hopper или Blackwell; на Ampere совместимость FP8-пути не проверена, а видеокарты с 24 ГБ памяти недостаточны для запуска на одной карте. Для длинного контекста на 47–48 ГБ VRAM требуется FP8 KV-кэш. Указана лицензия Apache-2.0.

Модель представляет собой INT4-квантованную версию Qwen/Qwen3.8-27B, опубликованную под идентификатором philbert440/Qwen3.8-27B-W4A16-AWQ. Базовая модель разработана командой Qwen и является плотной vision-language-моделью с поддержкой текстовых и визуальных данных. В README не указано, кто именно выполнил квантование, однако сохранены исходная башня зрения и голова MTP для speculative decoding. Модель предназначена для диалогов, рассуждений, программирования, анализа изображений, математических задач, агентных сценариев и генерации длинных текстов. Архитектура включает 27 млрд параметров, 64 слоя, гибрид GatedDeltaNet linear attention и GatedAttention, контекст до 262 144 токенов с возможностью расширения до 1 млн через YaRN. Квантованы линейные слои внимания и MLP в формате W4A16, group size 128, при этом vision tower, эмбеддинги, lm_head и MTP head сохранены в BF16. Размер модели составляет около 19,5 ГБ. Сильные стороны сборки — сохранение мультимодальности и режима reasoning, совместимость с vLLM, поддержка MTP и возможность запуска на двух GPU V100 по 32 ГБ. В README приведены успешные проверки понимания изображений, математики, длинной генерации и корректного поведения think-тегов, а также измерения производительности до примерно 59 токенов в секунду в отдельных режимах на двух V100. Ограничения заключаются в том, что приведённые бенчмарки качества относятся к базовой BF16-модели, а не к данной квантованной версии; фактическая совместимость и скорость зависят от аппаратного обеспечения и используемого сервера. Лицензия — Apache-2.0.

Карточка модели unsloth/Qwen3-Next-80B-A3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen3-Next-80B-A3B-Instruct, поэтому описание составлено по ней. Qwen3-Next-80B-A3B-Instruct — языковая модель от команды Qwen, предназначенная для диалогов, генерации текста и сценариев с вызовом инструментов. Это причинная модель семейства Qwen3-Next с разреженной архитектурой смеси экспертов (MoE), гибридной обработкой контекста через Gated DeltaNet и Gated Attention и поддержкой ускорения вывода с помощью Multi-Token Prediction. В модели 80 млрд параметров, из которых активируются около 3 млрд на токен; при этом метаданные Hugging Face указывают размер 2,3 млрд параметров. Модель рассчитана на инструкции в обычном, нетщательном режиме и поддерживает контекст до 262 144 токенов; в README описано расширение контекста примерно до миллиона токенов с YaRN. Подходит для длинных диалогов и документов, генерации ответов и агентных сценариев с инструментами. Карточка сообщает о результатах на ряде бенчмарков, но не приводит полный набор таблиц в предоставленном тексте. Лицензия Apache-2.0.

Rombos-LLM-V2.5-Qwen-72b — плотная авторегрессионная языковая модель на архитектуре Qwen2, разработанная Rombodawg. По карточке, это непрерывно дообученная и объединённая методом TIES версия Qwen2.5-72B; метаданные связывают её с Qwen/Qwen2.5-72B-Instruct. Модель содержит 71,5 млрд параметров, работает с текстом и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текстов, а также может выдавать структурированные ответы и поддерживать интерфейс вызова инструментов. Автор сообщает о более высокой производительности по сравнению с исходной instruct- и базовой моделями; в карточке приведены результаты отдельных тестов, но готовые сводные данные и подробное описание методики оценки ограничены. В метаданных указана лицензия «other», поэтому условия использования следует сверить с полной лицензией репозитория. Для запуска требуется значительный объём вычислительной памяти из-за размера модели; README не приводит конкретных требований к оборудованию. Модель опубликована в формате safetensors.

ThinkingCap-Qwen3.6-27B-AWQ-INT4 — квантизированная версия модели ThinkingCap: Qwen 3.6 27B, разработанной BottleCap AI на основе Qwen3.6-27B от команды Qwen. Модель дообучена с применением современных алгоритмов на тщательно отобранном наборе задач из разных областей и предназначена для рассуждений, ответов на вопросы, математики, программирования, многошагового диалога, соблюдения системных инструкций, безопасного поведения и агентских сценариев. Ключевая особенность модели — повышение эффективности рассуждений: по заявлению разработчиков, она использует в среднем на 50% меньше токенов рассуждения, а в лучших случаях сокращение превышает 90%, при сохранении исходного качества и стиля ответов Qwen. Калибровка выполнялась на задачах STEM и агентских сценариях. Указаны языки English, Chinese, Hindi, Arabic, Russian, Japanese, Korean, Dutch, French и Spanish. Размер файла модели составляет 20,97 ГБ. Архитектура и размер контекстного окна в README не указаны. Модель подходит для ресурсоэффективного решения сложных задач, где важны качество рассуждений, скорость и снижение расхода токенов. Ограничением является вариативность качества рассуждений при рекомендованной для Qwen температуре 1.0, поэтому разработчики оценивали модель с несколькими случайными сидами и статистической проверкой. Распространяется по лицензии Apache-2.0.

Bonsai-27B-gguf — компактная 1-битная версия языковой модели класса 27B, разработанная Prism ML на базе Qwen3.6-27B. Модель предназначена для генерации текста, диалогов, рассуждений, решения математических задач, программирования и агентских сценариев с локальным запуском через llama.cpp на CPU, CUDA или Metal. Также предусмотрена мультимодальная обработка изображений через отдельную vision tower, однако основной режим — текстовый. Модель использует гибридную архитектуру с примерно 75% linear attention и 25% full attention, SwiGLU, RoPE и RMSNorm. Она содержит около 27,3 млрд бинарных языковых весов и vision tower примерно на 0,46 млрд параметров. Контекстное окно составляет до 262 тысяч токенов; KV-кэш квантизован до 4 бит. Формат GGUF Q1_0_g128 использует веса со значениями −1 и +1 и групповым масштабированием FP16, обеспечивая эффективные 1,125 бита на вес и размер около 3,9 ГБ вместо примерно 54 ГБ у FP16. В комплект входит слой DSpark для speculative decoding, заявлено ускорение декодирования до 1,37 раза на CUDA. Сильные стороны модели — очень малый размер, возможность запуска 27B-класса на обычных ноутбуках и одиночных GPU, сохранение рассуждений и агентского поведения при экстремальном сжатии, а также длинный контекст. Ограничения связаны с агрессивной 1-битной квантизацией: заявленное качество составляет около 90% от FP16, а результаты зависят от аппаратной платформы и поддержки специализированных ядер. Для обработки изображений требуется дополнительный пакет mmproj объёмом около 0,63 ГБ. Модель распространяется по лицензии Apache 2.0.

DeepSeek-V3-Base — базовая языковая модель семейства DeepSeek-V3, разработанная командой DeepSeek AI. Это Mixture-of-Experts (MoE) модель с 671 млрд общих параметров, из которых 37 млрд активируются для каждого токена. Модель предварительно обучена на 14,8 трлн разнообразных токенов и предназначена для использования в качестве основы для генерации и понимания текста, а также последующей адаптации под прикладные задачи. В архитектуре применяются Multi-head Latent Attention (MLA) и DeepSeekMoE. Для балансировки нагрузки используется стратегия без вспомогательной функции потерь, а обучение дополнено целью Multi-Token Prediction, которая может применяться и для ускорения вывода посредством speculative decoding. Обучение проводилось с использованием смешанной точности FP8; заявлены высокая эффективность обучения и стабильность процесса. Длина контекста в предоставленных данных не указана, как и точный перечень поддерживаемых языков и сведения о мультимодальности. Сильными сторонами модели являются крупный общий объём параметров, высокая вычислительная эффективность за счёт разреженной активации экспертов и заявленная конкурентоспособность среди открытых базовых моделей. Ограничения включают значительные требования к инфраструктуре для запуска и отсутствие в предоставленном описании подробных характеристик инференса, языкового покрытия и результатов по отдельным прикладным сценариям. Код распространяется по лицензии MIT, а сама модель — по Model Agreement.

FadedRedStar/gemma-4-E2B-it-qat-q4_0-heretic-GGUF — мультимодальная GGUF-версия модели Gemma 4 E2B, разработанной Google DeepMind. Модель предназначена для диалогов, рассуждений, генерации текста, обработки изображений и аудио, а также локального и периферийного развертывания. Поддерживаются системные сообщения, роли system/user/assistant, нативный вызов функций и настраиваемый режим рассуждений. Модель имеет гибридную архитектуру со скользящим и глобальным вниманием, 35 слоями и окном скользящего внимания 512 токенов. Контекст составляет 131 072 токена. Эффективный размер — 2,3 млрд параметров, общий размер с учетом Per-Layer Embeddings — 5,1 млрд. Поддерживаются текст, изображения и аудио; для мультимодального ввода используются отдельные vision/audio-проекторы. Текстовые веса представлены в формате Q4_0 PURE, рассчитанном с применением Quantization-Aware Training, а проекторы доступны в вариантах Q8_0 и BF16. Сильными сторонами являются мультимодальность, большой контекст, поддержка локального запуска и сохранение качества при 4-битном развертывании благодаря QAT. Суффикс heretic означает постобработку методом Arbitrary-Rank Ablation с использованием Heretic v1.2.0, направленную на снижение отказов при ответах; приведенные метрики являются самоотчетом автора и не были независимо проверены. Для работы требуется совместимый рантайм, например llama.cpp, а для обработки изображений и аудио — соответствующий проектор. Модель распространяется по лицензии Gemma; условия указаны по ссылке Google.

Arabic250/gemma-4-E4B-it-GGUF — это 4-битная GGUF-версия instruction-tuned модели Gemma 4 E4B, разработанной Google DeepMind и подготовленной в формате GGUF командой Unsloth. Модель предназначена для локального запуска и дообучения, включая работу на ноутбуках и мобильных устройствах, а также для использования в Unsloth Studio и средах на базе llama.cpp. Модель принимает текст и изображения, поддерживает аудио на нативном уровне и генерирует текст. Вариант E4B имеет около 4,5 млрд эффективных параметров, 42 слоя, контекстное окно до 128K токенов и словарь размером 262K токенов. Архитектура использует гибридное внимание: локальные скользящие окна чередуются с глобальным вниманием. Gemma 4 поддерживает более 140 языков, режимы рассуждения, генерацию текста, программирование, мультимодальное понимание, tool calling и агентские сценарии. К сильным сторонам относятся компактный размер, возможность эффективного локального развертывания, длинный контекст, мультимодальность и поддержка структурированных диалогов с системными инструкциями. Ограничением являются возможные потери точности из-за 4-битной квантизации, а также требования к совместимому программному обеспечению и оборудованию; конкретные показатели производительности для данной сборки в README не приведены. Модель распространяется по лицензии Apache 2.0.

Карточка модели Alfredofrog/gemma-4-E4B-it-uncensored-heretic на Hugging Face совпадает с карточкой llmfan46/gemma-4-E4B-it-uncensored-heretic, поэтому описание составлено по ней. llmfan46/gemma-4-E4B-it-uncensored-heretic — производная модель на основе Google Gemma 4 E4B Instruct, опубликованная независимым автором. Это плотная мультимодальная модель для диалога и генерации текста, понимания изображений и аудио, рассуждений, программирования и вызова инструментов. В карточке заявлены гибридное внимание с локальными скользящими окнами и глобальными слоями, а для базовой модели E4B — контекст до 128 тысяч токенов и поддержка более 35 языков. Модель подходит для чат-ботов, суммаризации и создания текстов, извлечения данных из изображений и документов, распознавания речи и голосовых сценариев. В названии и тегах указано uncensored/abliterated, однако README не описывает конкретные изменения и не приводит отдельные оценки качества именно этой производной версии. Возможны фактические ошибки, смещения и трудности с неоднозначными или сложными запросами. Лицензия — Apache-2.0.

GadflyII/GLM-4.7-Flash-NVFP4 — квантизированная версия GLM-4.7-Flash, разработанная на основе базовой модели Zhipu AI. Модель предназначена для генерации текста и задач общего назначения на английском и китайском языках, включая развёртывание через vLLM и Transformers. Это Mixture-of-Experts-модель архитектуры Glm4MoeLiteForCausalLM с 30 млрд параметров, из которых 3 млрд активируются для каждого токена. Она содержит 64 маршрутизируемых эксперта, 4 активных эксперта и 1 общего эксперта, а также 47 слоёв. Максимальная длина контекста составляет 202 752 токена. Квантизация выполнена в формате compressed-tensors NVFP4 с размером блока 16 и масштабами FP8 E4M3. Для сохранения качества attention-компоненты MLA, нормализация, gates и embeddings оставлены в BF16, тогда как MLP-эксперты и первый dense MLP используют FP4. Размер модели составляет около 20,4 ГБ против 62,4 ГБ у BF16-версии; на тесте MMLU-Pro она показала точность 23,55% против 24,83% у базовой версии, что соответствует снижению на 1,28 процентного пункта. Основные ограничения — необходимость совместимой NVIDIA GPU с поддержкой FP4 tensor cores и актуальных версий vLLM и Transformers. Для запуска рекомендуется vLLM 0.14.0 или новее; на мног GPU-системах Blackwell могут потребоваться дополнительные исправления для P2P и tensor parallelism. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

GPT-3.5 Turbo — языковая модель OpenAI для генерации и понимания естественного языка и кода. Версия v0613 предназначена для диалогов и обычного текстового дополнения. Модель подходит для чат-ботов, ответов на вопросы, написания и преобразования текста, а также помощи с кодом. Данные обучения охватывают период до сентября 2021 года. В предоставленных сведениях не указаны размер модели, длина контекста или лицензия.

GPT-OSS-Swallow 120B RL v0.1 MXFP4 — крупная двуязычная языковая модель, разработанная командой Tokyo Institute of Technology (Tokyo Tech) на базе GPT-OSS. Модель содержит 120 млрд параметров и предназначена для генерации текста, рассуждений, работы с математическими задачами, программным кодом, японско-английским переводом и другими сценариями, требующими понимания японского и английского языков. Данная версия распространяется в формате MXFP4 и ориентирована на запуск через Transformers и vLLM. Модель обучалась в несколько этапов: Continual Pre-Training, Supervised Fine-Tuning и Reinforcement Learning with Verifiable Rewards. Для улучшения японского языка и перевода использовались специализированные процедуры обучения, а математические и кодовые датасеты помогли сохранить STEM-компетенции и снизить деградацию этих навыков. Среди сильных сторон заявлены двуязычная специализация, повышенное качество японско-английского перевода, математические и программные способности, а также уровень рассуждений, сопоставимый с исходными моделями GPT-OSS или превосходящий их в отдельных задачах. В карточке не указаны точная архитектура, токенизатор и максимальная длина контекста: за этими сведениями предлагается обращаться к документации GPT-OSS. Модель требует значительных вычислительных ресурсов из-за размера; для наиболее надежной и воспроизводимой работы рекомендуется vLLM, при этом поддерживается распределение по нескольким GPU. Лицензия Apache-2.0.

Dingdust/granite-4.2-8b-heretic — дообученная и модифицированная версия модели семейства Granite от IBM. Это плотный decoder-only Transformer GraniteForCausalLM с 8,4 млрд параметров, рассчитанный на генерацию текста, диалог, рассуждения и вызов инструментов. Веса опубликованы в формате safetensors; лицензия Apache 2.0 разрешает коммерческое и академическое использование. Модель предназначена для ответов на сложные вопросы, решения многошаговых задач, математики, программирования и агентных сценариев с инструментами. Карточка описывает режимы рассуждения с разной глубиной и контекст до 512 тыс. токенов, однако метаданные указывают нативный контекст 131 072 токена. README также сообщает об abliteration: в приведённом сравнении доля отказов снизилась с 96 до 3 из 100 запросов; поэтому модель менее склонна отказывать, но может отвечать на небезопасные запросы. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки; качество может быть ниже английского. Возможны неточные, предвзятые или небезопасные ответы. Текст рассуждений может содержать промежуточные выводы и не отражать итоговый ответ.

Inkling-Small-NVFP4 — мультимодальная авторегрессионная модель, разработанная Thinking Machines и представленная в виде NVFP4-квантизованной версии модели Inkling-Small. Она принимает текст, изображения и аудио, а генерирует текст. Модель предназначена для разработчиков AI-приложений, включая агентные и tool-use системы, ассистентов программирования, чат-ботов и решения с retrieval-augmented generation, а также для диалогов, следования инструкциям и общих языковых и мультимодальных задач. Поддерживаются английский язык и, согласно описанию, общие мультиязычные сценарии, а также работа с несколькими языками программирования. Архитектура представляет собой 42-слойный decoder-only transformer с разреженным Mixture-of-Experts: из 256 экспертов для каждого токена выбираются 6, дополнительно активны 2 общих эксперта. Модель использует гибридные локальные и глобальные слои внимания, иерархический patch encoder для изображений и дискретное токенизирование аудио, объединяя модальности в общем скрытом пространстве. Всего модель содержит 276 млрд параметров, из которых активно 12 млрд; поддерживается формат NVFP4, а исходная модель также выпускается в BF16. Для изображений рекомендован размер каждой стороны от 40 до 4096 пикселей, для аудио — WAV с частотой 16 кГц и длительностью желательно менее двух минут. Размер контекстного окна в README не указан. Модель доступна с открытыми весами для исследований, дообучения и интеграции в сторонние продукты, а также может запускаться локально через совместимые инструменты экосистемы Transformers. К сильным сторонам относятся мультимодальность, MoE-архитектура с небольшим числом активных параметров и поддержка сценариев, требующих обработки текста, изображений и аудио. Ограничениями являются высокая общая параметрическая ёмкость и требования к инфраструктуре, а также отсутствие в предоставленном описании подробных результатов бенчмарков и точных характеристик контекста. Лицензия — Apache 2.0; дополнительно для использования действует политика допустимого применения разработчика.

casperhansen/llama-3-8b-instruct-awq — квантизированная AWQ-версия Meta Llama 3 8B Instruct, опубликованная пользователем casperhansen на Hugging Face на основе модели Meta. Это авторегрессионная языковая модель для генерации текста и кода, прежде всего для диалоговых ассистентов, следования инструкциям и локального инференса. Модель принимает текст и генерирует текст; мультимодальность не заявлена. Модель содержит около 8 млрд параметров и использует оптимизированную Transformer-архитектуру Llama с Grouped-Query Attention. В репозитории указана 4-битная AWQ-квантизация с group size 128, а максимальная длина контекста в конфигурации составляет 8192 токена. Исходная Meta Llama 3 8B Instruct предназначена главным образом для английского языка, коммерческого и исследовательского применения. Квантизация ориентирована на более экономичное по памяти развертывание, однако может снижать точность по сравнению с полной точностью; стандартные ограничения языковых моделей, включая ошибки и остаточные риски безопасности, сохраняются. Использование регулируется кастомной Meta Llama 3 Community License и Acceptable Use Policy, условия которых необходимо соблюдать при применении и распространении модели или производных работ.

Meta-Llama-3-8B-Instruct-llamafile — это инструкционная версия языковой модели Llama 3, разработанная Meta и упакованная в исполняемый формат llamafile проектом Mozilla Ocho. Версия содержит около 8 млрд параметров и предназначена для локального запуска на Linux, macOS, Windows, FreeBSD, OpenBSD и NetBSD на платформах AMD64 и ARM64. Указанный вариант связан с квантованием, выполненным jartine, и основан на meta-llama/Meta-Llama-3-8B-Instruct. Модель принимает только текст и генерирует текст и код. Она ориентирована прежде всего на англоязычные диалоговые сценарии, работу в формате ассистента и задачи генерации естественного языка. Архитектура представляет собой авторегрессионный оптимизированный Transformer с Grouped-Query Attention; модель дообучена с применением supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Длина контекста составляет 8k токенов, данные обучения включают более 15 трлн токенов общедоступных онлайн-данных, дата отсечения знаний — март 2023 года. Сильными сторонами являются возможность автономного локального запуска без отдельной сложной инфраструктуры, поддержка распространённых настольных операционных систем и оптимизация для диалогового взаимодействия. Ограничения включают работу преимущественно с английским языком, текстовую модальность, статичность обученной версии и возможные потери качества или рост галлюцинаций при использовании более агрессивных форматов квантования. Модель распространяется по пользовательской коммерческой лицензии Llama 3; применение должно соответствовать условиям Llama 3 Community License, Acceptable Use Policy и действующему законодательству.

SillyTilly/mistralai_Mistral-Nemo-Instruct-2407 — разговорная instruct-модель, созданная на основе Mistral-Nemo-Base-2407 совместно Mistral AI и NVIDIA. Это трансформер Mistral с плотной архитектурой и 12,1 млрд параметров, дообученный следовать инструкциям и вести диалог. Модель предназначена для генерации ответов, выполнения инструкций и вызова функций. Она обучалась на многоязычных данных и коде; карточка заявляет окно контекста 128 тыс. токенов, тогда как метаданные указывают 1 024 000 нативных токенов. Поддерживаются английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский языки. Модель задумана как замена Mistral 7B и может применяться в чат-ботах и текстовых помощниках. Модель выпущена по лицензии Apache 2.0. В карточке она названа демонстрацией возможностей дообучения базовой модели; указано, что у неё нет встроенных механизмов модерации, поэтому её ответы могут требовать отдельной проверки и фильтрации.

mmangkad/Qwen3.6-27B-NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3.6-27B, разработанной Alibaba и подготовленной с использованием NVIDIA Model Optimizer. Модель предназначена для генерации текста и может применяться в AI-агентах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. Модель построена на архитектуре Transformers, содержит 27 млрд параметров, принимает и генерирует текстовые последовательности и поддерживает контекст длиной до 262 тысяч токенов. Веса и активации линейных операторов внутри transformer-блоков квантизированы в формат NVFP4. Модель ориентирована на работу с NVIDIA GPU, совместима с архитектурой NVIDIA Blackwell и рассчитана на запуск через SGLang в Linux. Данные о поддерживаемых языках, полном составе обучающего набора и результатах комплексной оценки не раскрыты; среди указанных оценок есть benchmark GPQA. К сильным сторонам относятся готовая к развертыванию квантизация, большой контекст и оптимизация для инференса на совместимом оборудовании NVIDIA. Ограничения включают зависимость от поддерживаемой GPU-инфраструктуры и SGLang, а также возможное воспроизведение токсичных высказываний и социальных предубеждений из обучающих данных. Модель может выдавать неточные, неполные, нерелевантные или избыточные ответы. Распространение разрешено по лицензии Apache 2.0; при использовании также необходимо учитывать условия и требования базовой модели Qwen3.6-27B.

sakamakismile/Qwen3.6-35B-A3B-NVFP4 — это квантизированная версия мультимодальной модели Qwen3.6-35B-A3B, разработанной Qwen и сжатой с помощью llm-compressor от Lna-Lab. Модель предназначена для генерации текста, программирования, рассуждений, агентских сценариев и задач с изображениями. Она поддерживает вызов инструментов и рассчитана на работу через vLLM. В основе лежит разреженная архитектура MoE: около 35 млрд параметров всего, из которых активны примерно 3 млрд на токен; используются 256 экспертов, включая 8 маршрутизируемых и 1 общий. Архитектура сочетает Gated DeltaNet и механизмы внимания. Квантизация NVFP4 W4A4 использует 4-битные веса и активации со шкалами FP8, а визуальная часть сохранена в BF16. Нативный контекст составляет 262 144 токена, заявлена возможность расширения до 1 млн токенов. Указана поддержка мультимодального ввода, однако конкретный перечень языков в README не приведён. К сильным сторонам относятся высокая скорость инференса, малая занимаемая память и заявленные результаты в задачах программирования и агентского взаимодействия. Размер модели после сжатия — около 21,9 ГБ; на одной видеокарте NVIDIA Blackwell заявлена скорость до 168 токенов в секунду. Ограничения связаны с аппаратной и программной совместимостью: требуется GPU NVIDIA Blackwell с архитектурой SM 120, примерно 22 ГБ видеопамяти и nightly-версия vLLM с CUDA 13.0; на Ampere и Hopper модель не работает. Распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next-mixed-NVFP4-FP8 — это квантованная версия Qwen3.8-Flash-Next, подготовленная командой Primitive AI. Модель предназначена для мультимодальных сценариев image-text-to-text, генерации текста, рассуждений и вызова инструментов. Она поддерживает работу через Transformers и vLLM, включая tool calling с thinking, parser qwen3_coder и speculative decoding MTP. Модель имеет размер около 183,7 ГБ и использует смешанную точность NVFP4, FP8 и BF16 в формате compressed-tensors. Полноразмерные и линейные attention-проекции переведены в FP8, что сокращает нагрузку на память и ускоряет декодирование. Заявлена работа на одной GPU Blackwell с 96 ГБ видеопамяти и примерно 100 ГБ оперативной памяти; измерения проводились при контексте 32 768 токенов и до 36 последовательностей. Нативный контекст базовой модели указан как 262 144 токена, а для более длинного контекста предлагается RoPE-масштабирование YaRN. По данным карточки, модель сохраняет сопоставимое с обычной NVFP4-сборкой качество при показателях 92,2 для knowledge, 84,8 для call и 56,7 для abstain, а также достигает 84,4 токена в секунду в однопоточном режиме и 526 токенов в секунду при concurrency 32. Основное ограничение — необходимость использовать переменную VLLM_GDN_DECODE_KERNEL=triton: стандартное CUDA-ядро может зависать при высокой конкуренции. Для запуска также требуются специальные параметры vLLM, значительный объём RAM и совместимое оборудование Blackwell. Модель распространяется по лицензии Qwen Community 1.0.

Qwopus3.5-122B-A10B-Kimi-K2.6-destilled-abliterated-NVFP4 — мультимодальная версия модели, разработанная OpenYourMind. Она создана на основе Qwopus3.5-122B-A10B-Kimi-K2.6-destill-healed-abliterated, которая, в свою очередь, основана на Qwen/Qwen3.5-122B-A10B и дополнительно использует дистилляцию Kimi-K2.6, обучение с предпочтениями для рассуждений и модификацию, обозначенную авторами как abliterated/uncensored. Модель предназначена для генерации и понимания текста и изображений, включая задачи рассуждений, программирования, вызова инструментов и работы с визуальными данными. Это архитектура Mixture of Experts с примерно 122 млрд параметров, из которых около 10 млрд активируются при обработке одного запроса. Сохраняются vision tower, MTP head, маршрутизатор экспертов и путь внимания Gated-DeltaNet. Поддерживаются архитектура Qwen3_5MoeForConditionalGeneration и контекст до 262 144 токенов в указанной конфигурации. Поддерживаемые языки в README не указаны. Весовые параметры сжаты в формат NVFP4 с точностью 4 бита, что уменьшает размер модели примерно с 250 до 81,5 ГБ; часть компонентов оставлена в BF16. По заявленным авторами результатам, сборка превзошла полноточную Qwen3.5-122B-A10B на тестах CTI, LiveCodeBench и BFCL, однако эти результаты представлены без независимой верификации. Для запуска рекомендуется vLLM с поддержкой compressed-tensors; указано использование как минимум одного ускорителя Blackwell с объёмом памяти от 96 ГБ. Лицензия — MIT.