I.11Классификация, ранжирование и сопоставление

RedHatAI/Qwen3.6-35B-A3B-NVFP4 — предварительная NVFP4-квантизованная версия модели Qwen3.6-35B-A3B, разработанной Alibaba Cloud и опубликованной Red Hat AI. Веса и активации преобразованы в формат NVFP4 с использованием llm-compressor; модель распространяется в формате compressed-tensors и предназначена для запуска через vLLM. Модель ориентирована на генерацию текста, рассуждения, решение математических и академических задач, программирование, работу с инструментами и агентские сценарии. В метаданных также заявлена поддержка обработки изображений вместе с текстом. Поддерживаются tool calling и режим рассуждений Qwen3; для запуска рекомендуются reasoning parser qwen3, tool-call parser qwen3_coder, prefix caching и MoE-бэкенд flashinfer_cutlass. Вариант содержит 35 млрд параметров в MoE-архитектуре с конфигурацией A3B; максимальная длина контекста 96 000 токенов указана для проведённого запуска в vLLM. Языки модели в README не перечислены. Сильная сторона модели — существенное снижение требований к памяти благодаря квантизации весов и активаций при сохранении большей части качества исходной Qwen3.6-35B-A3B. По опубликованным тестам результаты близки к базовой модели на задачах GSM8K, GPQA, Math 500, MMLU-Pro и IFEval, однако наблюдается более заметное снижение на LiveCodeBench, BFCL Multi-Turn и SWE-bench Verified. Модель является предварительной версией и может изменяться; совместимость проверена с RHOAI 3.5, RHAIIS 3.5 и vLLM 0.24.0. Лицензия — Apache 2.0.

coder3101/Qwen3.8-27B-heretic — дообученная версия Qwen/Qwen3.8-27B, созданная с помощью Heretic v1.2.0 методом abliteration для уменьшения частоты отказов. Это плотная причинная языковая модель с визуальным энкодером на 27 млрд параметров, поддерживающая диалог, изображения и видео. По карточке базовой модели, она рассчитана на программирование, профессиональные и исследовательские задачи, а также многошаговое планирование и работу с агентными сценариями. Контекст базовой модели составляет 262 144 токена с возможностью расширения до 1 000 000; README указывает, что режим рассуждений включён по умолчанию и может настраиваться. В приведённом сравнении модель отказала в 33 случаях из 100 против 92 у исходной версии; это характеризует снижение отказов, но не подтверждает качество ответов для всех запросов. Доступны веса в формате Safetensors для Transformers и совместимых средств инференса. Лицензия — Apache-2.0.

filvyb/Qwen3.8-27B-heretic-ara-GGUF — это GGUF-квантизированная версия модели coder3101/Qwen3.8-27B-heretic-ara, основанной на Qwen3.8-27B. Модель предназначена для генерации и анализа текста, программирования, профессиональных и исследовательских задач, долгих многошаговых агентских сценариев, а также понимания изображений и видео. В карточке указана архитектура causal language model с vision encoder и 27 млрд параметров. Модель использует 64 слоя, архитектуру с комбинацией Gated DeltaNet и Gated Attention, поддерживает управляемый режим рассуждений и имеет нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Она заявлена как мультимодальная модель для работы с текстом, изображениями и видео, однако сведения о поддерживаемых языках отсутствуют. Формат GGUF ориентирован на совместимое локальное инференс-развёртывание, но конкретные требования к памяти и варианты квантования в README не указаны. Ключевая особенность версии — abliteration, направленная на снижение частоты отказов: в приведённом сравнении модель отказалась выполнить 9 из 100 запросов против 92 из 100 у исходной Qwen3.8-27B, при KL-дивергенции 0,0349. Это может повысить полезность модели для сценариев, где требуется меньше ограничивающих отказов, но одновременно может ослаблять встроенные механизмы безопасного поведения. Модель распространяется по лицензии Apache-2.0.

Карточка модели Mahesh111000/qwen3-8b-hanabi-rl-base-1to1-24k-step_115 на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

Deritak/Qwen3.8-Flash-Next-heretic-2-ROCMFP4 — размещённая пользователем сборка Qwen3.8-Flash-Next, причинной языковой модели с визуальным энкодером. README описывает гибридную архитектуру с Gated DeltaNet, Qwen Sparse Attention, Mixture of Experts и n-граммными эмбеддингами: заявлены 125 млрд параметров, из которых активируются 6 млрд, а также отдельные параметры эмбеддингов и слой multi-token prediction. Модель принимает текст и изображения и предназначена для диалогов, задач с длинным контекстом и агентных сценариев, включая работу с кодом и офисными приложениями. В README указан контекст 262 144 токена с возможностью расширения до 1 000 000. Автор репозитория сообщает о проблеме с встроенной квантизацией MTP и рекомендует её не использовать; приведённые замеры скорости относятся к AMD AI Max+ PRO 395. Метаданные указывают GGUF и GGUF BF16, но лицензию обозначают только как other, поэтому точные условия использования по доступным сведениям определить нельзя.

Qwen3-Next-80B-A3B-Instruct-REAM — сжатая версия диалоговой модели Qwen3-Next-80B-A3B-Instruct, созданная методом REAM, описанным в статье об объединении экспертов для улучшения их прореживания. Разработчик уменьшил число экспертов в слоях MoE с 512 до 384; по README, объём модели сократился с 80 до 60 млрд параметров, а требования к хранению и памяти GPU — примерно на 25%. Метаданные указывают архитектуру MoE семейства Qwen3-Next и 2,3 млрд параметров, что расходится с числом в README. Модель предназначена для диалогов и генерации текста, в том числе для задач с длинным контекстом до 262 144 токенов; метаданные также отмечают интерфейс вызова инструментов. README сообщает о сохранении не менее 95% исходного качества на ряде тестов: опубликованные результаты охватывают следование инструкциям, математику, общие знания и программирование. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Это доработка Qwen/Qwen3-Next-80B-A3B-Instruct методом сжатия экспертов; README также описывает версию v2 с изменённым составом данных сжатия, настройкой групп экспертов и сжатием слоя MTP. Лицензия — Apache-2.0. Число параметров в метаданных противоречит README, а приведённые результаты относятся к конкретным тестам и не гарантируют качество во всех сценариях.

Qwen-SEA-LION-v4.5-27B-IT-GGUF — это квантизированная в формате GGUF версия мультимодальной инструкционно настроенной модели Qwen-SEA-LION-v4.5-27B-IT. Модель разработана AI Products Pillar при AI Singapore при финансовой поддержке National Research Foundation Singapore и построена на архитектуре Qwen3.6-27B. Она представляет собой каузальную языковую модель с визуальным энкодером и предназначена для коммерческого использования. Модель ориентирована на сложное рассуждение, многошаговое планирование, генерацию кода, работу с инструментами, структурированными схемами и агентными сценариями. Она поддерживает обработку текста и изображений, контекст длиной до 262 тысяч токенов и оптимизирована для языков и культур Юго-Восточной Азии. Дообучение проводилось на бирманском, индонезийском, филиппинском, малайском, тамильском, тайском и вьетнамском языках; также заявлена конкурентоспособная работа с английским и китайским. Доступны варианты квантизации Q4_K_M размером 16,8 ГБ, Q6_K размером 22,4 ГБ, Q8_0 размером 29 ГБ и F16 размером 54,7 ГБ, что позволяет выбирать компромисс между требованиями к памяти и качеством. К сильным сторонам относятся большой контекст, региональная языковая специализация, мультимодальность и развитые возможности использования инструментов. При этом модель не проходила полноценное выравнивание по безопасности и не тестировалась на устойчивость к adversarial prompting; возможны галлюцинации, нерелевантные ответы и фактические ошибки, поэтому результаты требуют проверки и дополнительной настройки безопасности. Модель распространяется по лицензии MIT. Для запуска GGUF-версий в README приведён пример использования llama.cpp; для визуального ввода требуется отдельный файл mmproj.

SmolLM3-3B — открытая инструктивная языковая модель компании Hugging Face, рассчитанная на сильные результаты при небольшом размере. Это плотный декодерный Transformer с GQA и NoPE, содержащий 3,1 млрд параметров; модель дообучена на базе HuggingFaceTB/SmolLM3-3B-Base. Она поддерживает диалог, вызов инструментов и режимы с расширенными рассуждениями, а также генерацию и продолжение текста, включая задачи по математике, программированию и работе с длинными документами. Модель обучалась с контекстом 64 тыс. токенов; конфигурация задаёт 65 536 токенов, а README описывает расширение до 128 тыс. и 256 тыс. с YaRN. В README указаны английский, французский, испанский, немецкий, итальянский и португальский как нативно поддерживаемые языки; метаданные также отмечают китайский, арабский и русский. Доступны открытые веса и подробности обучения. Лицензия Apache-2.0. Модель подходит для чат-ботов, помощи в рассуждениях, генерации кода и математических ответов, а также сценариев с вызовом инструментов. Она может выдавать фактически неверные или логически непоследовательные ответы и воспроизводить смещения из обучающих данных; важные сведения следует проверять.

TeleChat2-3B — плотная авторегрессионная языковая модель семейства TeleChat2, разработанная и обученная Институтом искусственного интеллекта China Telecom на отечественных вычислительных ресурсах. Версия 3B выпущена в ноябре 2024 года; в метаданных указано около 4 млрд параметров. Модель построена на архитектуре decoder-only с Rotary Embedding, SwiGLU и RMSNorm; заявленная длина контекста — 32 768 токенов. Модель предназначена для многоходового диалога, ответов на общие и предметные вопросы, суммаризации, длинных текстов, математики, рассуждений и генерации кода. Для этой версии заявлена поддержка вызова инструментов через Function Call. В README приведены результаты тестирования на китайских и англоязычных бенчмарках; основной языковой фокус — китайский и английский. Модель принимает текст и генерирует текст. Доступны веса в формате PyTorch, лицензия — Apache-2.0. Возможные ограничения включают ошибки и ненадёжные ответы, а также риски, связанные с использованием сгенерированного кода и вызовом инструментов; разработчики отдельно требуют соблюдать применимые нормы и не использовать модель для незаконной деятельности.

jondurbin/bagel-20b-v04-llama — языковая модель для диалогов и генерации текста, созданная как версия Bagel-20B-v04 с архитектурой Llama. В README указано, что Bagel-20B-v04 дообучена на базе internlm2-20b; метаданные также указывают internlm/internlm2-20b в качестве базовой модели. Модель содержит 19,3 млрд параметров, имеет контекст до 32 768 токенов и распространяется в формате safetensors. Модель предназначена для ответов на вопросы, следования инструкциям, написания и пересказа текстов, решения задач по математике и естественным наукам, программирования, ролевого общения и вызова функций. В обучении использовались данные для диалогов, чтения с пониманием, контекстных ответов, суммаризации, Python и SQL, а также многоязычные материалы. Поддерживаются несколько форматов промптов; шаблон по умолчанию использует формат Llama 2. Карточка указывает лицензию «other», не раскрывая в предоставленных данных её точные условия. Обучающие данные охватывают разные стили и задачи, включая ролевые диалоги и токсичные примеры; ответы требуют проверки, особенно для фактических, программных и чувствительных запросов. Модель является дообученной версией InternLM2-20B.

BTL-4 Compact — текстовая GGUF-версия модели BTL-4 от Bad Theory Labs, распространяемая для запуска в llama.cpp, Ollama и LM Studio. Это квантованная модель класса Mixture of Experts, предназначенная для генерации текста, программирования, работы с технической документацией, агентных сценариев и использования инструментов. Модель поставляется одним файлом размером 9,96 ГБ и не требует загрузки или восстановления базовой модели. Модель содержит 35,1 млрд параметров, из которых около 2,1 млрд активны для каждого токена. Архитектура включает 40 слоёв: 30 слоёв с линейным вниманием и 10 слоёв с полным вниманием; в каждом слое 256 экспертов, из которых для токена выбираются 8. Нативный контекст составляет 262 144 токена. Сборка является текстовой: vision tower исключён. Слой multi-token prediction отключён, но это не мешает обычной работе модели. Главное преимущество BTL-4 Compact — сочетание большого общего числа параметров с относительно низкими вычислительными затратами и возможностью запуска на пользовательском оборудовании. Квантование выполнено с эффективностью 2,30 бита на вес; заявленное сохранение измеренного поведения полной модели составляет 94,1% на тесте из 118 заданий. Ограничения включают потерю качества из-за сильного квантования, отсутствие обработки изображений и чувствительность агентных сценариев к настройкам шаблона чата и формата рассуждений. Для корректной работы требуется версия llama.cpp с поддержкой qwen3_5_moe и определённые параметры запуска. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

Cogito v2 preview 109B MoE — мультимодальная инструктивно настроенная модель Deep Cogito для диалога и анализа изображений. Она основана на Meta Llama 4 Scout 17B-16E и дообучена с использованием итеративной дистилляции и усиления (IDA). По карточке модели, Cogito v2 сочетает обычный режим ответа с режимом саморефлексии, поддерживает вызов инструментов и предназначена для программирования, задач STEM, следования инструкциям и общих помощнических сценариев. Модель принимает текст и изображения и генерирует текст. В README заявлена подготовка более чем на 30 языках и поддержка контекста до 10 млн токенов; это заявление относится к семейству Cogito v2, а метаданные каталога подтверждают возможности чата и зрения. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия указана как llama4; README описывает лицензию как открытую для коммерческого использования.

casperhansen/deepseek-r1-distill-qwen-7b-awq — это 4-битная AWQ-квантизованная версия DeepSeek-R1-Distill-Qwen-7B, опубликованная пользователем casperhansen. Исходную модель разработала DeepSeek; она создана на базе Qwen2.5-7B и дообучена на синтетических данных, сгенерированных DeepSeek-R1, для усиления способностей к рассуждению. Модель предназначена для текстовой генерации, диалогов и задач, требующих пошагового рассуждения, включая математику, программирование и ответы на вопросы. Это decoder-only модель архитектуры Qwen2ForCausalLM примерно с 7 млрд параметров, 28 слоями, 28 attention heads и контекстом до 131072 токенов. Она работает только с текстом; сведения о гарантированном наборе поддерживаемых языков в карточке этой версии не указаны. Ключевое преимущество версии casperhansen — снижение требований к памяти благодаря 4-битной AWQ-квантизации с group size 128 и размеру файлов около 5,58 ГБ, что упрощает локальный запуск. Ограничения включают возможную потерю качества из-за квантизации, зависимость результатов от используемого inference-движка и промпта, а также отсутствие в карточке подробных бенчмарков, описания безопасности и заявленных гарантий качества для разных языков. Репозиторий распространяется по лицензии MIT; для производных моделей также следует учитывать условия лицензии исходной модели Qwen.

coder3101/gemma-4-31B-it-heretic — дообученная версия Gemma 4 31B IT, основанная на google/gemma-4-31B-it. Модель создана сообществом coder3101; по меткам heretic, uncensored, decensored и abliterated она позиционируется как версия с ослабленными ограничениями на ответы. Архитектура — плотная мультимодальная Gemma4ForConditionalGeneration; репозиторий содержит веса Safetensors и предназначен для работы через Transformers. Модель принимает текст и изображения и генерирует текст. Подходит для диалогов, ответов на вопросы по изображениям и документам, распознавания текста на изображениях, анализа диаграмм, написания и исправления кода, суммаризации и задач с длинным контекстом. В README семейства заявлена поддержка более 35 языков и контекст до 256K токенов для версии 31B; аудиообработка описана только для меньших вариантов Gemma 4, поэтому к этой модели её не относим. Гибридное чередование локального и глобального внимания рассчитано на эффективную обработку длинных последовательностей. Модель может ошибаться в фактах, упускать языковые нюансы и отражать смещения обучающих данных; ослабленные ограничения могут повышать риск нежелательных ответов. Лицензия — Apache-2.0.

Карточка модели AST-1320/gemma-4-E4B-it-uncensored-heretic на Hugging Face совпадает с карточкой llmfan46/gemma-4-E4B-it-uncensored-heretic, поэтому описание составлено по ней. llmfan46/gemma-4-E4B-it-uncensored-heretic — производная модель на основе Google Gemma 4 E4B Instruct, опубликованная независимым автором. Это плотная мультимодальная модель для диалога и генерации текста, понимания изображений и аудио, рассуждений, программирования и вызова инструментов. В карточке заявлены гибридное внимание с локальными скользящими окнами и глобальными слоями, а для базовой модели E4B — контекст до 128 тысяч токенов и поддержка более 35 языков. Модель подходит для чат-ботов, суммаризации и создания текстов, извлечения данных из изображений и документов, распознавания речи и голосовых сценариев. В названии и тегах указано uncensored/abliterated, однако README не описывает конкретные изменения и не приводит отдельные оценки качества именно этой производной версии. Возможны фактические ошибки, смещения и трудности с неоднозначными или сложными запросами. Лицензия — Apache-2.0.

unsloth/Hermes-3-Llama-3.1-8B-bnb-4bit — это 4-битно квантованная версия языковой модели Hermes 3 на базе NousResearch/Hermes-3-Llama-3.1-8B, подготовленная и опубликованная Unsloth. Модель предназначена для диалоговых и общих языковых задач, включая многошаговое общение, следование системным инструкциям, рассуждения, ролевые сценарии, генерацию кода, вызов функций и формирование структурированного вывода. Модель относится к семейству Llama 3.1 и содержит 8 млрд параметров; используется библиотека Transformers и формат квантования bitsandbytes 4-bit. Она поддерживает английский язык. Для диалогов применяется шаблон ChatML с ролями system, user и assistant, что обеспечивает управляемость поведения и совместимость с подходом OpenAI API. Сведения о размере контекста и мультимодальных возможностях в README не указаны, поэтому модель следует считать текстовой. К сильным сторонам относятся сниженное потребление памяти благодаря 4-битному представлению, улучшенные возможности управления инструкциями, function calling, структурированный вывод, генерация кода и поддержание многоходового диалога. Ограничения включают возможные потери качества и точности из-за квантования, а также отсутствие подтверждённых характеристик производительности, контекстного окна и поддержки языков, кроме английского. Лицензия указана как llama3.1; условия её применения необходимо проверять по соответствующим лицензионным требованиям Llama 3.1.

Kanana 1.5 8B Instruct — разговорная языковая модель компании Kakao, представленная в мае 2025 года. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, предназначенная для генерации текста и диалогов; доступны веса в формате SafeTensors, библиотека — Transformers. Модель обучена с уточнённой постобработкой и поддерживает интерфейс вызова инструментов. Модель рассчитана на сложные диалоговые задачи, включая программирование, математику и вызов функций. Нативная длина контекста — 32 768 токенов; с настройкой YaRN в конфигурации можно обрабатывать последовательности до 128 тыс. токенов. Карточка указывает английский и корейский языки. По заявлению разработчика, пользовательские данные Kakao не входили в данные предобучения и постобучения. Модель распространяется по лицензии Apache 2.0. Качество ответов может варьироваться в зависимости от задачи; контекст длиннее 32 768 токенов требует настройки YaRN.

Llama-3.1-Nemotron-Nano-4B-v1.1 — компактная плотная авторегрессионная языковая модель на архитектуре Llama, размещённая в репозитории Unsloth и основанная на NVIDIA Llama-3.1-Nemotron-Nano-4B-v1.1. Это дообученный чекпойнт примерно на 3,9 млрд параметров, созданный для диалога, следования инструкциям и рассуждений; в обучении использовались SFT и этапы обучения с подкреплением для математики, кода, работы с инструментами и предпочтений в чате. Модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и интерфейс вызова инструментов. Модель предназначена для локального запуска на одном GPU и для создания чат-ботов, агентных систем и приложений RAG. README указывает поддержку английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков, а также задач с кодом. Карточка сообщает, что модель готова к коммерческому использованию, однако метаданные обозначают лицензию только как other и не раскрывают её условия, поэтому перед использованием следует проверить лицензионные условия репозитория. В README приведены результаты на отдельных бенчмарках; они получены при контексте до 32 тыс. токенов и не гарантируют аналогичного качества в других сценариях.

Llama-3.1-Nemotron-Nano-8B-v1 — языковая модель NVIDIA, дообученная на основе Meta Llama-3.1-8B-Instruct. Это плотный авторегрессионный Transformer с архитектурой Llama и примерно 7,5 млрд параметров; модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и интерфейс вызова инструментов. Модель предназначена для диалогов, следования инструкциям и рассуждений, включая задачи по математике и программированию. Её можно применять в чат-ботах, агентных системах и RAG-сценариях; заявлен баланс качества и вычислительной эффективности, включая запуск на одной RTX GPU. Основной язык — английский; также заявлена поддержка немецкого, французского, итальянского, португальского, хинди, испанского и тайского. В README описано многоэтапное дообучение с SFT и обучением с подкреплением, в том числе для математических задач, кода, рассуждений, диалогов и вызова инструментов. Модель заявлена как готовая к коммерческому использованию, однако в метаданных лицензия обозначена как «other», поэтому перед внедрением следует проверить условия лицензии на странице репозитория. Результаты зависят от режима рассуждений и настроек генерации; приведённые в карточке оценки измерялись при длине последовательности 32K токенов, а не на полном контексте.

Llama3.1-SuperDeepFuse-CrashCourse12K — мультиязычная языковая модель для диалогов и выполнения инструкций, разработанная на базе agentlans/Llama3.1-SuperDeepFuse и дообученная на 12 тысячах примеров из agentlans/crash-course. В метаданных указаны 7,5 млрд параметров, архитектура Llama с плотной моделью LlamaForCausalLM, контекст до 131 072 токенов и формат safetensors. README описывает дообучение методом LoRA с 4-битной квантизацией во время обучения. Модель предназначена для генерации ответов, следования инструкциям, рассуждений, решения математических задач и программирования. Карточка указывает на мультиязычную поддержку; конкретные языки не перечислены. README приводит результаты оценивания на IFEval и BBH и предупреждает, что ответы могут быть ошибочными и требуют проверки в критически важных сценариях. Лицензия — llama3.1, с условиями использования Llama 3.1.

hermes42/Phi-3-medium-128k-instruct-imatrix-GGUF — это набор GGUF-квантизированных версий модели Phi-3-Medium-128K-Instruct, опубликованный пользователем или организацией hermes42. Исходная модель разработана Microsoft и содержит около 14 миллиардов параметров. Для квантования использована библиотека llama.cpp, а importance matrix рассчитана на наборе group_10_merged.txt для улучшения perplexity. Модель предназначена для генерации текста и работы в формате инструкций: ответов на вопросы, рассуждений, задач по математике, программированию, логике и обработки длинного контекста. Поддерживаемый контекст исходной модели составляет до 128 тысяч токенов. В метаданных указана многоязычность, однако основное назначение и оценивание описаны прежде всего для английского языка. Формат GGUF удобен для локального запуска и сценариев с ограниченными ресурсами, а квантизация может снизить требования к памяти и задержку по сравнению с полноразмерной моделью. К сильным сторонам относятся большой контекст, ориентация на рассуждения, код и математику, а также оптимизация квантов с помощью importance matrix. Ограничения включают возможное снижение точности из-за квантизации, типичные для языковых моделей ошибки и необходимость самостоятельно проверять корректность, безопасность и справедливость результатов, особенно в высокорисковых применениях. Модель выпущена по лицензии MIT.

unsloth/Phi-4-mini-instruct-GGUF — GGUF-версия модели Phi-4-mini-instruct от Microsoft, подготовленная Unsloth с исправлениями токенизации и шаблона чата. Исправлены совпадение токенов padding и EOS, лишний EOS-токен в шаблоне, корректно настроен токен завершения <|end|> и изменён unk_token. Модель распространяется как открытая модель семейства Phi-4. Модель предназначена для генерации текста, диалоговых сценариев и следования инструкциям, включая задачи программирования, математики, обработки естественного языка и рассуждений. Она обучалась на синтетических данных и отфильтрованных общедоступных веб-источниках, а также прошла supervised fine-tuning и direct preference optimization для повышения точности следования инструкциям и безопасности. Поддерживается контекст длиной до 128K токенов и многоязычное использование. Ключевые сведения об архитектуре и точном размере модели в README не указаны. GGUF и динамическая квантизация Unsloth ориентированы на более эффективное локальное использование при сохранении качества по сравнению со стандартной 4-битной квантизацией, однако конкретный уровень квантизации и требования к ресурсам зависят от выбранного файла. Модель ограничена возможными ошибками генерации и не гарантирует абсолютную безопасность или корректность ответов. Указана лицензия MIT.

PINQWEN-3.5-9B-1M-GGUF — компактная reasoning-модель, разработанная Blackfrost AI на базе архитектуры Qwen 3.5 9B. Модель предназначена для генерации текста, задач программирования, рассуждений и работы с большими объёмами контекста. Она распространяется в формате GGUF для локального запуска через llama.cpp и поддерживает режим пошагового рассуждения с блоками <think> и последующим ответом. Заявленное контекстное окно составляет до 1 000 000 токенов благодаря расширению YaRN, что подходит для анализа целых кодовых баз, книг и других объёмных документов. Доступны варианты квантования от 2 до 8 бит, а также f16; рекомендованным балансом размера и качества назван Q4_K_M. В комплект входят MTP-голова для speculative decoding и отдельный vision projector для обработки изображений в совместимых средах, однако конкретные поддерживаемые языки в README не указаны. К сильным сторонам относятся очень длинный контекст, локальное развертывание, открытое рассуждение, широкий выбор квантований и возможность мультимодального ввода при использовании совместимого runtime. Ограничения включают компромисс между размером, скоростью и качеством при квантовании, зависимость мультимодальных и MTP-возможностей от поддержки со стороны runtime, а также заявленную модель поведения без встроенных отказов, что требует ответственного применения. Лицензия — Apache-2.0; базовая архитектура указана как Qwen 3.5 9B.

Qwen2.5-7B-DeepSeek-R1-1M — объединённая плотная языковая модель на архитектуре Qwen2 с 7,1 млрд параметров. Её создал prithivMLmods методом TIES с помощью MergeKit, объединив DeepSeek-R1-Distill-Qwen-7B и Qwen2.5-7B-Instruct на базе Qwen2.5-7B-Instruct-1M. В репозитории веса представлены в формате safetensors; конфигурация слияния использует точность bfloat16. Модель предназначена для диалогов и генерации текста, включая ответы в стиле рассуждений. Заявленная длина контекста — до 1 010 000 токенов; модель работает через библиотеку Transformers. Она принимает текст и генерирует текст, а метаданные также отмечают интерфейс для вызова инструментов. Сведения о лицензии в предоставленных данных отсутствуют. Качество и поведение после слияния могут отличаться от исходных моделей; заявленная длина контекста не гарантирует одинаковую точность на всём объёме.

QuantTrio/Qwen3.5-35B-A3B-AWQ — это AWQ-квантизированная версия мультимодальной модели Qwen3.5-35B-A3B, разработанной командой Qwen. Репозиторий QuantTrio содержит веса в формате, совместимом с Transformers и сервером инференса vLLM; квантизация выполнена методом data-free, без калибровочного датасета. Модель предназначена для генерации текста, программирования, рассуждений, агентских сценариев и анализа изображений с текстовыми запросами. Модель представляет собой causal language model с vision encoder и гибридной архитектурой, объединяющей Gated Delta Networks и разреженный Mixture-of-Experts. Всего заявлено 35B параметров, из которых при обработке активируется около 3B; указаны 40 слоёв, hidden dimension 2048 и контекст до 32768 токенов в рекомендуемой конфигурации vLLM. Поддерживаются 201 язык и диалект. Доступны вызовы инструментов, reasoning-режим и speculative decoding через соответствующие возможности vLLM. Ключевые преимущества — существенно меньшие требования к памяти по сравнению с полной версией модели, эффективный MoE-инференс и поддержка текстово-визуальных задач. Ограничения включают зависимость от очень новых версий vLLM и Transformers, CUDA 12.8, специальных параметров запуска и настройки expert parallelism при распределённом инференсе; README не содержит независимых результатов бенчмарков для этой AWQ-версии. Модель распространяется по лицензии Apache-2.0.

QuantTrio/Qwen3.5-4B-AWQ — это AWQ-квантизированная версия мультимодальной модели Qwen3.5-4B, разработанной командой Qwen. Репозиторий содержит веса и конфигурацию в формате Hugging Face Transformers; квантизация выполнена без использования калибровочных данных. Модель предназначена для задач понимания и генерации текста, работы с изображениями, рассуждений, программирования и агентских сценариев. Модель представляет собой причинную языковую модель с vision encoder и гибридной архитектурой, объединяющей Gated Delta Networks и разреженный Mixture-of-Experts. Она содержит около 4 млрд параметров, 32 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Доступны интеграции с Transformers, vLLM, SGLang и KTransformers, а также поддержка tool calling и reasoning parser в vLLM. К сильным сторонам относятся мультимодальность, большой контекст, относительно небольшой размер и оптимизация AWQ для более эффективного инференса. Ограничения связаны с необходимостью совместимого программного и аппаратного окружения: в README указаны vLLM версии не ниже 0.16.0rc2.dev447, экспериментальная версия Transformers, CUDA 12.8 и дополнительные исправления конфигурации. Конкретные значения производительности в README не приведены. Модель распространяется по лицензии Apache-2.0.

barrydeen/Qwen3.8-27B-AWQ-4bit — квантизированная версия мультимодальной модели Qwen/Qwen3.8-27B, разработанной командой Qwen и подготовленной пользователем barrydeen. Модель предназначена для генерации текста и обработки изображений с текстом, включая диалоговые сценарии, работу с кодом, арифметикой, инструментами и рассуждениями. Модель имеет гибридную архитектуру Qwen3_5ForConditionalGeneration с 27 млрд параметров. Из 64 декодерных слоёв 16 используют полноценное внимание, а 48 — Gated DeltaNet. Линейные слои квантизированы методом AWQ в формате W4A16 с асимметричной схемой и размером группы 128; чувствительные компоненты, включая vision tower, Gated DeltaNet и MTP head, сохранены в BF16. Размер модели составляет около 27,8 ГБ вместо 55,6 ГБ в BF16. Заявлена поддержка контекста до 131 072 токенов при использовании vLLM, а также MTP-спекулятивного декодирования. Сильные стороны модели — существенное снижение требований к памяти при сохранении чувствительных компонентов в исходной точности, поддержка мультимодальности, инструментальных вызовов и высокая измеренная скорость генерации 85–95 токенов в секунду на двух RTX 3090. Ограничения включают отсутствие формального набора бенчмарков, калибровку только на текстовых данных и последовательностях длиной до 1024 токенов, поэтому качество на более длинных контекстах и мультимодальных данных отдельно не подтверждено. Для MTP требуется тензорный, а не конвейерный параллелизм. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

darkc0de/Qwen3.8-27B-heretic — декензурированная версия Qwen/Qwen3.8-27B, созданная с помощью Heretic v1.4.0. Это плотная модель с 27 млрд параметров, построенная на архитектуре семейства Qwen3.5: языковая модель с визуальным энкодером, поддерживающая диалог и анализ изображений. В метаданных Hugging Face для неё указана задача image-text-to-text; исходная карточка также описывает понимание видео, но каталог не отмечает эту возможность отдельно. Модель предназначена для сложных запросов, программирования, исследований, многошагового планирования, работы с документами и визуальными материалами. Контекст составляет 262 144 токена с возможностью расширения до 1 000 000. Режим рассуждения включён по умолчанию и может настраиваться. По сравнению с исходной моделью, согласно карточке, частота отказов в указанной проверке снизилась с 89 до 64 из 100; это не гарантирует отсутствие отказов или пригодность ответов для любой задачи. Веса опубликованы в формате safetensors и совместимы с Transformers, vLLM и SGLang. Лицензия — Apache-2.0. В карточке не приведены языки модели; описание не приписывает ей поддержку конкретных естественных языков.

SassyDiffusion/Qwen3.8-27B-heretic-GGUF — GGUF-сборка модели SassyDiffusion/Qwen3.8-27B-heretic, основанной на Qwen3.8-27B и изменённой методом abliteration. Это разговорная причинная языковая модель с визуальным энкодером, рассчитанная на диалог, анализ изображений и видео, программирование, профессиональные и исследовательские задачи, а также многошаговое планирование. Модель содержит 27 млрд параметров; базовая архитектура Qwen3.8 использует 64 слоя и поддерживает контекст 262 144 токена с возможностью расширения до 1 000 000. Метаданные указывают формат GGUF BF16. В карточке базовой модели заявлена поддержка понимания изображений и видео, гибкого управления режимом рассуждений и агентных сценариев. Для этой версии README приводит результат abliteration: 4 отказа из 100 запросов против 99 из 100 у исходной модели в указанной проверке; это означает заметно меньше отказов, но не гарантирует поведение на других запросах. Лицензия — Apache-2.0. Перед использованием следует учитывать, что README описывает параметры abliteration, но не приводит отдельной оценки качества именно этой GGUF-сборки.

TelperionAI/Qwen3.8-27B-INT4-AWQ-GPTQ — квантизированная версия языковой модели Qwen3.8-27B, основанная на базовой модели Qwen/Qwen3.8-27B. Модель создана с использованием llm-compressor и сочетает AWQ-масштабирование, учитывающее активации, с последующей GPTQ-квантизацией. Она предназначена для запуска и генерации текста в задачах общего назначения, включая программирование, математику, STEM, диалоговые и многоязычные сценарии. Основная часть MLP-слоёв квантизирована в INT4 с группами размера 32 и асимметричными шкалами, отдельные компоненты используют INT8, а эмбеддинги, lm_head, нормализации, параметры состояния GDN, vision tower и MTP-head сохранены в BF16. Размер модели на диске составляет около 25,1 ГБ; требуется видеокарта с Compute Capability не ниже 7.5, поэтому поддерживаются Turing, Ampere, Ada и Blackwell без необходимости FP8 или FP4. Контекст, точное число языков и полный набор модальностей в README не указаны, однако присутствует vision tower и заявлена калибровка на многоязычных данных. Ключевое преимущество модели — повышенная близость к исходной BF16-версии по сравнению с некоторыми другими 4-битными сборками: в заявленном тесте совпадение top-1 составило 96,30%, а медианная позиция первого расхождения генерации — 48 токенов. Модель поддерживает vLLM и MTP speculative decoding, но скорость на Blackwell примерно в 2,3 раза ниже, чем у NVFP4-варианта. Размер 25,1 ГБ не позволяет комфортно разместить её на одной видеокарте с 24 ГБ памяти с учётом KV-кэша, а результаты оценены только на одном корпусе и не проверены на независимом распределении. Распространяется по лицензии Apache-2.0.