I.11Классификация, ранжирование и сопоставление

ZEUS-8B-V24 — объединённая языковая модель семейства Llama 3.1, созданная автором карточки с помощью mergekit и метода DARE TIES. В объединение вошли инструкционная модель unsloth/Meta-Llama-3.1-8B-Instruct и несколько других моделей Llama 3.1, включая варианты для диалога, рассуждений и медицинских ответов. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; длина контекста — до 131 072 токенов. Модель предназначена для генерации текста и диалогов, включая ответы на инструкции и задачи, где полезны рассуждения. Метаданные также отмечают интерфейс вызова инструментов. В README приведены результаты Open LLM Leaderboard, в том числе 60% на IFEval и 26,15% на BBH; эти оценки не гарантируют качество в конкретном сценарии. Лицензия в предоставленных сведениях не указана.

llmware/dragon-mistral-7b-v0 — языковая модель из серии dRAGon, разработанная компанией llmware. Она дообучена на базе Mistral-7B-Base с ориентацией на фактологичные ответы по сложным деловым, юридическим и нормативным документам, снижение галлюцинаций и выдачу коротких, понятных ответов для автоматизации рабочих процессов. Модель предназначена для сценариев Retrieval-Augmented Generation (RAG), включая ответы на вопросы по предоставленному контексту, извлечение пар «ключ–значение» и базовое суммирование. Указанный язык — английский. Архитектура — Mistral-7B; размер контекста и другие параметры не приведены. По результатам двух прогонов RAG-Instruct-Benchmark-Tester модель получила средний показатель правильных ответов 96,5 из 100, 92,5% по классификации отсутствия ответа, 97,5% в задачах с ответами «да/нет» и 81,25% в задачах на математику и логику. В тестах галлюцинаций не наблюдалось. Сильные стороны модели — работа с закрытым контекстом, извлечение фактов, ответы на вопросы по таблицам и сложным документам, а также пригодность для корпоративных процессов в финансовой, юридической и регулируемой сферах. Ограничения включают возможную неточность или неполноту ответов, поэтому необходимы проверка фактов и защитные механизмы. Для использования указана лицензия Apache 2.0; модель доступна через Transformers и требует специального формата промпта с контекстом документа и вопросом.

ERNIE-4.5-300B-A47B-PT — текстовая языковая модель семейства ERNIE 4.5 от Baidu, опубликованная в формате весов PyTorch для Transformers. Это постобученная модель с архитектурой MoE: 300 млрд параметров всего, из них 47 млрд активируются для каждого токена; в конфигурации указаны 54 слоя и контекст до 131 072 токенов. Модель предназначена для диалогов, понимания языка и генерации текста. Её обучали совместно на текстовых и визуальных данных, однако эта версия обозначена как текстовая и принимает текст. Модель поддерживает английский и китайский языки, а для запуска рассчитана на крупную мног GPU инфраструктуру; в README приведён пример с 16 GPU по 80 ГБ при использовании vLLM. Репозиторий содержит веса Safetensors и предназначен для Transformers. Лицензия — Apache 2.0. Карточка не приводит результатов сравнительной оценки качества.

Falcon-H1-7B-Instruct — мультиязычная языковая модель, разработанная командой Falcon. Это плотная авторегрессионная модель с гибридной архитектурой Transformer и Mamba, дообученная на базе tiiuae/Falcon-H1-7B-Base для диалогового взаимодействия и генерации текста. Модель содержит 6,4 млрд параметров и поддерживает контекст до 262 144 токенов. Модель предназначена для диалогов, ответов на вопросы, рассуждений и других задач генерации текста. В карточке указана поддержка английского и многоязычного ввода; метаданные перечисляют арабский, чешский, немецкий, английский, испанский, французский, хинди, итальянский, японский, корейский, нидерландский, польский, португальский, румынский, русский, шведский, урду и китайский. Для запуска подходят Transformers и vLLM; файлы GGUF доступны в официальной коллекции для llama.cpp. Карточка приводит результаты сравнительной оценки на общих и логических задачах, но они не гарантируют качество в каждом сценарии. Лицензия — Falcon-LLM License; перед применением следует проверить её условия.

Карточка модели ginipick/Gemma-3-R1984-4B на Hugging Face совпадает с карточкой VIDraft/Gemma-3-R1984-4B, поэтому описание составлено по ней. Gemma3-R1984-4B — мультимодальная модель для диалогов и анализа изображений, дообученная VIDraft на базе Google Gemma 3 4B. В карточке заявлена работа с изображениями, видео и документами, включая PDF, CSV и TXT; метаданные классифицируют модель как image-text-to-text и указывают архитектуру Gemma3ForConditionalGeneration с плотными весами в формате Safetensors. Модель рассчитана примерно на 4 млрд параметров и контекст до 8 000 токенов. Сценарии применения включают визуальные вопросы и ответы, анализ документов, сравнение файлов, диалог и исследовательские запросы с поиском в интернете через SERPHouse API и цитированием найденных источников. Указана поддержка английского, корейского, японского, китайского, испанского, русского, арабского, хинди, индонезийского, французского и немецкого языков. Поиск в интернете требует API-ключа; обработка видео и документов описана как часть платформы и не подтверждена тегом задачи модели. В метаданных указана лицензия Gemma; README дополнительно упоминает MIT для Agentic AI-платформы, поэтому условия для весов следует связывать с лицензией Gemma.

OnlyTextLLMs выпустила текстовую версию Gemma 4 E2B IT на основе google/gemma-4-E2B-it. Это плотная авторегрессионная языковая модель с архитектурой Gemma4ForCausalLM; из исходной мультимодальной модели удалены компоненты обработки изображений и аудио и соответствующие специальные токены, а текстовый блок и языковая голова сохранены. Карточка указывает 4,65 млрд параметров, 35 слоёв и размер скрытого состояния 1536, тогда как метаданные каталога приводят 1,6 млрд параметров; точный размер поэтому расходится между источниками. Метаданные указывают контекст до 131072 токенов и поддержку диалогового режима. Модель предназначена для генерации текста и диалоговых сценариев, где вход и выход представлены текстом. Она не принимает изображения или аудио, в отличие от исходной Gemma 4 E2B IT. README сообщает, что новые обучающие данные и дообучение не добавлялись: изменён состав компонентов модели. Репозиторий распространяется по лицензии Apache 2.0.

Gemma4 E4B 8B Heretic Ultra — версия Gemma 4 E4B Instruct от Google DeepMind, обработанная llmfan46 с помощью Heretic v1.2.0 и метода Arbitrary-Rank Ablation (ARA) для снижения склонности к отказам. Это плотная мультимодальная модель семейства Gemma 4 для диалога и генерации ответов по тексту, изображениям и аудио. В репозитории доступны исходные веса fp16 в формате safetensors; в отдельной ветке размещена конверсия MLX 4-bit для mlx-lm на Apple Silicon. Модель подходит для диалоговых сценариев, рассуждений, программирования, анализа изображений и обработки аудио. В приведённых автором тестах доля отказов составила 3 из 100 против 99 из 100 у исходной модели; точность на PIQA составила 85,85%, а на MMLU — 68,60%. Эти результаты относятся к указанным тестам и не гарантируют качество в других задачах. Ablation немного снизила результаты относительно исходной Gemma 4 E4B Instruct. Лицензия — Apache 2.0. Поскольку модель специально изменена для снижения отказов, она может отвечать на запросы, которые исходная модель отклоняла; следует учитывать это при выборе сценариев применения.

GPT-4 Turbo — мультимодальная модель OpenAI с поддержкой зрения. Она предназначена для диалогов и задач, где нужно анализировать изображения вместе с текстовыми запросами. Для запросов с изображениями поддерживаются JSON mode и вызов функций. В README указано, что обучающие данные охватывают период до декабря 2023 года. Размер модели, длина контекста и условия лицензии в предоставленных материалах не описаны.

Ling-3.0-tiny-MLX-4bit — MLX-конверсия модели inclusionAI/Ling-3.0-tiny, опубликованная rapid-mlx. Это языковая модель для генерации текста, рассуждений и вызова инструментов, рассчитанная на локальный запуск на компьютерах Apple Silicon через MLX и rapid-mlx. Модель использует разреженную MoE-архитектуру: всего 7,9 млрд параметров, из которых 1,3 млрд активируются для каждого токена; применяются 128 экспертов с выбором top-8 и одним общим экспертом. В архитектуре используется гибридный стек внимания KDA и MLA, контекст поддерживает до 131 072 токенов. Квантование выполнено в 4 битах с размером группы 64, размер файла составляет около 4,2 ГБ, поэтому модель помещается и работает на Mac с 8 ГБ unified memory. Языки и специализированные модальности в README не указаны; модель предназначена для работы с текстом. Сильными сторонами являются большое контекстное окно, низкое число активных параметров при сохранении общей ёмкости 7,9 млрд параметров, поддержка рассуждений и нативного разбора вызовов инструментов. Ограничения связаны с зависимостью от MLX и Apple Silicon, а также с необходимостью использовать rapid-mlx, поскольку архитектура bailing_hybrid пока не входит в upstream mlx-lm. 4-битное квантование может снижать точность по сравнению с полной версией, однако в README приведены результаты проверки соответствия реализации официальному коду. Модель распространяется по лицензии MIT, унаследованной от базовой модели.

amd/Llama-3.1-70B-Instruct-FP8-KV — квантизированная версия Meta-Llama-3.1-70B-Instruct, разработанная Advanced Micro Devices (AMD) с применением инструментария Quark и калибровочных образцов из датасета Pile. Модель предназначена для задач генерации текста и инструкционного взаимодействия, а также для эффективного развертывания через совместимый с vLLM backend. Точные поддерживаемые языки и размер контекстного окна в README не указаны. Квантизация выполнена для всех линейных слоёв, кроме lm_head: веса и активации представлены в формате FP8 с симметричным масштабированием на тензор, а KV-cache также хранится в FP8. Такой подход снижает требования к памяти и может повысить эффективность инференса, но способен незначительно ухудшать точность по сравнению с исходной моделью. На тесте Perplexity-wikitext2 значение perplexity составило 3,8561 против 3,7797 у исходной Meta-Llama-3.1-70B-Instruct; результаты получены в режиме псевдоквантизации и могут отличаться от фактического инференса. Для использования требуется экспортированный формат Quark и окружение с Quark; поддерживается развёртывание с использованием vLLM. Лицензия указана как llama3.1, при этом модификации принадлежат Advanced Micro Devices, Inc.; применимые условия следует уточнять в лицензии Meta по указанной ссылке.

MLX Community Llama-3.1-8B-Instruct-4bit — это 4-битно квантованная версия инструкционной языковой модели Llama 3.1 8B Instruct, разработанной Meta и адаптированной сообществом MLX для запуска с использованием экосистемы MLX. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, написание и преобразование текста, обобщение и другие задачи обработки естественного языка. Модель относится к текстовым моделям и поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Размер базовой модели составляет 8 миллиардов параметров. Квантование до 4 бит снижает требования к памяти и может упростить локальный запуск, однако способно немного ухудшить точность и качество по сравнению с полной версией. В README не указаны размер контекстного окна, конкретные требования к оборудованию и результаты бенчмарков. Модель распространяется по лицензии Llama 3.1 Community License от Meta. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Llama», сохранение уведомления об авторстве и соблюдение Acceptable Use Policy. Для организаций с более чем 700 миллионами ежемесячно активных пользователей предусмотрено требование получить отдельную лицензию Meta.

JetBrains/Mellum2-12B-A2.5B-Thinking-GGUF-Q4_K_M — это квантизированная GGUF-версия рассуждающей языковой модели Mellum2, разработанной JetBrains. Модель предназначена для генерации текста и решения задач, требующих пошагового рассуждения, и может запускаться локально через llama.cpp, Ollama, LM Studio и другие совместимые среды. Модель использует архитектуру Mixture-of-Experts с 64 экспертами, из которых для каждого токена активируются 8. Заявленный контекст составляет 131 072 токена. Модель поддерживает английский язык и выводит цепочку рассуждений в блоках <think>...</think> перед финальным ответом. Вариант Q4_K_M использует 4-битное k-квантизирование, занимает около 8,1 ГБ и обеспечивает сбалансированное соотношение качества и размера: совпадение наиболее вероятного токена с BF16-версией составляет около 89,8% на указанном тесте. Основные преимущества — возможность локального запуска, большой контекст, MoE-архитектура и заметное уменьшение размера по сравнению с BF16-версией. Ограничения связаны с потерями точности из-за 4-битного квантизирования, необходимостью совместимого рантайма и тем, что README не содержит подробных результатов оценки исходной модели. Модель распространяется по лицензии Apache 2.0.

Meta-Llama-3.1-405B-Instruct-AWQ-INT4 — это общественно подготовленная квантованная версия большой языковой модели Meta-Llama-3.1-405B-Instruct, разработанной Meta AI. Модель предназначена для генерации текста и ведения многоязычных диалогов, включая ассистентские сценарии, ответы на вопросы и другие задачи, поддерживаемые instruction-tuned моделями. Она работает в формате text in/text out и интегрируется с Transformers, AutoAWQ и Text Generation Inference. Модель содержит 405B параметров и использует архитектуру Llama 3.1. FP16-версия была преобразована в INT4 с помощью AutoAWQ: применяются GEMM-ядра, zero-point quantization и размер группы 128. В README заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Точный размер контекстного окна в представленных данных не указан. Ключевое преимущество — значительное снижение требований к памяти по сравнению с FP16 при сохранении возможностей 405B-модели и поддержке оптимизированного инференса. Ограничения связаны с экстремально большим размером: для загрузки чекпойнта требуется около 203 GiB VRAM без учета KV-кэша и CUDA graphs, поэтому для практического запуска нужна мног GPU-конфигурация или сопоставимая инфраструктура. Модель распространяется по лицензии llama3.1; это именно community-driven квантованная версия оригинальной модели Meta.

Карточка модели SillyTilly/Meta-Llama-3.1-70B на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3.1-70B, поэтому описание составлено по ней. NousResearch/Meta-Llama-3.1-70B — текстовая большая языковая модель, разработанная Meta и представленная в репозитории NousResearch. Это плотная авторегрессионная модель семейства Llama 3.1 с архитектурой оптимизированного Transformer и Grouped-Query Attention; объём — 69,5 млрд параметров. Модель принимает и генерирует текст, а контекстное окно составляет до 131 072 токенов. Модель предназначена для генерации текста и многоязычного диалогового взаимодействия: её можно применять как основу для чат-ассистентов, а также для адаптации под различные задачи генерации естественного языка. Поддерживаемые языки — английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Карточка описывает инструктивно настроенные модели семейства как прошедшие SFT и RLHF, но не уточняет отдельно тип настройки именно этого репозитория. К преимуществам относятся большой контекст и поддержка нескольких языков. Возможны ошибки и небезопасные ответы; качество на языках вне перечисленных поддерживаемых языков не гарантируется. Модель распространяется по пользовательской коммерческой лицензии Llama 3.1 Community License, условия которой следует проверить перед использованием.

Meta-Llama-3-8B-Instruct-old-GGUF — это GGUF-версия инструкционно дообученной большой языковой модели Meta Llama 3 с 8 млрд параметров, подготовленная для распространения пользователем bartowski. Исходную модель разработала Meta. Она предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, подготовку текста и другие задачи обработки естественного языка. В README указаны английский язык и текстовая модальность; модель относится к семейству Llama 3 и использует архитектуру decoder-only Transformer, однако подробности о контекстном окне, вариантах квантизации и характеристиках конкретной GGUF-сборки не приведены. Сильными сторонами являются относительно компактный размер для локального запуска и ориентация на следование инструкциям. Ограничения, связанные с качеством, безопасностью и применимостью результатов, в README отдельно не описаны. Модель распространяется по лицензии Meta Llama 3 Community License. При распространении материалов или продуктов на их основе требуется соблюдать условия лицензии, включая указание «Built with Meta Llama 3», сохранение уведомления об авторстве и соблюдение Acceptable Use Policy. Для организаций с более чем 700 млн ежемесячных активных пользователей предусмотрено получение отдельной лицензии Meta.

QuantFactory/Mistral-7B-Instruct-v0.1-GGUF — квантизированная версия модели Mistral-7B-Instruct-v0.1, разработанной Mistral AI. Модель предназначена для генерации текста и ведения диалогов, включая сценарии, где требуется выполнение инструкций на естественном языке. Она распространяется в формате GGUF и создана с использованием llama.cpp. Модель основана на архитектуре Mistral с 7 миллиардами параметров и поддерживает несколько уровней квантизации: Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_0, Q4_K_M, Q4_K_S, Q5_0, Q5_K_M, Q5_K_S, Q6_K и Q8_0. Разные варианты позволяют выбирать компромисс между размером файла, требованиями к памяти и качеством генерации. README не содержит сведений о поддерживаемых языках, размере контекста, модальностях и конкретных ограничениях качества. Модель подходит для локального запуска и интеграции с инструментами на базе llama.cpp, однако конкретные требования к оборудованию зависят от выбранного уровня квантизации. Лицензия — Apache 2.0.

Это квантованная сборка модели NVIDIA Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16, подготовленная FreedomAISVR в формате GGUF. Она предназначена для генерации текста и диалогов, включая задачи рассуждения. Архитектура сочетает Mamba2 и Transformer и использует MoE: из 128 экспертов для каждого токена выбираются шесть. Всего в модели около 30 млрд параметров, из которых активно около 3 млрд; контекст — до 262 тыс. токенов. Веса экспертов хранятся в MXFP4, плотные веса — в Q8_0, а тензоры Mamba2 — в F16 для совместимости с CUDA-ядрами SSM. В репозитории также есть F16-проектор SigLIP для обработки изображений. Для полноценного запуска требуется среда с поддержкой GGUF и мультимодального проектора, например llama.cpp. Гибридный формат экономит память, однако операции Mamba2 на CUDA могут переходить на CPU, что снижает скорость. README не уточняет лицензию производной сборки; метаданные указывают лицензию «other», поэтому условия следует сверить с карточкой модели и условиями базовой модели.

yejingfu/nmagic-Meta-Llama-3.1-8B-Instruct-FP8 — это FP8-квантизированная версия Meta-Llama-3.1-8B-Instruct, разработанная Neural Magic на базе модели Meta. Она предназначена для задач генерации текста и ассистентского диалога, включая коммерческое и исследовательское использование. Модель принимает и возвращает текст; в метаданных указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, однако README отдельно ограничивает использование языками, отличными от английского, поэтому языковая применимость требует осторожной проверки. Модель имеет архитектуру Meta-Llama-3.1 и около 8 миллиардов параметров. Веса и активации линейных операторов в трансформерных блоках квантизированы в FP8 с использованием симметричной потензорной схемы. Это снижает число битов на параметр с 16 до 8, а размер на диске и требования к памяти GPU примерно на 50%. Модель оптимизирована для инференса с vLLM и поддерживает OpenAI-совместимую подачу сервиса. По данным README, средний результат на OpenLLM Leaderboard составляет 73,44 против 73,79 у неквантизированной исходной модели, что указывает на небольшое снижение качества при заметном сокращении требований к ресурсам. Для квантизации использовались 512 калибровочных последовательностей UltraChat длиной до 4096 токенов; это не подтверждает максимальный контекст модели. Модель распространяется по лицензии llama3.1, применяемой к исходной Meta Llama 3.1.

QuantFactory/Nous-Hermes-2-SOLAR-10.7B-GGUF — квантизированная версия Nous-Hermes-2-SOLAR-10.7B, созданная с помощью llama.cpp. Базовую модель разработала Nous Research на основе SOLAR 10.7B; обучение проводилось на 1 000 000 примеров, преимущественно сгенерированных GPT-4, а также на качественных данных из открытых наборов, включая teknium/OpenHermes-2.5. Модель предназначена для генерации текста, диалоговых сценариев и выполнения инструкций, включая задачи программирования и рассуждений. Она работает в формате instruct/chat и использует шаблон ChatML. Указан английский язык, поддерживаются текстовые входы и выходы; размер модели — 10,7 млрд параметров. Квантизация снижает требования к ресурсам по сравнению с исходной моделью, но конкретный формат квантизации, размер контекста и аппаратные требования в README не указаны. По заявлению авторов, модель заметно превосходит базовую SOLAR 10.7B на бенчмарках GPT4All, AGIEval, BigBench и TruthfulQA; для GPT4All указан средний результат 74,69%, для AGIEval — 47,79%. Ограничения включают ориентацию на английский язык, возможные ошибки и галлюцинации, а также отсутствие подробной информации о варианте квантизации и эксплуатационных требованиях. Модель распространяется по лицензии Apache-2.0.

prithivMLmods/Olmo-3-7B-Instruct-AIO-GGUF — набор GGUF-квантизаций модели Olmo-3-7B-Instruct, разработанной Allen Institute for AI. Это авторегрессионная трансформерная языковая модель примерно на 7 миллиардов параметров, дообученная методами supervised fine-tuning и direct preference optimization на наборах данных Tulu 2 и UltraFeedback. Модель предназначена для генерации текста, ответов на вопросы, следования инструкциям, многошагового диалога и сценариев с использованием инструментов. Она поддерживает английский язык, контекст до 2048 токенов и ориентирована на создание контекстно-зависимых и безопасных ответов, включая задачи в технической, образовательной и юридической областях. Доступны варианты в форматах BF16, F16, F32 и различных уровнях квантизации, что позволяет выбирать между качеством, размером файла и требованиями к ресурсам. К сильным сторонам относятся открытость модели и обучающего кода, поддержка диалоговых и инструкционных сценариев, а также широкий выбор GGUF-вариантов для эффективного локального запуска. Ограничениями являются заявленная длина контекста 2048 токенов и поддержка только английского языка; сведения о мультимодальности отсутствуют, поэтому модель следует рассматривать как текстовую. Модель распространяется по лицензии Apache 2.0.

Opti-27B — сжатая мультимодальная версия Qwen3.8-27B с 27 млрд параметров. Модель поддерживает работу с текстом и изображениями: визуальный ввод обрабатывается через отдельный vision projector размером около 0,9 ГБ. В README разработчик Opti-27B явно не указан; базовой моделью названа Qwen/Qwen3.8-27B. Формат GGUF рассчитан на использование через llama.cpp и запуск на одной потребительской GPU с 16 ГБ памяти, включая место для контекста. Основное назначение модели — текстовая генерация, программирование, автономные агентные сценарии и задачи с анализом изображений. Файл модели занимает около 11,8 ГБ и использует в среднем 3,47 бита на параметр, что примерно в 4,6 раза меньше исходной 16-битной версии. На тесте wikitext-2 заявлена близкая к оригиналу perplexity: 6,487 против 6,456 у 16-битной модели; по этому показателю Opti также сопоставима с llama.cpp Q4_K_M при меньшем размере. Главное преимущество — сочетание компактности, поддержки vision и сохранения средней языковой способности при запуске на 16-ГБ GPU. Однако качество сжатия зависит от типа данных: на веб-тексте отклонение от 16-битной версии составляет около 4,2%, на исходном коде — 21,8%, а на тексте романа — 58,9%. Распределение вероятностей токенов также заметно отличается от оригинала, поэтому модель может хуже воспроизводить запомненные фрагменты и точный код; для таких задач в README рекомендуется Q4_K_M. Модель распространяется по лицензии opti-model-license, обозначенной как other; подробные условия находятся в файле LICENSE.

pankajmathur/orca_mini_v7_72b — разговорная языковая модель на архитектуре Qwen2, созданная Pankaj Mathur и дообученная на различных наборах данных для SFT. Она предназначена для ответов в диалоге и выполнения широкого круга текстовых запросов; использовать её можно как основу для дальнейшего дообучения и слияния с другими моделями при указании авторства. Модель содержит 71,5 млрд параметров, принимает текст и выдаёт текст, поддерживает контекст длиной 32 768 токенов и формат диалога ChatML. README описывает расширение контекста с помощью YARN при развёртывании через vLLM. Модель опубликована под лицензией Apache-2.0. В README приведены результаты Open LLM Leaderboard, включая средний балл 39,06 и 59,30 на IFEval; эти показатели относятся к указанной оценке и не гарантируют качество для конкретного сценария. Для vLLM статическая настройка YARN может снижать производительность на коротких запросах.

QVikhr-3-1.7B-Instruction-noreasoning — инструктивная языковая модель команды Vikhrmodels, созданная полным дообучением Qwen/Qwen3-1.7B методом SFT на синтетическом датасете GrandMaster2. Модель предназначена для диалогов и выполнения инструкций, генерации ответов, кратких изложений и анализа текстов на русском и английском языках. Модель использует плотную архитектуру Qwen3ForCausalLM, содержит 1,7 млрд параметров и поддерживает контекст длиной до 40 960 токенов. Карточка сообщает о специализации на русском языке и приводит результат сравнения в Ru Arena General; он не гарантирует качество для каждой задачи. Репозиторий содержит веса в формате safetensors, а отдельные производные варианты доступны в GGUF и MLX. Лицензия — Apache-2.0.

JunHowie/Qwen3-0.6B-GPTQ-Int4 — это 4-битная GPTQ-квантизованная версия языковой модели Qwen3-0.6B, опубликованная JunHowie на базе модели Qwen/Qwen3-0.6B, разработанной командой Qwen. Она предназначена для генерации текста, диалогов, следования инструкциям, решения задач, программирования, перевода и других сценариев применения причинных языковых моделей, включая локальный запуск и развёртывание через vLLM. Модель имеет архитектуру causal language model, 0,6 млрд параметров, из которых 0,44 млрд не относятся к эмбеддингам, 28 слоёв и механизм GQA с 16 головами для Q и 8 для KV. Максимальная длина контекста составляет 32 768 токенов. Qwen3 поддерживает более 100 языков и диалектов, а также переключение между режимами рассуждения и обычной генерации. Квантизация выполнена до 4 бит с размером группы 128; параметр desc_act установлен в false, что, согласно README, повышает эффективность по скорости генерации токенов по сравнению с более ранними квантизованными версиями. К сильным сторонам относятся небольшой размер, сниженные требования к памяти, поддержка мультиязычных задач, диалогов, рассуждений и интеграции с инструментами, а также совместимость с vLLM при наличии версии не ниже 0.9.2. Ограничениями являются малый масштаб модели по сравнению с крупными версиями Qwen3 и возможное снижение качества из-за 4-битной квантизации; конкретные результаты бенчмарков и требования к аппаратному обеспечению в README не приведены. Модель распространяется по лицензии Apache 2.0.

Qwen3-30B-A1.5B-64K-High-Speed-NEO-Imatrix-MAX-gguf — это GGUF-версия модели, подготовленная DavidAU на основе Qwen3-30B-A3B от команды Qwen. Модель использует архитектуру mixture-of-experts: всего 30 млрд параметров, 128 экспертов, из которых автоматически активируются 4, что соответствует примерно 1,5 млрд активных параметров на запрос. По заявлению автора, такая конфигурация почти вдвое повышает скорость по сравнению со стандартным вариантом с 8 активными экспертами и снижает требования к вычислительным ресурсам. Модель предназначена для генерации текста, творческого письма, ролевых сценариев, решения задач, рассуждений и использования инструментов. Она поддерживает контекст до 64K токенов благодаря применению YARN и может работать через CPU и RAM, GPU или их комбинацию. Указана поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Для интеграции рекомендуется использовать Jinja или ChatML template. Сильные стороны модели — высокая скорость инференса, большой контекст, возможность работы на разных типах оборудования и специализированные NEO Imatrix-квантизации, оптимизированные для Qwen3. Автор отмечает отсутствие заметной потери функциональности при обычном, но не исчерпывающем тестировании; при этом более сложные задачи могут лучше выполняться стандартной моделью или версиями с большим числом активных экспертов. Качество и скорость зависят от выбранного типа квантизации: более компактные варианты быстрее и экономичнее, но могут уступать по качеству. Лицензия в предоставленном README не указана.

QuantTrio/Qwen3.5-2B-AWQ — вариант мультимодальной модели Qwen3.5-2B, разработанной командой Qwen. Модель представляет собой авторегрессионную языковую модель с vision-энкодером и предназначена для обработки текста и изображений, генерации ответов, визуального понимания, рассуждений, программирования, агентских сценариев, прототипирования и предметно-ориентированной донастройки. Репозиторий содержит веса и конфигурации в формате Hugging Face Transformers; заявлена совместимость с Transformers, vLLM, SGLang и KTransformers. Модель содержит около 2 млрд параметров, 24 слоя, скрытое измерение 2048 и нативный контекст длиной 262 144 токена. В архитектуре используются Gated Delta Networks, Gated Attention и sparse Mixture-of-Experts; указана ранняя интеграция мультимодальных токенов. Заявлена поддержка 201 языка и диалекта. Суффикс AWQ указывает на вариант весов, подготовленный для 4-битного квантованного инференса, однако подробные параметры квантования в предоставленных данных не описаны. К сильным сторонам относятся мультимодальность, большой контекст, относительно небольшой размер, потенциально эффективный инференс и широкое языковое покрытие. Ограничением является масштаб 2B: модель ориентирована прежде всего на прототипирование, исследовательские задачи и разработку, поэтому может уступать более крупным моделям в сложном рассуждении и специализированных сценариях. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF — языковая мультимодальная модель на базе Qwen3.5-9B, опубликованная trinityomnis. В README указано, что это результат многоэтапного дообучения и слияния нескольких моделей, выполненного автором совместно с Nightmedia; среди использованных базовых моделей названа DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP. Модель ориентирована на английский и китайский языки, а лицензия указана как Apache-2.0. Модель предназначена для общих задач, следования инструкциям, рассуждений, программирования, творческого письма, художественной литературы и ролевых сценариев. Она поддерживает режимы thinking/reasoning и instruct, заявлена как полностью uncensored и рассчитана на контекст до 256k токенов. Включена обработка изображений, но для работы с vision требуется отдельно загрузить совместимый файл mmproj и разместить его рядом с GGUF-файлом. Доступны обычные GGUF-квантизации и варианты MTP с multi-token prediction. Все варианты используют NEO IMATRIX, а выходной тензор частично сохранён в 16-битной точности; MTP-варианты дополнительно используют Q8_0 для MTP-тензоров и могут обеспечивать более высокую скорость при достаточном уровне token acceptance. В README приведены результаты на ARC, BoolQ, HellaSwag, OpenBookQA, PIQA и Winogrande, где модель превосходит указанную базовую Qwen3.5-9B и в отдельных показателях сопоставима с более крупными моделями. При этом заявленные бенчмарки не гарантируют превосходство в любых задачах, а производительность MTP зависит от температуры, параметров генерации, приложения и оборудования; при низком token acceptance обычная квантизация может быть быстрее.

Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — мультимодальная модель, созданная HauhauCS на основе Qwen/Qwen3.6-35B-A3B. Это вариант с усиленным снятием ограничений на отказы: по заявлению автора, модель отвечает на запросы без отказов, сохраняя исходные наборы данных и возможности базовой модели. Она предназначена для диалогов, генерации и анализа текста, программирования, рассуждений, а также обработки изображений и видео. Модель использует гибридную архитектуру с линейным и полноразмерным softmax-вниманием в соотношении 3:1 и содержит 40 слоёв. Это MoE-модель с 35 млрд общих параметров и примерно 3 млрд активных параметров на проход; используются 256 экспертов, из которых для каждого токена выбираются 8. Заявлен нативный контекст до 262 тысяч токенов. Поддерживаются текст, изображения и видео, а среди языков указаны английский, китайский и многоязычная обработка. Доступны GGUF-квантизации, включая специализированные варианты K_P, оптимизированные для сохранения качества. К сильным сторонам относятся мультимодальность, большой контекст, относительно небольшое число активных параметров для MoE-архитектуры и широкий выбор квантизаций для локального запуска через llama.cpp, LM Studio и другие совместимые среды. Ограничение модели — агрессивное отключение защитных отказов: она может генерировать небезопасный или нежелательный контент и не предоставляет встроенных гарантий безопасного использования. Для поддержки зрения требуется отдельный файл mmproj; для сохранения возможностей режима рассуждений рекомендуется контекст не менее 128 тысяч токенов. Модель распространяется по лицензии Apache-2.0.

Chungulus/Qwen3.8-27B-Q3_K_S-GGUF — независимая ванильная квантизация модели Qwen/Qwen3.8-27B, опубликованная Chungulus. Модель предназначена для локального запуска задач генерации текста, вызова инструментов, анализа изображений и видео. Это vision-language модель с поддержкой мультимодального ввода; для работы с изображениями используется отдельный vision projector mmproj-Qwen3.8-27B-F16.gguf. Поддерживаются нативный формат вызова инструментов Qwen и управление режимами рассуждений через enable_thinking, reasoning_effort и preserve_thinking. Основной файл имеет размер около 12,257 ГБ, полный репозиторий — около 13,197 ГБ. Используется квантизация Q3_K_S на базе llama.cpp K/IQ quantization без дополнительного обучения, слияния или изменения шаблона чата. Сохранена гибридная структура Hybrid Gated DeltaNet/full-attention, а также MTP-тензоры и метаданные, однако спекулятивное ускорение не заявлено. Текстовая генерация, вызов инструментов, обработка изображений и видео прошли проверки; на валидационном хосте зафиксирована скорость около 17,35 токена в секунду. Для запуска требуется совместимый runtime, поддерживающий граф Qwen3.8, vision tower/projector, токенизатор и MTP-метаданные; рекомендуется иметь не менее примерно 17 ГБ доступной памяти, при этом KV-кэш увеличивает потребление в зависимости от контекста. Низкая разрядность квантизации может снижать качество. Максимальный контекст в README не указан и полноценно не тестировался. Модель и квантизация распространяются по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-Q4_K_M-GGUF — это квантованная в формате GGUF версия базовой модели Qwen/Qwen3.8-27B, опубликованная пользователем qaqab и предназначенная для запуска через llama.cpp и совместимые среды. Модель ориентирована на генерацию текста, включая диалоги, написание и анализ текстов, а также другие сценарии применения многоцелевой языковой модели. В README указаны поддержка английского и китайского языков и наличие vision-возможностей у базовой архитектуры, однако для обработки изображений требуется соответствующий vision-файл. Модель использует архитектуру Qwen3_5ForConditionalGeneration с 64 слоями, словарём из 248 320 токенов, одним MTP-слоем и контекстом до 262 144 токенов. Файл Q4_K_M имеет размер около 16,8 ГБ и сохраняет MTP-компонент для speculative decoding; также опубликована версия без MTP. Квантование выполнено с использованием importance matrix. По измерениям perplexity на wikitext-2 показатель для Q4_K_M составляет 7,1814, но этот тест не оценивает напрямую рассуждения, программирование, мультиязычность или поведение отказов. Вариант Uncensored создан с существенным снижением склонности к отказам с помощью Heretic без дополнительного обучения и новых данных; это поведение не устранено полностью. Возможное снижение acceptance rate черновой MTP-модели может немного повлиять на ускорение speculative decoding, но не должно ухудшать качество проверяемого целевой моделью вывода. Модель распространяется по лицензии Apache-2.0.