I.11Классификация, ранжирование и сопоставление

Qwen2.5-3B-Instruct-GGUF — инструкционно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Модель предназначена для генерации текста, диалоговых приложений, следования инструкциям, работы с кодом и математическими задачами, обработки структурированных данных и формирования структурированных ответов, включая JSON. Она может использоваться локально через llama.cpp в формате GGUF. Модель относится к causal language models и содержит 3,09 млрд параметров, из которых 2,77 млрд не относятся к эмбеддингам. Архитектура основана на transformers и включает RoPE, SwiGLU, RMSNorm, bias в Attention QKV и связанные эмбеддинги слов. Она имеет 36 слоёв, 16 attention heads для Q и 2 для KV в конфигурации GQA. Полная длина контекста составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Доступны варианты квантизации q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. Модель поддерживает более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся улучшенное следование инструкциям, работа с длинным текстом, кодом, математикой и структурированными форматами. Ограничения включают относительно небольшой размер и максимальный контекст 32 768 токенов для данной GGUF-версии, поэтому производительность и качество зависят от выбранного уровня квантизации. Лицензия указана как qwen-research; дополнительные условия следует уточнять в файле лицензии разработчика.

Это Flax-представление Qwen3-4B-Instruct-2507, опубликованное Benjamin Minixhofer на Hugging Face. Модель разработана командой Qwen как причинная языковая модель для диалогов и генерации текста по инструкциям; репозиторий содержит веса в формате Flax. Базовая версия имеет около 4 млрд параметров, 36 слоёв и контекст до 262 144 токенов. Модель предназначена для следования инструкциям, понимания текста, ответов на вопросы, логических и математических задач, программирования и вызова инструментов. Она работает в режиме без цепочки рассуждений в специальных блоках, поддерживает многоязычные сценарии и длинный контекст. Карточка базовой модели указывает лицензию Apache-2.0; метаданные репозитория Flax лицензию отдельно не приводят.

Карточка модели shrawanp/Qwen3.5-122B-A10B на Hugging Face совпадает с карточкой Qwen/Qwen3.5-122B-A10B, поэтому описание составлено по ней. Qwen3.5-122B-A10B — мультимодальная причинная языковая модель с визуальным энкодером, разработанная командой Qwen. Репозиторий содержит постобученные веса и конфигурацию в формате Transformers; модель сочетает Gated Delta Networks с разреженной архитектурой Mixture-of-Experts. Всего в модели 122 млрд параметров, из которых при генерации активируются 10 млрд; предусмотрено 256 экспертов, 8 маршрутизируемых и один общий активируются для каждого шага. Модель предназначена для диалога и решения задач по тексту и изображениям, включая рассуждения, программирование, понимание визуального содержимого и работу с инструментами. README также описывает обработку видео и расширенный контекст. Нативное окно контекста — 262 144 токена, с возможностью расширения до 1 010 000. Заявлена поддержка 201 языка и диалекта; точный перечень языков в предоставленной карточке опущен. Среди сильных сторон — сочетание мультимодального понимания, инструментального взаимодействия и разреженной архитектуры, рассчитанной на эффективный инференс. Для запуска требуются совместимые версии Transformers или специализированные движки, например vLLM, SGLang или KTransformers; производительность и расход памяти зависят от инфраструктуры, а README предупреждает о риске нехватки памяти при большом контексте. Лицензия — Apache-2.0.

Qwen3.5-4B-MTP-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-4B, разработанной командой Qwen компании Alibaba. Модель предназначена для локального и серверного инференса, включая агентские сценарии с вызовом инструментов, генерацию кода, OCR, разбор документов и визуальные вопросы и ответы. Она поддерживает работу с текстом, изображениями и видео. Модель содержит около 4 млрд параметров и использует гибридную архитектуру Gated DeltaNet и Gated Attention. Заявлено контекстное окно 262 тыс. токенов с возможностью расширения более чем до 1 млн токенов, словарь из 248 тыс. токенов и поддержка 201 языка. Формат MTP интегрирует multi-token prediction для ускорения спекулятивного декодирования без отдельной draft-модели. Доступны варианты от BF16/F16 до квантованных Q2_K–Q8_0; размер наиболее компактных файлов начинается примерно от 1,96 ГБ. Сильные стороны модели — компактный размер, мультимодальность, длинный контекст и возможность запуска на потребительском оборудовании; для 4-битной квантизации заявлено около 3 ГБ видеопамяти. Ограничения включают возможное снижение качества при агрессивной квантизации и то, что заявленные показатели производительности приведены в README без независимой проверки. Распространение модели указано по лицензии Apache 2.0.

Smoffyy/Qwen3.5-9B-Instruct-Pure-GGUF — квантизированная версия официальной модели Qwen3.5-9B, созданная автором Smoffyy на основе исходных весов Qwen с использованием официальных инструментов llama.cpp. Модель распространяется в формате GGUF и позиционируется как «чистая» квантизация без изменений или дополнительных модификаций весов. Модель предназначена для задач генерации текста, рассуждений, программирования, агентских сценариев и мультимодального понимания изображений. Это единая vision-language модель с гибридной архитектурой, объединяющей Gated Delta Networks и разреженную Mixture-of-Experts. Указана поддержка 201 языка и диалекта. Для работы с изображениями требуется дополнительный файл mmproj-f16.gguf. Доступен управляемый режим рассуждений через параметр enable_thinking в API или конфигурацию шаблона чата. Основное преимущество модели — сохранение исходных официальных весов при уменьшении требований к памяти благодаря квантизации. Доступны варианты с разным соотношением качества и размера, включая q4_k_m, q5_k_m и q8_0; при контексте 64k вариант q4_k_m использует около 10 ГБ памяти. Ограничения зависят от выбранного уровня квантизации и оборудования: более компактные варианты могут уступать исходной модели по качеству, а для визуальных возможностей необходим отдельный проектор. Модель и производные распространяются по лицензии Apache 2.0.

NobodyWho/Qwen_Qwen3.6-27B-GGUF — GGUF-квантизированная версия плотной модели Qwen3.6-27B, разработанной командой Qwen компании Alibaba Group и подготовленной для библиотеки NobodyWho. Модель предназначена для диалоговой генерации текста, следования инструкциям, рассуждений, агентных сценариев и вызова инструментов. Она также поддерживает анализ изображений при использовании вспомогательной проекционной модели mmproj-BF16.gguf. Модель содержит 27 млрд параметров, использует архитектуру qwen35 и поддерживает контекст до 262 144 токенов. Она мультимодальна, работает с текстом и изображениями, имеет широкое языковое покрытие и режим рассуждений, включённый по умолчанию. Вызов инструментов реализован нативно с грамматически ограниченным форматом вывода; варианты Q3_K_M и Q4_K_M показали результат 14/14 в тестовом наборе NobodyWho. Доступны квантизации Q3_K_M, Q4_K_M и Q8_0, причём Q3_K_M требует около 13,6 ГБ памяти, Q4_K_M — около 16,8 ГБ, а Q8_0 — около 28,6 ГБ. Сильными сторонами модели являются большой контекст, мультимодальность, развитые рассуждения и надёжный вызов инструментов. Ограничения связаны с ресурсными требованиями: Q4_K_M на системе с 24 ГБ памяти работает впритык и может использовать подкачку, а Q8_0 требует не менее 32 ГБ; вариант BF16 в репозитории не представлен. Модель и квантизации распространяются по лицензии Apache 2.0.

Cohere Labs Command R+ 08-2024 — авторегрессионная языковая модель на архитектуре Transformer с grouped-query attention, разработанная Cohere Labs и Cohere. Модель содержит 104 млрд параметров, поддерживает контекст до 128K токенов и принимает и выдаёт только текст. Она предназначена для диалогов, рассуждений, суммаризации и ответов на вопросы; обучена работать с Retrieval Augmented Generation, приводить цитаты из переданных фрагментов документов и выбирать инструменты для многошагового выполнения задач. Модель обучалась на 23 языках и оценивалась на 10. Список языков обучения включает английский, французский, испанский, итальянский, немецкий, португальский, японский, корейский, арабский, китайский, русский и другие; метаданные также отмечают поддержку английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского и арабского. Для генерации с опорой на документы предусмотрен специальный шаблон промпта, отступление от которого может снизить качество. Для запуска README рекомендует Transformers версии 4.39.1 или выше. Лицензия CC-BY-NC-4.0 требует соблюдения Acceptable Use Policy Cohere Labs и ограничивает коммерческое использование.

Andycurrent/gemma-3-12b-it-uncensored-GGUF — производная instruction-tuned модель Gemma 3 с 12 млрд параметров, разработанная на базе Google Gemma 3 12B IT. Базовую архитектуру разработала Google, а кураторство и выпуск этой версии указаны за BrainDAO. Репозиторий также содержит вариант Vision-Language Model (VLM), поддерживающий работу с изображениями и текстом. Модель предназначена для общего ассистирования, диалогов, следования инструкциям, логического и аналитического рассуждения, написания и отладки кода, исследовательского анализа, агентных сценариев с инструментами, а для VLM-варианта — для описания изображений, визуальных вопросов и ответов и мультимодального общения. Заявлена поддержка английского языка. Модель ориентирована на локальное и приватное развертывание; для работы следует использовать формат инструкций Gemma, а VLM-вариант требует мультимодального формата входных данных, поддерживаемого конкретным inference-фреймворком. Ключевая особенность версии — минимальные дополнительные ограничения выравнивания: заявлено отсутствие специально добавленных слоёв безопасности, отказов и alignment-ограничений сверх базовой модели. Это может дать больше контроля над системными промптами и меньше искусственных отказов, но одновременно означает необходимость самостоятельной оценки рисков, фильтрации и безопасного применения. Ограничения включают отсутствие дополнительных гарантий безопасности, а также потенциальную зависимость возможностей и производительности от используемого варианта, GGUF-квантизации и среды инференса; подробности о размере контекста и конкретных параметрах квантизации в README не указаны. Модель распространяется по пользовательской Gemma License, унаследованной от базовой модели Google. Это не Apache-2.0, MIT или другая стандартная open-source-лицензия; перед использованием, распространением или встраиванием необходимо ознакомиться с условиями Gemma License и соблюдать применимое законодательство.

cyankiwi/GLM-4.7-Flash-AWQ-4bit — 4-битная AWQ-квантизованная версия GLM-4.7-Flash, разработанной командой GLM и распространяемой организацией zai-org. Это языковая модель для генерации текста, рассуждений, программирования и агентских сценариев, включая взаимодействие с инструментами и решение задач, требующих многошагового планирования. Модель построена по архитектуре MoE с конфигурацией 30B-A3B: общий размер составляет около 30 млрд параметров, при этом на каждом шаге активируется примерно 3 млрд. Указаны поддерживаемые языки English и Chinese, библиотека Transformers и текстовая модальность. В README приведены настройки генерации с максимальной длиной нового вывода до 131 072 токенов, однако размер контекстного окна явно не указан. Для локального запуска заявлена совместимость с Transformers, vLLM и SGLang; для этой версии также требуется учитывать поддержку AWQ-квантизации используемым фреймворком. Сильными сторонами являются сочетание производительности и эффективности при локальном развертывании, а также результаты на задачах рассуждений, программирования, веб-поиска и взаимодействия с инструментами. Ограничениями выступают возможные потери качества из-за 4-битной квантизации и необходимость актуальных версий программного обеспечения для поддержки модели. В README указана лицензия MIT.

duyntnet/Mistral-Small-24B-Instruct-2501-imatrix-GGUF — это GGUF-квантизованные версии языковой модели Mistral Small 3 (2501), разработанной командой Mistral AI. Модель основана на Mistral-Small-24B-Base-2501 и дообучена для выполнения инструкций. В карточке указано 24 млрд параметров; конкретная архитектура не раскрыта. Модель предназначена для генерации текста и работает с текстовой модальностью. Модель ориентирована на быстрых разговорных ассистентов, сценарии с низкой задержкой, вызов функций, выдачу структурированного JSON, локальный запуск и последующее дообучение под предметные области. Она поддерживает десятки языков, включая английский, французский, немецкий, испанский, итальянский, китайский, японский, корейский, португальский, нидерландский и польский. Контекстное окно составляет 32 000 токенов, используется токенизатор Tekken со словарём размером 131 000 токенов. К сильным сторонам относятся развитые диалоговые и reasoning-возможности, поддержка системных промптов, native function calling и JSON-вывода, а также возможность локального запуска после квантизации, в том числе на одной RTX 4090 или MacBook с 32 ГБ оперативной памяти. Ограничения связаны с тем, что это квантизованный вариант: конкретные компромиссы между размером, скоростью и качеством зависят от выбранного файла квантизации. Модель рассчитана на использование через llama.cpp, KoboldCPP, Ollama, text-generation-webui, Jan и GPT4All. В исходном описании базовой модели указана лицензия Apache 2.0, однако метаданные данного репозитория обозначают лицензию как other; перед коммерческим использованием следует проверить условия для конкретной сборки.

Nemotron-H-8B-Reasoning-128K — языковая модель NVIDIA для диалогов, рассуждений и обычных текстовых задач. Она построена на гибридной архитектуре Mamba-2 и MLP с четырьмя слоями Attention, содержит 8 млрд параметров и основана на Nemotron-H-8B-Base-8K. Модель принимает и генерирует текст, поддерживает контекст до 128 тыс. токенов и работает с английским, немецким, испанским, французским, итальянским, корейским, португальским, русским, японским и китайским языками. Модель может сначала формировать рассуждение, а затем итоговый ответ; режим рассуждений задаётся системным промптом. NVIDIA предлагает контрольные точки BF16 для Transformers и TensorRT-LLM и FP8 для TensorRT-LLM. Модель подходит для ответов на вопросы, решения задач по математике и науке, работы с кодом и анализа длинных текстов. Для сложных запросов включение рассуждений обычно повышает качество, а отключение может немного снизить точность. Модель предназначена для исследований и разработки. Лицензия указана как other; конкретные условия следует сверять с лицензией репозитория. Возможны неточные, неполные или избыточные ответы, токсичный контент и усиление предвзятости; README также отмечает уязвимость к некоторым вариантам косвенной prompt injection.

Qwen2-57B-A14B-Instruct-GGUF — инструкционная языковая модель серии Qwen2, разработанная командой Qwen. Это текстовая модель для генерации и понимания текста, диалоговых приложений, решения задач на естественных языках, программирования, математики и рассуждений. Модель ориентирована на сценарии, где требуется чат-ассистент или локально развёртываемый сервис с совместимым с OpenAI API интерфейсом. Модель построена на декодерной архитектуре Transformer и использует Mixture-of-Experts с 57 млрд параметров, из которых 14 млрд активны (57B-A14B). Среди архитектурных особенностей указаны активация SwiGLU, bias в QKV и Grouped Query Attention. Токенизатор адаптирован к нескольким естественным языкам и языкам программирования; в карточке явно указан английский язык. Модель прошла дообучение с учителем и Direct Preference Optimization. Доступны GGUF-квантизации от q2_k до q8_0, что позволяет выбирать компромисс между размером, скоростью и качеством. Сильными сторонами заявлены конкурентоспособность в задачах понимания и генерации текста, многоязычность, программирование, математика и рассуждения, а также возможность запуска через llama.cpp. Ограничения включают высокие требования к вычислительным ресурсам из-за размера модели, зависимость характеристик от выбранного уровня квантизации и отсутствие в README данных о максимальной длине контекста, точном наборе поддерживаемых языков и производительности. Модель распространяется по лицензии Apache 2.0.

unsloth/Qwen3.5-122B-A10B-GGUF — GGUF-версия мультимодальной модели Qwen3.5-122B-A10B, разработанной командой Qwen и подготовленной компанией Unsloth с использованием улучшенного алгоритма квантования и imatrix-данных. Модель предназначена для локального запуска, диалогов, программирования, рассуждений, вызова инструментов, работы с агентами и визуального понимания изображений. Это авторегрессионная языковая модель с vision encoder и гибридной архитектурой, объединяющей Gated DeltaNet и разреженную Mixture-of-Experts. Всего модель содержит 122 млрд параметров, из которых при обработке активируется около 10 млрд; используется 256 экспертов, 8 маршрутизируемых и 1 общий. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Модель поддерживает 201 язык и диалект, а также текстовые и визуальные входные данные. К сильным сторонам относятся высокая вычислительная эффективность разреженной архитектуры, поддержка длинного контекста, мультимодальность и оптимизация Unsloth для сценариев общения, программирования, tool calling и агентных задач. GGUF-квантизация позволяет запускать модель локально, однако итоговые требования к памяти, скорость и качество зависят от выбранного варианта квантования и используемого оборудования. README не приводит подробных числовых результатов бенчмарков и не описывает ограничения мультимодальной обработки. Модель распространяется по лицензии Apache-2.0.

shatu/Qwen3.5-27B — публикация Шашанка, содержащая веса и конфигурацию Qwen3.5-27B в формате Transformers. По README, веса идентичны Qwen/Qwen3.5-27B, а изменённый шаблон чата сохраняет промежуточные рассуждения между ходами диалога. Это мультимодальная причинная языковая модель с визуальным энкодером: плотная архитектура Qwen3.5 объединяет Gated Delta Networks и разреженные блоки внимания. В модели 27 млрд параметров и 64 слоя; нативный контекст — 262 144 токена, с расширением до 1 010 000 токенов. Модель предназначена для диалогов, анализа изображений, рассуждений, программирования и сценариев с вызовом инструментов. Она поддерживает 201 язык и диалект согласно README. Репозиторий использует safetensors и совместим с Transformers и рядом движков инференса. Лицензия — Apache-2.0. Это изменённая публикация существующих весов, а не новое обучение; качество и поведение шаблона зависят от используемого движка и его совместимости с Qwen3.5.

Qwen3.8-27B-int4-AutoRound — мультимодальная версия базовой модели Qwen/Qwen3.8-27B, подготовленная пользователем devan-carlin с использованием Intel AutoRound. Модель предназначена для генерации текста, решения математических и логических задач, программирования, работы с алгоритмами, а также анализа изображений и текстовых запросов. Модель содержит 27 млрд параметров и использует архитектуру qwen3_5 с 64 слоями и чередованием линейного и полноформатного внимания в соотношении 3:1. Поддерживается контекст длиной до 256K токенов. В репозитории присутствует vision tower Qwen3-VL, поэтому модель работает как в текстовом, так и в мультимодальном режиме. Квантизация выполнена в INT4 с помощью AutoRound, с размером группы 128 и симметричным представлением; отдельные компоненты сохранены в 16-битной точности. Основное преимущество — существенное снижение объёма памяти: около 18 ГБ против примерно 52 ГБ для BF16, а также более высокая скорость генерации на конфигурации из четырёх Intel Arc Pro B70. В заявленном тесте скорость составила 47,8 токена в секунду против 30,2 у BF16, при сопоставимом качестве на математических, логических, алгоритмических и программных запросах. Ограничением является более многословная генерация INT4-версии, из-за чего при длинных ответах может потребоваться увеличить параметр max_tokens. Для запуска рекомендуется vLLM с tensor parallelism; на XPU/ARK может потребоваться исправление qzeros guard для загрузки симметричных INT4-весов. Модель распространяется по лицензии Apache-2.0, как и базовая модель.

cyankiwi/Qwen3-Next-80B-A3B-Instruct-AWQ-4bit — 4-битная AWQ-квантизованная версия инструкционной языковой модели Qwen3-Next-80B-A3B-Instruct, опубликованная пользователем cyankiwi и разработанная в рамках семейства Qwen. Это каузальная текстовая модель для генерации текста, ответов на вопросы, программирования, следования инструкциям, агентских сценариев и работы с длинными контекстами. Модель поддерживает только instruct-режим без блоков рассуждений <think></think>. Архитектура сочетает Gated DeltaNet и Gated Attention с разреженной Mixture-of-Experts. Всего модель содержит 80 млрд параметров, из которых около 3 млрд активируются на каждом токене; используется 512 экспертов, 10 активных экспертов и один общий эксперт. Модель имеет 48 слоёв, контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. В README языки и мультимодальные возможности не указаны; заявлена работа с текстом. Сильные стороны — высокая эффективность по числу активируемых параметров, потенциально высокая скорость инференса, поддержка ультрадлинного контекста и конкурентные результаты в задачах знаний, рассуждений, программирования, следования инструкциям и мультиязычности. Ограничения включают необходимость совместимой версии transformers и значительные требования к вычислительным ресурсам, несмотря на 4-битную квантизацию; качество на конкретных задачах зависит от реализации инференса и квантизации. Лицензия базовой модели — Apache-2.0.

Qwen3-VL-30B-A3B-Instruct-GGUF — это GGUF-версия мультимодальной модели Qwen3-VL-30B-A3B-Instruct, разработанной командой Qwen. Репозиторий содержит отдельно веса языковой модели и vision encoder в форматах FP16, Q8_0 и Q4_K_M для языковой части и FP16, Q8_0 для vision encoder. Модель предназначена для запуска через llama.cpp, Ollama и другие инструменты, поддерживающие GGUF, на CPU, NVIDIA GPU, Apple Silicon, Intel GPU и совместимом оборудовании. Модель работает с текстом и визуальными данными, включая изображения и видео. Она предназначена для понимания и генерации текста, визуального восприятия и рассуждений, OCR, анализа документов, пространственного анализа, распознавания объектов, видеоаналитики, визуального программирования, генерации Draw.io/HTML/CSS/JS по изображениям и взаимодействия с графическими интерфейсами и инструментами. Заявлена поддержка контекста 256K токенов с возможностью расширения до 1M, а OCR поддерживает 32 языка. Архитектурные особенности включают Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками для улучшения анализа изображений и видео. К сильным сторонам относятся мультимодальное рассуждение, обработка длинного контекста, понимание пространственных отношений и видеодинамики, расширенное OCR и возможность выбора точности компонентов в зависимости от оборудования. Ограничения связаны с требованиями к памяти и вычислительным ресурсам, которые зависят от выбранной точности и конфигурации, а также с необходимостью использовать актуальную версию совместимого программного обеспечения. Модель распространяется по лицензии Apache-2.0.

RedHatAI/gemma-4-31B-it-FP8-dynamic — квантизированная FP8-версия мультимодальной модели google/gemma-4-31B-it, подготовленная RedHatAI. Модель построена на архитектуре Gemma4ForConditionalGeneration, принимает текст и изображения и генерирует текст. Она предназначена для генерации текста, диалоговых сценариев, следования инструкциям, рассуждений и вызова инструментов. Веса модели статически квантизированы в FP8 с масштабированием по каналам, а активации динамически квантизируются во время инференса с масштабированием по токенам. Квантизация применяется к линейным операторам трансформерных блоков; vision tower, embedding-слои и выходная голова сохраняют исходную точность. Это примерно вдвое уменьшает число бит на параметр, размер модели на диске и требования к памяти GPU по сравнению с 16-битной версией. Заявлены поддержка tool calling и режим reasoning/thinking. Модель оптимизирована для инференса через vLLM; в предоставленной конфигурации используется максимальная длина контекста 32768 токенов, а также специальные reasoning- и tool-call-парсеры Gemma 4. Оценки на GSM8K Platinum, MMLU-Pro, IFEval, MATH-500, AIME 2025, GPQA Diamond, LiveCodeBench v6 и BFCLv4 показывают близкие к исходной модели результаты, однако конкретные значения зависят от режима thinking. Модель распространяется по лицензии Apache 2.0.

unsloth/gemma-4-31b-it-UD-MLX-4bit — квантизированная 4-битная MLX-версия instruction-tuned модели Gemma 4 31B, разработанной Google DeepMind и подготовленной Unsloth. Модель предназначена для локального запуска и дообучения в среде MLX, а также для генерации текста, программирования, рассуждений, агентских сценариев и мультимодального анализа изображений с выдачей текста. Это плотная модель примерно на 30,7 млрд параметров с 60 слоями, гибридным механизмом внимания, сочетающим локальное sliding-window и глобальное внимание, контекстным окном до 256K токенов и словарём размером 262K. Она поддерживает текст и изображения, а семейство Gemma 4 в целом заявляет многоязычность более чем для 140 языков; аудио для версии 31B не указано. Нативно поддерживаются system-промпты и function calling, а режимы рассуждений можно настраивать. Ключевое преимущество этой версии — 4-битная квантизация, уменьшающая требования к памяти и упрощающая локальное развёртывание на совместимом оборудовании, при этом она сохраняет возможности базовой модели для длинного контекста и мультимодальных задач. Ограничением является возможная потеря качества по сравнению с полноточными вариантами из-за квантизации, а требования к ресурсам всё ещё остаются значительными из-за крупного размера модели. Модель распространяется по лицензии Apache 2.0.

Это производная мультимодальная модель семейства Gemma 4 E4B, представленная пользователем aifeifei798 на базе Google Gemma 4 E4B. В карточке указано, что Gemma 4 разработана Google DeepMind; данная версия предназначена для диалога и генеративных сценариев с текстом и изображениями, а семейство поддерживает также видео и аудио на отдельных размерах. Архитектура — плотная Gemma4ForConditionalGeneration с гибридным вниманием: локальные окна чередуются с глобальными слоями. Модель подходит для ответов на вопросы, суммаризации, генерации и исправления кода, извлечения сведений из изображений и документов, распознавания текста на изображениях, понимания диаграмм и интерфейсов, а также агентных сценариев с вызовом инструментов. В README для E4B указано контекстное окно до 128K токенов и поддержка более 35 языков на уровне семейства. Указанные в карточке возможности видео и аудио относятся к семейству, но конкретно для этой версии их поддержка не подтверждена. Веса доступны в формате safetensors; лицензия — Apache-2.0. Карточка предупреждает о возможных фактических ошибках, предвзятости данных, трудностях с языковыми нюансами и сложными открытыми задачами.

GLM-4-9B-Chat-1M — диалоговая языковая модель семейства GLM-4, разработанная Zhipu AI. Этот репозиторий содержит версию весов для Transformers; модель имеет плотную архитектуру GLM с примерно 8,9 млрд параметров и поддерживает контекст до 1 048 576 токенов. Для работы требуется Transformers версии 4.46.0 или новее. Модель предназначена для многошагового диалога и генерации текста, включая рассуждения по длинным документам. Карточка семейства GLM-4-9B-Chat описывает вызов инструментов, веб-поиск и выполнение кода; метаданные также отмечают интерфейс вызова инструментов. GLM-4 поддерживает 26 языков, а в метаданных этой модели указаны английский и китайский. В README сообщается о результатах на задачах семантики, математики, рассуждений, программирования и знаний, превосходящих Llama-3-8B в приведённых оценках; данных о независимой проверке этих сравнений нет. Указанная в метаданных лицензия — other, поэтому конкретные условия использования следует сверить с лицензией репозитория. Модель является дообученной версией THUDM/glm-4-9b-chat-1m.

Granite-4.2-3B (MXFP4) — квантизированная версия Granite-4.2-3B, разработанная командой Granite компании IBM. Это компактная авторегрессионная языковая модель для генерации текста, рассуждений, программирования, вызова инструментов, агентских рабочих процессов и многоязычного диалога. Базовая модель имеет архитектуру decoder-only Dense Transformer с 3 млрд параметров, Grouped Query Attention, 40 attention heads и 8 KV heads, RoPE, SwiGLU и RMSNorm. Она поддерживает текстовую модальность, встроенный режим рассуждений с тегами <think>...</think>, режимы полного, отключённого и облегчённого рассуждения, а также контекст длиной 128K токенов с заявленным расширением до 512K. Тестирование проводилось для английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков; работа с другими языками полностью не проверялась. Сильные стороны модели — компактный размер, поддержка длинного контекста, reasoning, tool calling и сценариев автоматизации, а также возможность выбирать баланс между качеством рассуждений и задержкой. MXFP4 уменьшает требования к хранению и инференсу по сравнению с полноформатной версией, но конкретные аппаратные требования и влияние квантизации на качество зависят от среды. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое и исследовательское использование.

InternLM2-Chat-7B — диалоговая языковая модель семейства InternLM2, разработанная командой InternLM. Это плотная авторегрессионная модель на 7,4 млрд параметров для генерации текста и общения по инструкциям; в карточке заявлена поддержка контекста до 200 тысяч токенов, тогда как метаданные репозитория указывают нативную длину 32 768 токенов. Модель предназначена для диалоговых помощников, ответов на вопросы, следования инструкциям, рассуждений, написания текстов и кода, а также анализа длинных документов. README также описывает использование инструментов и многошаговые вызовы, однако в метаданных не отмечен отдельный интерфейс tool calling. Доступ к модели предусмотрен через Transformers, LMDeploy и vLLM. Модель может выдавать предвзятые, дискриминационные или иные нежелательные ответы, поэтому результаты требуют проверки. Код репозитория распространяется по Apache-2.0; для весов README указывает открытость для академических исследований и возможность запросить бесплатное коммерческое разрешение.

unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF — GGUF-версия большой языковой модели NVIDIA Nemotron-3-Super, разработанной NVIDIA Corporation. Модель предназначена для агентных сценариев, сложного рассуждения, диалоговых приложений, использования инструментов, RAG и высоконагруженных задач, включая автоматизацию обработки IT-заявок. Доступна настройка режима рассуждения через шаблон чата с параметром enable_thinking. Модель использует гибридную архитектуру LatentMoE, объединяющую Mamba-2, Mixture of Experts и attention, а также Multi-Token Prediction (MTP). Общий размер составляет 120 млрд параметров, из них 12 млрд активны при обработке запроса. Поддерживается контекст до 1 млн токенов и английский, французский, немецкий, итальянский, японский, испанский и китайский языки. Для запуска исходной BF16-версии требуется минимум 8 GPU H100 с 80 ГБ памяти; для данной GGUF-версии конкретные требования зависят от выбранной квантизации и среды выполнения. Сильными сторонами модели являются длинный контекст, сочетание эффективности MoE с возможностями гибридной архитектуры, поддержка рассуждений, инструментального использования и агентных рабочих процессов. Ограничениями остаются очень большой общий размер и высокие аппаратные требования, особенно для неквантизированной версии. Модель распространяется по лицензии NVIDIA Nemotron Open Model License; README также указывает возможность дообучения с помощью Unsloth.

QuantFactory/Phi-3.5-mini-instruct-GGUF — квантизированная версия языковой модели Phi-3.5-mini-instruct, созданная QuantFactory с использованием llama.cpp на основе модели Microsoft. Это компактная instruction-tuned модель для коммерческого и исследовательского применения, включая генеративные функции, многоязычный диалог, обработку текста, а также задачи, требующие рассуждений, особенно в программировании, математике и логике. Модель относится к семейству Phi-3 и содержит 3,8 млрд активных параметров. Она поддерживает контекст длиной до 128 тысяч токенов, ориентирована на текстовую генерацию и многоязычные сценарии. При обучении использовались синтетические данные и отфильтрованные общедоступные веб-источники, а для улучшения следования инструкциям и безопасности применялись supervised fine-tuning, proximal policy optimization и direct preference optimization. Квантизация предназначена для запуска в условиях ограниченных ресурсов, включая сценарии с требованиями к низкой задержке. К сильным сторонам относятся компактность, сравнительно высокая способность к рассуждениям для модели такого размера, улучшенное качество многоязычного и многоходового диалога и пригодность для сред с ограниченными вычислительными ресурсами. Ограничения включают типичные для языковых моделей риски неточностей, проблем с безопасностью и справедливостью; модель не оценивалась специально для всех прикладных сценариев, поэтому её необходимо тестировать и дополнительно контролировать, особенно в высокорисковых задачах. Модель распространяется по лицензии MIT.

Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

unsloth/Qwen2.5-7B-unsloth-bnb-4bit — четырёхбитная версия базовой языковой модели Qwen2.5-7B, подготовленная Unsloth с использованием динамического 4-bit-квантования. Разработчик исходной модели — команда Qwen; Unsloth предоставляет оптимизированный формат для запуска и дообучения с меньшими требованиями к памяти. Модель предназначена для генерации и понимания текста, программирования, математических задач, следования инструкциям, работы со структурированными данными и формирования структурированных ответов, включая JSON. Она поддерживает китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский, арабский и другие языки. Для серии Qwen2.5 заявлена поддержка контекста до 128 тысяч токенов и генерация до 8 тысяч токенов. Ключевые преимущества — размер около 7 миллиардов параметров, экономичное 4-bit-представление и заявленное Unsloth улучшение точности по сравнению со стандартным 4-bit-квантованием. Модель является текстовой causal language model и не предназначена для работы с изображениями или другими модальностями. Как базовая, а не instruction-tuned модель, она не рекомендуется для диалогового использования без дополнительного дообучения или подходящего шаблона запросов. Лицензия — Apache 2.0.

unsloth/Qwen3-4B-Instruct-2507-bnb-4bit — 4-битная квантованная версия Qwen3-4B-Instruct-2507, подготовленная Unsloth на основе модели Qwen, разработанной командой Qwen. Это авторегрессионная языковая модель для генерации текста и диалогового взаимодействия; она ориентирована на следование инструкциям, логическое рассуждение, понимание текста, математику, научные задачи, программирование, использование инструментов и открытые текстовые сценарии. Модель поддерживает только non-thinking режим и не формирует блоки <think></think>. Модель содержит около 4 млрд параметров, из которых 3,6 млрд не относятся к embedding, имеет 36 слоёв и архитектуру Grouped Query Attention с 32 головами для Q и 8 для KV. Нативная длина контекста составляет 262 144 токена. Заявлены улучшения в многоязычных задачах и покрытии редких знаний, однако конкретный список поддерживаемых языков в README не приведён. Модель предназначена для text-generation и может использоваться через Transformers, а также разворачиваться с помощью SGLang или vLLM. К сильным сторонам относятся компактный размер, сниженные требования к памяти благодаря 4-битной квантованию, длинный контекст и улучшенные результаты в рассуждениях, кодировании, следовании инструкциям, творческом письме и агентских сценариях. Ограничения включают отсутствие режима reasoning с отдельными блоками размышлений, возможные потери точности из-за квантования и отсутствие в README подробностей о требованиях к оборудованию и фактической производительности именно квантованной версии. Лицензия указана как Apache-2.0.

nvidia/Qwen3.5-122B-A10B-NVFP4 — квантизированная версия авторегрессионной мультимодальной модели Qwen3.5-122B-A10B, разработанной Alibaba. Квантизация выполнена NVIDIA с использованием Model Optimizer версии 0.44.0; сама модель не принадлежит и не разработана NVIDIA, а подготовлена по требованиям к данному сценарию применения. Модель предназначена для генерации текста, чат-ботов, AI Agent-систем, RAG и других приложений на базе искусственного интеллекта. Она принимает текст, изображения и видео, а выдаёт текст. Поддерживается контекст до 262K токенов, однако сведения о языках модели в карточке не указаны. Архитектура основана на оптимизированном Transformer и Mixture of Experts: всего 122 млрд параметров, из которых 10 млрд активируются при обработке запроса. Веса и активации линейных операторов в Transformer-блоках MoE переведены в формат NVFP4, что примерно в четыре раза уменьшает требования к дисковому пространству и GPU-памяти по сравнению с исходным представлением. Модель рассчитана на инференс через vLLM на NVIDIA GPU архитектуры Blackwell под Linux. К преимуществам относятся большой контекст, мультимодальный ввод, MoE-архитектура и сниженные требования к памяти благодаря квантизации. Ограничения включают зависимость от совместимого NVIDIA-оборудования и vLLM, возможные особенности качества и точности, связанные с 4-битной квантизацией, а также отсутствие раскрытых сведений о полном обучающем наборе данных. Перед промышленным использованием необходимы тестирование на данных конкретного сценария и проверка безопасности. Модель распространяется по лицензии Apache 2.0 и допускает коммерческое и некоммерческое использование.

Qwen3.5-27B — мультимодальная модель семейства Qwen, разработанная командой Qwen. Это авторегрессионная языковая модель с vision encoder, предназначенная для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель поддерживает интеграцию с Hugging Face Transformers, vLLM, SGLang и KTransformers. Модель содержит 27 млрд параметров, 64 слоя и скрытое измерение 5120. В архитектуре сочетаются Gated Delta Networks и разреженная Mixture-of-Experts; также используются механизмы Gated Attention и multi-step training. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Мультимодальное обучение выполнено с ранним объединением визуальных и языковых токенов. К сильным сторонам относятся сочетание языковых и визуальных возможностей, высокая эффективность архитектуры, большой контекст и широкое языковое покрытие. Ограничения README не описывает подробно; фактическая производительность и требования к ресурсам зависят от сценария использования и программного окружения. Модель распространяется по лицензии Apache-2.0.