I.5Создание и редактирование текста

Qwen2-7B-Instruct-it-v1.1 — дообученная чат-модель, разработанная homeb82784 на базе unsloth/qwen2-7b-instruct-bnb-4bit. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров, предназначенная для генерации текста в диалоговом формате. В карточке указано, что обучение проводилось с использованием Unsloth и библиотеки Hugging Face TRL. Модель принимает текст и генерирует текст; заявленная длина контекста составляет 32 768 токенов. В метаданных указан английский язык. Модель распространяется в формате Safetensors под лицензией Apache-2.0.

Карточка модели homeb82784/Qwen2-7B-Instruct-it-v1.6 на Hugging Face совпадает с карточкой homeb82784/Qwen2-7B-Instruct-it-v1.1, поэтому описание составлено по ней. Qwen2-7B-Instruct-it-v1.1 — дообученная чат-модель, разработанная homeb82784 на базе unsloth/qwen2-7b-instruct-bnb-4bit. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров, предназначенная для генерации текста в диалоговом формате. В карточке указано, что обучение проводилось с использованием Unsloth и библиотеки Hugging Face TRL. Модель принимает текст и генерирует текст; заявленная длина контекста составляет 32 768 токенов. В метаданных указан английский язык. Модель распространяется в формате Safetensors под лицензией Apache-2.0.

jeiku/qwen2base — слитая с помощью LazyMergekit модель на архитектуре Qwen2, объединяющая maywell/Qwen2-7B-Multilingual-RP и jeiku/qwen2-1 методом slerp. Она предназначена для генерации текста и диалогового общения. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов; файлы опубликованы в формате safetensors. Мультиязычный базовый компонент рассчитан на общение и генерацию текста. Карточка не уточняет поддерживаемые языки, сравнительное качество слияния или специальные предметные области. Лицензия в доступных сведениях не указана.

Карточка модели aoiandroid/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

Qwen3-0.6B-FP8 — компактная причинно-следственная языковая модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия базовой модели Qwen3-0.6B, предназначенная для генерации текста, диалогов, следования инструкциям, рассуждений, математических и программных задач, перевода и мультиязычных сценариев. Модель также поддерживает интеграцию с внешними инструментами и агентские приложения. Модель содержит 0,6 млрд параметров, из них 0,44 млрд не относятся к embedding, и включает 28 слоёв. Она использует Grouped-Query Attention с 16 головами для запросов и 8 для ключей и значений, поддерживает контекст до 32 768 токенов и более 100 языков и диалектов. В одной модели можно переключаться между thinking mode для сложных рассуждений, математики и кода и non-thinking mode для более быстрой генерации и обычного диалога. FP8-квантизация с размером блока 128 снижает требования к ресурсам и подходит для развёртывания через Transformers, SGLang и vLLM. Сильные стороны модели — небольшой размер, поддержка мультиязычности, режимов рассуждения и обычного ответа, а также применимость к диалоговым и агентским задачам. Ограничения включают возможные бесконечные повторы при неподходящих параметрах генерации и известные проблемы fine-grained FP8 в Transformers при распределённом инференсе на нескольких устройствах. Модель распространяется по лицензии Apache 2.0.

Qwen3-1.7B-GGUF — квантованная версия причинной языковой модели Qwen3-1.7B, разработанной командой Qwen компании Alibaba Cloud. Модель предназначена для локальной генерации текста, диалогов, следования инструкциям, решения математических и логических задач, программирования, творческого письма, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов. Она поддерживает переключение между режимом рассуждений для сложных задач и нерссуждающим режимом для более быстрых универсальных ответов. Модель содержит 1,7 млрд параметров, из которых 1,4 млрд не относятся к embedding, включает 28 слоёв и использует Grouped Query Attention: 16 голов для Q и 8 для KV. Заявленная длина контекста — 32 768 токенов. Формат GGUF и квантование q8_0 ориентированы на запуск через llama.cpp и Ollama. Поддерживаются более 100 языков и диалектов, при этом README не уточняет полный перечень языков. К сильным сторонам относятся компактный размер, мультиязычность, возможности рассуждения, следования инструкциям и работы с агентными сценариями. Ограничения включают меньший размер по сравнению с крупными моделями, возможное снижение качества из-за квантования и зависимость результатов от настроек декодирования и поддерживаемого шаблона чата. Для режима рассуждений рекомендуются специальные параметры sampling; жадное декодирование не рекомендуется из-за риска ухудшения качества и повторов. Модель распространяется по лицензии Apache-2.0.

XythicK/Qwen3-1.7B-GGUF — это GGUF-версия причинной языковой модели Qwen3-1.7B, разработанной командой Qwen. Модель предназначена для генерации и понимания текста, диалогов, следования инструкциям, решения математических и логических задач, написания кода, творческого письма и сценариев с интеграцией внешних инструментов. Она поддерживает более 100 языков и диалектов, включая английский; в предоставленных данных явно указан язык en. Модель содержит 1,7 млрд параметров, из которых 1,4 млрд не относятся к эмбеддингам, и имеет 28 слоёв. В архитектуре используется групповое совместное внимание (GQA) с 16 головами для Q и 8 для KV. Контекстное окно составляет 32 768 токенов. Qwen3-1.7B поддерживает переключение между режимом рассуждений для сложных логических, математических и программных задач и режимом без рассуждений для более эффективного универсального диалога. К сильным сторонам относятся компактный размер, поддержка многоязычных инструкций, рассуждений, генерации кода, диалогов и агентских сценариев. Ограничения, связанные с точностью, качеством на отдельных языках, ресурсоёмкостью и возможностями GGUF-квантизации, в README не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3-1.7B-unsloth-bnb-4bit — компактная каузальная языковая модель семейства Qwen3, представленная Unsloth и основанная на базовой модели Qwen/Qwen3-1.7B, разработанной командой Qwen. Данная версия предназначена для запуска и дообучения в формате 4-bit с использованием Transformers, что снижает требования к памяти по сравнению с полноразмерными вариантами. Модель подходит для генерации текста, диалогов, следования инструкциям, математических и логических задач, программирования, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с интеграцией внешних инструментов. Qwen3 поддерживает переключение между thinking mode для сложного рассуждения и non-thinking mode для более быстрой генерации. Заявлена поддержка более 100 языков и диалектов, однако в карточке явно указан язык English. Архитектура — causal language model с 1,7 млрд параметров, из которых 1,4 млрд не являются embedding-параметрами; модель содержит 28 слоёв, использует GQA с 16 головами для Q и 8 для KV, а максимальная длина контекста составляет 32 768 токенов. К сильным сторонам относятся небольшой размер, сниженное потребление памяти благодаря 4-bit-квантизации, мультиязычность, режимы рассуждения и эффективная работа в задачах диалога, инструкций, кода и агентского взаимодействия. Ограничения включают меньшую ёмкость по сравнению с крупными моделями, возможное снижение точности из-за квантизации и отсутствие в README подробных результатов бенчмарков, требований к оборудованию и характеристик производительности. Модель распространяется по лицензии Apache-2.0.

Qwen3-30B-A1.5B-64K-High-Speed-NEO-Imatrix-MAX-gguf — это GGUF-версия модели, подготовленная DavidAU на основе Qwen3-30B-A3B от команды Qwen. Модель использует архитектуру mixture-of-experts: всего 30 млрд параметров, 128 экспертов, из которых автоматически активируются 4, что соответствует примерно 1,5 млрд активных параметров на запрос. По заявлению автора, такая конфигурация почти вдвое повышает скорость по сравнению со стандартным вариантом с 8 активными экспертами и снижает требования к вычислительным ресурсам. Модель предназначена для генерации текста, творческого письма, ролевых сценариев, решения задач, рассуждений и использования инструментов. Она поддерживает контекст до 64K токенов благодаря применению YARN и может работать через CPU и RAM, GPU или их комбинацию. Указана поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Для интеграции рекомендуется использовать Jinja или ChatML template. Сильные стороны модели — высокая скорость инференса, большой контекст, возможность работы на разных типах оборудования и специализированные NEO Imatrix-квантизации, оптимизированные для Qwen3. Автор отмечает отсутствие заметной потери функциональности при обычном, но не исчерпывающем тестировании; при этом более сложные задачи могут лучше выполняться стандартной моделью или версиями с большим числом активных экспертов. Качество и скорость зависят от выбранного типа квантизации: более компактные варианты быстрее и экономичнее, но могут уступать по качеству. Лицензия в предоставленном README не указана.

Qwen3-30B-A3B-Instruct-2507-quantized.w4a16 — квантизированная версия языковой модели Qwen3-30B-A3B-Instruct-2507, разработанная Red Hat совместно с Neural Magic. Модель предназначена для генерации текста, рассуждений, вызова функций, многоязычного следования инструкциям, перевода и последующей адаптации под предметные области с помощью дообучения. Модель построена на архитектуре Qwen3ForCausalLM и работает с текстовыми входами и выходами. Веса линейных операторов в трансформерных блоках сжаты до INT4 с использованием алгоритма GPTQ, симметричной групповой схемы с размером группы 128; выходной слой lm_head не квантизируется. Такое преобразование уменьшает число битов на параметр с 16 до 4, а также примерно на 75% снижает требования к дисковому пространству и памяти GPU. Размер базовой модели — 30B параметров, при этом в README не указаны точные сведения о языках и максимальном контексте; в примерах развертывания используется длина контекста до 262144 токенов. К сильным сторонам относятся существенное снижение требований к ресурсам и возможность эффективного развертывания через vLLM, включая OpenAI-совместимый API. Ограничения связаны с потерями качества, возможными при INT4-квантизации, а также с отсутствием в предоставленных данных подробных результатов бенчмарков и характеристик поддержки отдельных языков. Модель распространяется по лицензии Apache-2.0; использование должно соответствовать применимым законам и нормативным требованиям.

Dohyeon1/Qwen3-30B-A3B-M-SMoE-ngroups64 — текстовая генеративная модель на архитектуре Qwen3 MoE, опубликованная пользователем Dohyeon1 на Hugging Face и предназначенная для диалоговой генерации текста. Модель содержит 2,6 млрд параметров, поддерживает контекст до 40 960 токенов и предназначена для запуска через библиотеку Transformers; в метаданных также указаны форматы Safetensors и conversational-тег. Модель можно применять для генерации ответов в чатах, продолжения текста, подготовки черновиков и других сценариев text generation. README не содержит сведений о точных языках, лицензии, данных обучения, результатах оценки, рекомендуемых параметрах запуска и разработчике исходной архитектуры. Поэтому перед использованием в production необходимо самостоятельно проверить совместимость, качество на целевых данных и условия распространения.

RedHatAI/Qwen3-32B-FP8-dynamic — языковая модель для генерации текста, разработанная Red Hat совместно с Neural Magic на основе Qwen/Qwen3-32B. Она предназначена для рассуждений, вызова функций, многоязычного следования инструкциям, перевода и адаптации под специализированные предметные области посредством дообучения. Модель работает с текстом на входе и выходе и построена на архитектуре Qwen3ForCausalLM. Модель использует FP8-квантизацию весов и активаций линейных операторов внутри transformer-блоков. Веса квантизуются статически по каналам, активации — динамически по токенам; слой lm_head не квантуется. По заявлению разработчиков, это примерно вдвое снижает требования к памяти GPU и размер на диске, а также может примерно вдвое увеличить пропускную способность матричных умножений по сравнению с представлением FP16. Модель рассчитана на эффективное развертывание с vLLM, включая OpenAI-совместимую подачу. К сильным сторонам относятся сочетание возможностей базовой Qwen3-32B с уменьшенными требованиями к памяти и поддержка рассуждений, многоязычных инструкций и function calling. При этом FP8-квантизация может влиять на точность по сравнению с исходной моделью, а README не содержит подробностей о поддерживаемых языках, длине контекста и количественных результатах оценки. Модель распространяется по лицензии Apache-2.0; использование должно соответствовать применимым законам и нормативным требованиям.

dnotitia подготовила вариант Qwen3-4B с изменённым шаблоном чата для удобства обучения. Веса совпадают с официальными весами Qwen3; шаблон вынесен в файл chat_template.jinja и дополнен тегами generation для поддержки assistant_only_loss в библиотеке TRL. Модель построена на плотной причинной архитектуре Qwen3ForCausalLM и содержит 3,7 млрд параметров по метаданным. Она принимает текст и предназначена для генерации текста, диалога, следования инструкциям, рассуждений, написания кода и многоязычных задач; заявлена поддержка более 100 языков и диалектов. Указанное в карточке контекстное окно составляет 32 768 токенов, тогда как метаданные каталога приводят 40 960 токенов; это расхождение требует проверки для конкретной конфигурации. Для обучения рекомендована актуальная версия Transformers. Лицензия — Apache-2.0.

PrimeIntellect/Qwen3-4B — текстовая генеративная модель семейства Qwen3, представленная Prime Intellect как копия Qwen/Qwen3-4B с шаблоном диалога, совместимым с многоходовым общением и вызовом инструментов. Модель основана на Qwen/Qwen3-4B-Base и дообучена; её плотная архитектура Qwen3ForCausalLM содержит 3,7 млрд параметров и поддерживает контекст до 40 960 токенов. Модель предназначена для генерации текста и диалоговых сценариев, включая обмен сообщениями в несколько ходов и форматирование вызовов инструментов. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0.

Qwen3-4B-GGUF — это квантизированная версия языковой модели Qwen3-4B, разработанной командой Qwen. Квантизацию в формате GGUF выполнил bartowski на основе llama.cpp, релиз b5200. Модель предназначена для локального запуска и генерации текста. Модель поддерживает режимы рассуждения и обычной генерации, а также параметр /no_think для отключения рассуждений. Она ориентирована на следование инструкциям, творческое письмо, ролевые сценарии, многошаговые диалоги, математику, программирование, задачи на здравый смысл и агентские сценарии. Заявлена поддержка более 100 языков и диалектов. Максимальная длина контекста составляет до 131 072 токенов при использовании YaRN, при этом значение по умолчанию указано как 32 000 токенов. Сильными сторонами являются улучшенные способности к рассуждению, широкий языковой охват и возможность выбора между режимами с рассуждением и без него. Ограничения включают типичные для языковых моделей риски неточных, вредных или неподходящих ответов; кроме того, README не содержит сведений о конкретном варианте квантизации, требованиях к ресурсам и лицензии.

Richard Young выпустил эту версию Qwen3-4B-Instruct-2507, обработанную методом abliteration с помощью Heretic v1.4.0. Это плотная причинная языковая модель на 3,7 млрд параметров для генерации текста и диалогов; она рассчитана на режим без пошагового рассуждения и имеет контекстное окно 262 144 токена. Модель предназначена для следования инструкциям, ответов на вопросы, логических и математических задач, программирования, работы с длинными текстами и сценариев с вызовом инструментов. В README автор сообщает, что при его проверке модель отказала в 3 из 100 запросов, тогда как исходная версия отказала во всех 100; это описывает результаты конкретной оценки, а не гарантирует поведение на других запросах. Репозиторий содержит веса Safetensors для Transformers. Указанная лицензия — Apache-2.0. README отмечает поддержку нескольких языков, но не перечисляет их, поэтому основной язык определить нельзя.

Карточка модели shrawanp/Qwen3.5-122B-A10B на Hugging Face совпадает с карточкой Qwen/Qwen3.5-122B-A10B, поэтому описание составлено по ней. Qwen3.5-122B-A10B — мультимодальная причинная языковая модель с визуальным энкодером, разработанная командой Qwen. Репозиторий содержит постобученные веса и конфигурацию в формате Transformers; модель сочетает Gated Delta Networks с разреженной архитектурой Mixture-of-Experts. Всего в модели 122 млрд параметров, из которых при генерации активируются 10 млрд; предусмотрено 256 экспертов, 8 маршрутизируемых и один общий активируются для каждого шага. Модель предназначена для диалога и решения задач по тексту и изображениям, включая рассуждения, программирование, понимание визуального содержимого и работу с инструментами. README также описывает обработку видео и расширенный контекст. Нативное окно контекста — 262 144 токена, с возможностью расширения до 1 010 000. Заявлена поддержка 201 языка и диалекта; точный перечень языков в предоставленной карточке опущен. Среди сильных сторон — сочетание мультимодального понимания, инструментального взаимодействия и разреженной архитектуры, рассчитанной на эффективный инференс. Для запуска требуются совместимые версии Transformers или специализированные движки, например vLLM, SGLang или KTransformers; производительность и расход памяти зависят от инфраструктуры, а README предупреждает о риске нехватки памяти при большом контексте. Лицензия — Apache-2.0.

unsloth/Qwen3.5-122B-A10B-NVFP4 — это NVFP4-квантизованная версия мультимодальной модели Qwen3.5-122B-A10B, подготовленная Unsloth на базе модели Qwen. Она относится к классу каузальных языковых моделей с vision encoder и предназначена для работы с текстом и изображениями, включая рассуждение, программирование, визуальное понимание и агентские сценарии. Модель использует гибридную архитектуру Gated Delta Networks и разреженной Mixture-of-Experts. Всего заявлено 122 млрд параметров, из которых при обработке активируется около 10 млрд; архитектура включает 48 слоёв и 256 экспертов, из которых маршрутизируются 8, дополнительно используется один общий эксперт. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Ключевое преимущество версии NVFP4 — снижение требований к памяти и стоимости инференса при сохранении возможностей исходной модели, однако качество и скорость могут зависеть от особенностей квантизации и совместимого программно-аппаратного окружения. В README рекомендуется запуск через vLLM с NVFP4-ядром; использование Marlin не рекомендуется из-за более низкой производительности. Модель распространяется по лицензии Apache 2.0. README не содержит подробных результатов бенчмарков для этой конкретной квантизованной версии, поэтому её фактические показатели качества следует проверять отдельно.

Qwen3.5-27B-FP8 — мультимодальная причинная языковая модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия постобученной модели Qwen3.5-27B с весами и конфигурацией для Hugging Face Transformers; также заявлена совместимость с vLLM, SGLang и KTransformers. Модель предназначена для работы с текстом и изображениями, включая рассуждение, программирование, визуальное понимание и агентские сценарии. Модель использует языковую часть на 27 млрд параметров и vision encoder. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture-of-Experts; предусмотрено многократное обучение предсказанию следующих токенов. Нативная длина контекста составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. FP8-квантизация выполнена с блочным размером 128, при этом, согласно README, показатели производительности близки к исходной модели. Сильными сторонами являются мультимодальность, большой контекст, широкая языковая поддержка и потенциально более эффективный инференс благодаря гибридной архитектуре и FP8-представлению. Ограничения конкретной версии, включая фактическое качество на отдельных задачах, требования к аппаратному обеспечению и особенности работы с изображениями, в README подробно не указаны. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.5-27B-MTP-GGUF — GGUF-версия модели Qwen3.5-27B, подготовленная Unsloth на основе Qwen/Qwen3.5. Это мультимодальная causal language model с vision encoder, предназначенная для диалога, анализа изображений, рассуждений, программирования, агентских сценариев и вызова инструментов. Вариант поддерживает MTP speculative decoding для ускорения генерации примерно в 1,5–2 раза при использовании совместимой версии llama.cpp. Модель содержит 27B параметров, 64 слоя и скрытое измерение 4096. Архитектура сочетает Gated Delta Networks, Gated Attention и sparse Mixture-of-Experts; заявлена ранняя интеграция мультимодальных токенов. Поддерживается 201 язык и диалект, а входные данные могут включать текст и изображения. В README не указана длина контекста. GGUF-варианты используют imatrix-данные, оптимизированные для диалога, программирования, длинного контекста и tool calling. Сильные стороны модели — мультимодальность, широкое языковое покрытие, поддержка рассуждений и инструментов, а также ускоренная генерация с MTP. Ограничения связаны с требованиями к совместимому llama.cpp и специальным режимам запуска: для MTP пока не поддерживаются параллельные последовательности с -np > 1 и параметр --mmproj. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-2B-text-only — текстовый вариант семейства Qwen3.5, опубликованный Principled Intelligence. Это плотная авторегрессионная языковая модель с архитектурой Qwen3_5ForCausalLM и примерно 1,7 млрд параметров. Из чекпойнта удалены веса визуального энкодера, поэтому он занимает меньше места и требует меньше видеопамяти, чем исходная мультимодальная версия. Модель предназначена для генерации текста и диалогов; заявленная длина контекста составляет 262 144 токена. Чекпойнт сохранён в формате safetensors и рассчитан на запуск через HuggingFace Transformers версии 5.2.0 или новее. По карточке, он сохраняет токенизатор, шаблон диалога и поведение генерации исходной модели, но не принимает изображения. Лицензия — Apache 2.0. Авторы описывают публикацию как лабораторный эксперимент, а поддержку vLLM, SGLang, llama.cpp, Ollama и других движков пока не заявляют.

Qwen3.5-35B-A3B — мультимодальная модель Alibaba, опубликованная в формате Transformers и дообученная на базе Qwen/Qwen3.5-35B-A3B. Она предназначена для диалога, рассуждений, анализа изображений и агентных сценариев с вызовом инструментов. Модель принимает текст и изображения и генерирует текст; её архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts: всего 35 млрд параметров, из которых активируются около 3 млрд. В модели 40 слоёв, а нативное контекстное окно составляет 262 144 токена и может расширяться примерно до 1,01 млн токенов. В README заявлена поддержка 201 языков и диалектов. Модель доступна в формате safetensors, совместима с Transformers, vLLM, SGLang и KTransformers и распространяется по лицензии Apache-2.0. Для работы с длинным контекстом и изображениями могут требоваться значительные вычислительные ресурсы; авторы рекомендуют при нехватке памяти уменьшить контекстное окно, сохраняя по возможности не менее 128 тысяч токенов для сложных задач.

TheCluster/Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive-MLX-mxfp4 — это квантизированная версия мультимодальной модели Qwen3.5-35B-A3B, основанная на варианте HauhauCS/Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive. Модель преобразована в формат MLX и предназначена для локального запуска, генерации текста, программирования, рассуждений, а также обработки изображений и видео. Вариант Aggressive отличается усиленным удалением отказов от ответов; при этом модель иногда может добавлять стандартные дисклеймеры, не отказываясь от генерации основного содержания. Архитектура включает 35 миллиардов общих параметров и около 3 миллиардов активных параметров на токен благодаря MoE с 256 экспертами, из которых для каждого токена выбираются 8 маршрутизируемых и 1 общий эксперт. Используется гибридная схема Gated DeltaNet linear attention и полноформатного softmax-внимания в соотношении 3:1, всего 40 слоёв. Нативное контекстное окно составляет 262 тысячи токенов и может быть расширено до 1 миллиона с помощью YaRN. Модель поддерживает текст, изображения и видео, multi-token prediction, словарь из 248 тысяч токенов и 201 язык, включая русский, английский и китайский. К сильным сторонам относятся мультимодальность, очень длинный контекст, высокая вычислительная эффективность MoE и отсутствие встроенных отказов в Aggressive-варианте. Ограничения включают квантизацию mxfp4 с качеством около 4,402 bpw, зависимость производительности от совместимости с MLX и аппаратных ресурсов, а также потенциально менее предсказуемое поведение из-за снятия ограничений безопасности. В README указана лицензия Apache-2.0.

NVIDIA Qwen3.5-397B-A17B NVFP4 V2 — квантизированная версия авторегрессионной мультимодальной модели Qwen3.5-397B-A17B, разработанной Alibaba и оптимизированной NVIDIA с помощью Model Optimizer. Модель предназначена для коммерческого и некоммерческого использования в AI Agent-системах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. Модель использует архитектуру Transformers и содержит 397 млрд параметров, из которых активируется 17 млрд. Она принимает текст, изображения и видео, а генерирует текст; заявленная длина контекста составляет до 262 тысяч токенов. Поддерживаются входные данные в строковом формате, изображения RGB и видео MP4/WebM. Модель оценивалась на задачах мультимодального рассуждения, научного программирования, работы с длинным контекстом, следования инструкциям и агентского использования инструментов. Вариант NVFP4 2.0 предназначен для ускоренного инференса на GPU NVIDIA, прежде всего на архитектуре Blackwell, с использованием SGLang и Linux. Веса и активации линейных операторов внутри transformer-блоков квантизированы в NVFP4; attention и shared experts используют per-tensor FP8. Ограничения включают нераскрытые данные обучения и отсутствие приведённых численных результатов бенчмарков, поэтому перед развёртыванием необходимы тестирование на целевых данных и проверка безопасности. Модель распространяется по лицензии Apache 2.0.

cyankiwi/Qwen3.5-4B-AWQ-INT8-INT4 — квантованная версия мультимодальной модели Qwen3.5-4B, основанная на Qwen/Qwen3.5-4B. Модель представлена в формате Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и KTransformers. Архитектура включает каузальную языковую модель с vision encoder и предназначена для обработки текста и изображений, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель содержит около 4 млрд параметров, 32 слоя и гибридную архитектуру с Gated Delta Networks, Gated Attention и разреженным Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Идентификатор указывает на применение квантования AWQ с форматами INT8 и INT4, что ориентировано на снижение требований к памяти и ускорение инференса; README не приводит точных характеристик качества именно этой квантованной сборки. Модель подходит для локального и серверного инференса, мультимодальных приложений, анализа документов и изображений, генерации текста и кода, а также задач с длинным контекстом. К сильным сторонам относятся сочетание языковых и визуальных возможностей, большой контекст, многоязычность и компактный размер. Ограничения квантованной версии, включая возможное снижение точности по сравнению с полной моделью, в README не описаны. Лицензия — Apache-2.0.

Mungert/Qwen3.5-4B-GGUF — это GGUF-квантованная версия мультимодальной модели Qwen3.5-4B, опубликованная Mungert на основе базовой модели Qwen/Qwen3.5-4B-Base, разработанной командой Qwen. Модель предназначена для генерации и понимания текста, визуально-языковых задач, рассуждений, программирования, работы с агентами и анализа изображений. Формат GGUF ориентирован на локальный запуск с использованием совместимых инструментов, включая llama.cpp. Модель представляет собой авторегрессионную языковую модель с vision encoder и поддерживает обработку текста и изображений. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture-of-Experts; размер языковой части составляет около 4 млрд параметров, число слоёв — 32, размер скрытого состояния — 2560. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Ключевая особенность этой версии — кастомная стратегия квантования: отдельные важные слои переводятся в более высокую точность сверх стандартной конфигурации IMatrix, что, по данным автора, может улучшать точность при сохранении преимуществ квантования. Ограничения зависят от выбранного варианта квантования и аппаратного обеспечения; снижение точности по сравнению с полной моделью возможно, а конкретные требования к памяти, результаты бенчмарков и доступные уровни квантования в представленном фрагменте не указаны. Лицензия — Apache 2.0.

hikka2515/Qwen3.5-4B-MTP-GGUF — GGUF-версия мультимодальной модели Qwen3.5-4B, разработанной командой Qwen и подготовленной с использованием инструментов Unsloth. Модель предназначена для локального запуска и генерации текста, рассуждений, программирования, агентских сценариев, вызова инструментов и анализа изображений. Она поддерживает текстово-визуальный ввод и совместима с llama.cpp и другими средствами работы с GGUF. Модель содержит около 4 млрд параметров и использует гибридную архитектуру с Gated Delta Networks, разреженным Mixture-of-Experts и блоками gated attention. Контекст составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Поддерживается 201 язык и диалект. Версия включает обучение для multi-step speculative decoding (MTP), которое при совместимой сборке llama.cpp может ускорять генерацию примерно в 1,5–2 раза, а также улучшения поддержки роли developer и вызова инструментов. Сильные стороны модели — сочетание мультимодальности, большого контекста, компактного размера и возможности эффективного локального запуска в квантованном формате. Ограничения связаны с необходимостью специальной сборки llama.cpp для MTP; при таком режиме не поддерживаются параллельность запросов через параметр -np больше 1 и параметр --mmproj. Точные характеристики конкретного квантования UD-Q4_K_XL в README не приведены. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-88B — текстовая версия модели Qwen3.5, подготовленная 0xSero из Qwen/Qwen3.5-122B-A10B методом REAP (Routing-Enhanced Activation Pruning). Из MoE-модели удалено около 30% экспертов; итоговая модель содержит 88 млрд параметров и распространяется в формате BF16. В основе указана архитектура Qwen3.5 MoE с GDN и полным attention. Модель предназначена для генерации текста и диалогов. Это контрольная точка только для языковой модели, полученная из мультимодальной базы: изображения она не обрабатывает. REAP отбирает экспертов по активациям маршрутизатора на калибровочном наборе данных; в README также указана защита критически важных для безопасности возможностей. Для запуска приведён пример с vLLM и максимальной длиной контекста 8192 токена. Лицензия в метаданных обозначена как other, конкретные условия следует проверять на странице репозитория.

cyankiwi/Qwen3.5-9B-AWQ-BF16-INT4 — производная версия Qwen3.5-9B, разработанной командой Qwen. Репозиторий содержит веса и конфигурационные файлы в формате Hugging Face Transformers; модель совместима с Transformers, vLLM, SGLang и KTransformers. По идентификатору предполагается квантованный вариант AWQ с представлением INT4, однако подробности о процедуре квантования в README не приведены. Это мультимодальная причинная языковая модель с vision encoder, предназначенная для обработки текста и изображений, рассуждений, программирования, визуального понимания и агентских сценариев. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Модель содержит около 9 млрд параметров, 32 слоя и имеет нативный контекст 262 144 токена с возможностью расширения до 1 010 000 токенов. К сильным сторонам относятся мультимодальность, большой контекст, высокая эффективность архитектуры и широкий языковой охват. Ограничения конкретной квантованной сборки, включая возможные потери качества, требования к памяти и совместимость с определёнными аппаратными конфигурациями, в README не описаны. Модель распространяется по лицензии Apache 2.0.

Qwen3.5-9B-f32-GGUF — мультимодальная причинная языковая модель с 9 млрд параметров, основанная на Qwen3.5-9B и разработанная командой Alibaba Qwen. Данная версия распространяется в формате GGUF и предназначена для локального и серверного инференса с использованием llama.cpp, vLLM или SGLang. Модель обрабатывает текст, изображения и видео и рассчитана на OCR, визуальные вопросы и ответы, анализ документов, программирование, математические задачи, многоязычное рассуждение и создание мультимодальных агентов. Архитектура включает интегрированный vision encoder, гибридную схему Gated DeltaNet и Gated Attention, 32 слоя, скрытую размерность 4096, словарь из 248 тысяч токенов для 201 языка и нативный контекст до 262 тысяч токенов с возможностью расширения свыше 1 млн с помощью YaRN. Для обработки визуальных данных используется DeepStack ViT, включая временную динамику видео. К сильным сторонам относятся сочетание текстовых и визуальных возможностей, длинный контекст, поддержка большого числа языков и возможность запуска на одном RTX 4090: около 18 ГБ в BF16 или 5 ГБ в 4-битном представлении. Ограничения включают требования к значительным вычислительным и видеоресурсам для полноразмерных вариантов, а также зависимость мультимодального инференса от отдельного файла mmproj. В репозитории доступны варианты BF16, F16, F32 и Q8_0, а также соответствующие мультимодальные проекции. Лицензия — Apache 2.0.