I.5Создание и редактирование текста

mlx-community/Qwen3-32B-bf16 — конверсия модели Qwen/Qwen3-32B в формат MLX, выполненная сообществом mlx-community с помощью mlx-lm версии 0.24.0. Это плотная авторегрессионная языковая модель семейства Qwen3 с 29,7 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст. Для неё указан контекст длиной до 40 960 токенов. Базовая Qwen3 — многоязычная модель для диалога, рассуждений, программирования и работы с инструментами; конкретный перечень поддерживаемых языков в карточке этой конверсии не приведён. Репозиторий содержит веса safetensors и предназначен для использования с библиотекой MLX, в частности через mlx-lm. Модель доступна по лицензии Apache-2.0. Качество и скорость могут зависеть от оборудования и программной среды MLX; приведённые сведения не описывают отдельную проверку этой конверсии.

furiosa-ai/Qwen3-4B-FP8 — это версия модели Qwen3-4B-FP8, подготовленная FuriosaAI для запуска на ускорителях FuriosaAI RNGD с использованием Furiosa-LLM. Модель представляет собой плотный causal transformer с grouped-query attention и примерно 4 млрд параметров. Разработчик базовой модели — команда Qwen, а FuriosaAI предоставляет исполняемый пакет FXB и интеграцию с собственным программным стеком. Модель предназначена для генерации текста, общего диалога, сложных рассуждений, математических и программных задач, вызова инструментов и агентских сценариев. Она поддерживает гибридный режим: по умолчанию может формировать рассуждение перед ответом, а для отдельных запросов рассуждение можно отключить ради более эффективной работы. Также поддерживается multilingual-использование, однако в карточке явно указан английский язык. Входные и выходные данные — текстовые, доступен OpenAI-совместимый API. Веса статически квантизированы в FP8, активации во время выполнения используют динамическую FP8-квантизацию, а KV-cache сохраняется в 16-битной точности. На FuriosaAI RNGD модель работает с tensor parallelism на 8 вычислительных элементах одной карты. Ограничения связаны с зависимостью данной сборки от Furiosa-LLM и оборудования RNGD; сведения о размере контекста и точном перечне поддерживаемых языков в README не приведены. Модель распространяется по лицензии Apache 2.0.

unsloth/Qwen3-4B-Instruct-2507-bnb-4bit — 4-битная квантованная версия Qwen3-4B-Instruct-2507, подготовленная Unsloth на основе модели Qwen, разработанной командой Qwen. Это авторегрессионная языковая модель для генерации текста и диалогового взаимодействия; она ориентирована на следование инструкциям, логическое рассуждение, понимание текста, математику, научные задачи, программирование, использование инструментов и открытые текстовые сценарии. Модель поддерживает только non-thinking режим и не формирует блоки <think></think>. Модель содержит около 4 млрд параметров, из которых 3,6 млрд не относятся к embedding, имеет 36 слоёв и архитектуру Grouped Query Attention с 32 головами для Q и 8 для KV. Нативная длина контекста составляет 262 144 токена. Заявлены улучшения в многоязычных задачах и покрытии редких знаний, однако конкретный список поддерживаемых языков в README не приведён. Модель предназначена для text-generation и может использоваться через Transformers, а также разворачиваться с помощью SGLang или vLLM. К сильным сторонам относятся компактный размер, сниженные требования к памяти благодаря 4-битной квантованию, длинный контекст и улучшенные результаты в рассуждениях, кодировании, следовании инструкциям, творческом письме и агентских сценариях. Ограничения включают отсутствие режима reasoning с отдельными блоками размышлений, возможные потери точности из-за квантования и отсутствие в README подробностей о требованиях к оборудованию и фактической производительности именно квантованной версии. Лицензия указана как Apache-2.0.

Карточка модели rayss868123/Qwen3-4B-Instruct-2507-heretic на Hugging Face совпадает с карточкой heretic-org/Qwen3-4B-Instruct-2507-heretic, поэтому описание составлено по ней. Qwen3-4B-Instruct-2507-heretic — производная диалоговая модель на базе Qwen3-4B-Instruct-2507, созданная с помощью abliteration для заметного снижения частоты отказов. По приведённому в карточке тесту отказов стало 5 из 100 запросов против 100 из 100 у исходной модели; это измерение относится к конкретному тесту и не гарантирует поведение на других запросах. Модель плотная, с архитектурой Qwen3ForCausalLM и примерно 3,7 млрд параметров, принимает текст и генерирует текст. Поддерживает контекст до 262 144 токенов и рассчитана на диалоги и режим без пошагового рассуждения. Модель подходит для ответов на вопросы, следования инструкциям, написания и анализа текстов, решения задач, программирования и использования инструментов. В карточке базовой модели заявлена поддержка нескольких языков, но конкретные языки для этой версии не перечислены. Версия опубликована в формате safetensors и предназначена для запуска через Transformers. Лицензия — Apache-2.0.

arnomatic/Qwen3-4B-Instruct-2507-heretic-av2 — производная чат-модель семейства Qwen3, созданная на основе Qwen3-4B-Instruct-2507 методом abliteration, который снижает склонность исходной модели отказывать в ответах. Это плотная причинная языковая модель с архитектурой Qwen3ForCausalLM, примерно 3,7 млрд параметров и нативным контекстом до 262 144 токенов; поддерживает только режим без «thinking». Предназначена для диалогов и генерации текста по инструкциям, включая рассуждения, математику, программирование, ответы на вопросы и вызовы инструментов. Карточка сообщает о многоязычных возможностях исходной модели, но не перечисляет поддерживаемые языки. В сравнении с исходной моделью в приведённом тесте число отказов снизилось с 100 из 100 до 19 из 100; это не означает полного отсутствия отказов и не является гарантией качества. Доступна в формате Safetensors для Transformers. Лицензия — Apache-2.0.

RedHatAI/Qwen3-4B-Instruct-2507-quantized.w8a8 — это квантизированная версия языковой модели Qwen/Qwen3-4B-Instruct-2507, разработанная Red Hat совместно с Neural Magic. Модель построена на архитектуре Qwen3ForCausalLM, работает с текстом на входе и генерирует текст на выходе. Размер базовой модели — 4 млрд параметров; поддерживается контекст до 262 144 токенов в конфигурации развертывания, указанной в README. Модель предназначена для рассуждений, следования многоязычным инструкциям, перевода и function calling. Её также можно адаптировать под предметные области с помощью дообучения. Языки перечислены обобщённо как многоязычные, без указания конкретного набора языков. Поддерживается эффективное развертывание через vLLM, включая OpenAI-совместимый API. Веса и активации линейных операторов в блоках Transformer квантизированы в INT8; применяются SmoothQuant и GPTQ. Это примерно вдвое снижает требования к памяти и размер модели на диске, а также может увеличить пропускную способность матричных умножений примерно в 2 раза. Ограничение модели — использование квантованного представления и текстовая модальность; сведения о конкретном влиянии квантования на качество и подробные результаты оценки в README не приведены. Модель распространяется по лицензии Apache 2.0.

unsloth/Qwen3-4B-Instruct-2507-unsloth-bnb-4bit — 4-битная версия модели Qwen3-4B-Instruct-2507, подготовленная Unsloth на основе модели Qwen/Qwen3-4B-Instruct-2507, разработанной командой Qwen. Это авторегрессионная causal language model для генерации текста и диалоговых сценариев. Модель предназначена для следования инструкциям, ответов на вопросы, логического рассуждения, понимания текста, математики, науки, программирования, использования инструментов и генерации творческих текстов. Она поддерживает несколько языков и рассчитана на работу с длинным контекстом до 262 144 токенов. Модель работает только в non-thinking режиме и не генерирует блоки <think></think>. Архитектура включает 4,0 млрд параметров, из которых 3,6 млрд не являются embedding-параметрами, 36 слоёв и Grouped-Query Attention с 32 головами Q и 8 головами KV. Квантование до 4 бит снижает требования к памяти и может упростить локальное развёртывание, однако потенциально сопровождается потерей точности по сравнению с полноразмерной версией. В README заявлены улучшения в знаниях, рассуждении, кодировании, агентских задачах, многоязычности и соответствии пользовательским предпочтениям, но конкретная производительность зависит от сценария и среды запуска. Лицензия — Apache-2.0.

CalmState/Qwen-3-4b-Polyglot-r2 — плотная языковая модель Qwen3 с 3,7 млрд параметров, дообученная CalmState на базе unsloth/Qwen3-4B-Instruct-2507 для сценариев приложения Polyglot Air. Она принимает текст с командой-суффиксом вида ::en или ::formal и выполняет преобразование без вводных фраз: переводит между английским и вариантами португальского, исправляет орфографию и грамматику, меняет тон, кратко пересказывает или расширяет текст. Карточка описывает поддержку английского, португальского, испанского и китайского; контекст составляет до 262 144 токенов. Модель предназначена для быстрых преобразований выделенного текста в настольном приложении, а также может использоваться как диалоговая модель для генерации текста. В README указано, что версия обучена на датасете примерно вчетверо большем, чем предыдущая, и использует Unsloth и TRL. Модель распространяется в формате safetensors под лицензией Apache-2.0. Заявления об отсутствии галлюцинаций и точности являются характеристиками, заявленными автором, а не гарантией качества.

Qwen3-4B-RKNN3-RK1828 — версия языковой модели Qwen3-4B, подготовленная проектом Firefly для запуска на устройстве RK1828 через LlamaPi. Это плотная причинная модель семейства Qwen3 примерно на 3,7 млрд параметров с форматом GGUF и контекстом до 40 960 токенов. Она предназначена для генерации текста, диалогов, следования инструкциям, рассуждений, программирования и агентных сценариев; поддерживает режимы с рассуждением и без него, а также интерфейс вызова инструментов. Модель принимает текст и выдаёт текст. Исходная Qwen3-4B поддерживает более 100 языков и диалектов. Карточка предлагает запуск через LlamaPi на RK1828. Модель распространяется по лицензии Apache-2.0. Производительность и качество зависят от устройства и конфигурации; возможности конкретной сборки для вызова инструментов следует проверять в целевой среде.

cyankiwi/Qwen3.5-122B-A10B-AWQ-4bit — 4-битная AWQ-квантизованная версия мультимодальной модели Qwen3.5-122B-A10B, разработанной командой Qwen. Модель предназначена для обработки текста и изображений, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Она распространяется в формате, совместимом с Hugging Face Transformers, vLLM, SGLang и KTransformers. Модель представляет собой каузальную языковую модель с vision encoder и гибридной архитектурой, объединяющей Gated Delta Networks и разреженную Mixture-of-Experts. Общее число параметров составляет 122 млрд, из которых при обработке активируется около 10 млрд. Архитектура включает 48 слоёв, 256 экспертов, 8 маршрутизируемых и 1 общий активный эксперт. Нативная длина контекста — 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. К сильным сторонам относятся мультимодальность, большой контекст, высокая вычислительная эффективность разреженной архитектуры и возможность локального запуска благодаря AWQ-квантизации. Ограничения включают потенциальные потери качества и точности, характерные для 4-битного представления, а также повышенные требования к памяти и инфраструктуре по сравнению с меньшими моделями. Модель распространяется по лицензии Apache-2.0.

nvidia/Qwen3.5-122B-A10B-NVFP4 — квантизированная версия авторегрессионной мультимодальной модели Qwen3.5-122B-A10B, разработанной Alibaba. Квантизация выполнена NVIDIA с использованием Model Optimizer версии 0.44.0; сама модель не принадлежит и не разработана NVIDIA, а подготовлена по требованиям к данному сценарию применения. Модель предназначена для генерации текста, чат-ботов, AI Agent-систем, RAG и других приложений на базе искусственного интеллекта. Она принимает текст, изображения и видео, а выдаёт текст. Поддерживается контекст до 262K токенов, однако сведения о языках модели в карточке не указаны. Архитектура основана на оптимизированном Transformer и Mixture of Experts: всего 122 млрд параметров, из которых 10 млрд активируются при обработке запроса. Веса и активации линейных операторов в Transformer-блоках MoE переведены в формат NVFP4, что примерно в четыре раза уменьшает требования к дисковому пространству и GPU-памяти по сравнению с исходным представлением. Модель рассчитана на инференс через vLLM на NVIDIA GPU архитектуры Blackwell под Linux. К преимуществам относятся большой контекст, мультимодальный ввод, MoE-архитектура и сниженные требования к памяти благодаря квантизации. Ограничения включают зависимость от совместимого NVIDIA-оборудования и vLLM, возможные особенности качества и точности, связанные с 4-битной квантизацией, а также отсутствие раскрытых сведений о полном обучающем наборе данных. Перед промышленным использованием необходимы тестирование на данных конкретного сценария и проверка безопасности. Модель распространяется по лицензии Apache 2.0 и допускает коммерческое и некоммерческое использование.

cyankiwi/Qwen3.5-27B-AWQ-4bit — 4-битная AWQ-квантизованная версия мультимодальной модели Qwen3.5-27B, разработанной командой Qwen. Модель представляет собой каузальную языковую модель с vision encoder и предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель содержит 27 млрд параметров и использует гибридную архитектуру с Gated Delta Networks и разреженным Mixture-of-Experts; в языковой части заявлены 64 слоя и скрытая размерность 5120. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Поддерживается 201 язык и диалект. Квантизация AWQ до 4 бит снижает требования к памяти и может повысить практическую эффективность инференса, но потенциально сопровождается некоторой потерей качества по сравнению с полной точностью. Модель совместима с Hugging Face Transformers, vLLM, SGLang и KTransformers. README указывает лицензию Apache 2.0. Конкретные требования к аппаратному обеспечению, ограничения безопасности и подробные результаты для данной AWQ-версии не приведены.

Qwen3.5-27B — мультимодальная модель семейства Qwen, разработанная командой Qwen. Это авторегрессионная языковая модель с vision encoder, предназначенная для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель поддерживает интеграцию с Hugging Face Transformers, vLLM, SGLang и KTransformers. Модель содержит 27 млрд параметров, 64 слоя и скрытое измерение 5120. В архитектуре сочетаются Gated Delta Networks и разреженная Mixture-of-Experts; также используются механизмы Gated Attention и multi-step training. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Мультимодальное обучение выполнено с ранним объединением визуальных и языковых токенов. К сильным сторонам относятся сочетание языковых и визуальных возможностей, высокая эффективность архитектуры, большой контекст и широкое языковое покрытие. Ограничения README не описывает подробно; фактическая производительность и требования к ресурсам зависят от сценария использования и программного окружения. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-27B-GPTQ-Int4 — мультимодальная причинная языковая модель с vision encoder, разработанная командой Qwen. Модель предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Она представлена в формате Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и KTransformers. Модель содержит 27 млрд параметров, использует гибридную архитектуру Gated Delta Networks и sparse Mixture-of-Experts, 64 слоя и скрытое измерение 5120. Нативная длина контекста составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Поддерживается 201 язык и диалект. Веса квантизированы методом GPTQ до 4 бит, что снижает требования к памяти и может повысить эффективность инференса, однако потенциально сопровождается потерей качества по сравнению с полной точностью. К сильным сторонам относятся мультимодальность, длинный контекст, широкое языковое покрытие и оптимизация для производительного инференса. README не содержит подробных сведений о фактических ограничениях, требованиях к оборудованию или результатах всех представленных тестов. Модель распространяется по лицензии Apache-2.0.

OnlyTextLLMs/Qwen3.5-2B-OnlyText — текстовая причинно-следственная языковая модель на базе Qwen/Qwen3.5-2B. Разработчик репозитория удалил из исходной модели компоненты обработки изображений и аудио и мультимодальные специальные токены, сохранив текстовую основу, языковую голову и черновую MTP-голову; дополнительного обучения не проводилось. Модель имеет плотную архитектуру Qwen3_5ForCausalLM, около 1,7 млрд параметров по метаданным и контекст до 262 144 токенов. Модель предназначена для генерации текста и диалогов. Она принимает текст и выдаёт текст; заявленный интерфейс также поддерживает вызов инструментов. Репозиторий использует Transformers и формат safetensors. Лицензия — Apache-2.0. Удалённые аудио- и визуальные компоненты исключают обработку изображений и аудио; сведения о языках в предоставленных данных не приведены.

cyankiwi/Qwen3.5-35B-A3B-AWQ-4bit — 4-битная AWQ-квантизованная версия мультимодальной модели Qwen3.5-35B-A3B, разработанной командой Qwen. Модель предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание, агентские сценарии и другие задачи генерации и анализа контента. Архитектура представляет собой causal language model с vision encoder и гибридной схемой Gated Delta Networks и разреженной Mixture-of-Experts. Всего модель содержит 35 млрд параметров, из которых при обработке активируются около 3 млрд. Используются 40 слоёв, 256 экспертов, из которых выбираются 8 маршрутизируемых и 1 общий эксперт. Нативная длина контекста составляет 262 144 токена, с расширением до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Формат совместим с Transformers, vLLM, SGLang и KTransformers. К сильным сторонам относятся сочетание мультимодальности, большого контекста, высокой вычислительной эффективности разреженной архитектуры и широкой языковой поддержки. AWQ-квантизация снижает требования к памяти и может упростить локальное развертывание, однако потенциально сопровождается компромиссом между качеством и точностью по сравнению с полной версией весов. README не приводит подробностей о требованиях к оборудованию, измерениях производительности именно для этой AWQ-версии и явных ограничениях применения. Лицензия — Apache-2.0.

AxionML/Qwen3.5-35B-A3B-NVFP4 — квантованная версия мультимодальной модели Qwen3.5-35B-A3B, разработанная AxionML для задач открытого размещения и развёртывания. Модель предназначена для обработки текста и изображений, включая рассуждения, программирование, работу с агентами и визуальное понимание. Она реализована как авторегрессионная языковая модель с vision encoder и поддерживает архитектуру с Gated Delta Networks, Gated Attention и разреженным Mixture-of-Experts. Модель содержит 35 млрд параметров, из которых активируется около 3 млрд, имеет 40 слоёв и нативный контекст 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Линейные слои используют квантование NVFP4, выполненное с помощью NVIDIA TensorRT Model Optimizer; это уменьшает размер модели на диске и потребление GPU-памяти примерно в четыре раза по сравнению с BF16. Формат ориентирован на ускоренный inference на оборудовании с поддержкой Blackwell Tensor Cores. К сильным сторонам относятся высокая параметрическая эффективность за счёт MoE, большой контекст, мультимодальность и сниженные требования к памяти благодаря 4-битному квантованию. Ограничения связаны с зависимостью производительности и качества от совместимого оборудования и программного стека, а также с потенциальными потерями точности, свойственными квантованию; конкретные требования к аппаратному обеспечению и подробные результаты оценки в представленном фрагменте не указаны. Модель доступна для коммерческого и некоммерческого использования по лицензии Apache 2.0.

Qwen3.5-35B-A3B-Uncensored-FernflowerAI-MLX-8bit — это мультимодальная MoE-модель, преобразованная в формат MLX для нативного запуска на Apple Silicon. В её основе лежит Qwen3.5-35B-A3B от Alibaba, использованы uncensored-вариант HauhauCS и исправленные веса FernflowerAI от LuffyTheFox. Конверсию выполнил автор репозитория froggeric. Исправление устраняет повреждение двух тензоров в исходных весах, вызывавшее деградацию на длинном контексте. Модель предназначена для диалогов, генерации и анализа текста и кода, работы с изображениями и видео, рассуждений и вызова инструментов. Она содержит около 35 млрд параметров, активирует примерно 3 млрд параметров на токен, использует архитектуру qwen3_5_moe с 256 экспертами, DeltaNet-MoE и Attention-MoE. Поддерживаются текстовые, визуальные и видеовходы, multi-token prediction, переключаемый режим рассуждений и контекст до 262 тысяч токенов, расширяемый до 1 млн с помощью YaRN. Заявлена поддержка 201 языка и словаря размером 248 тысяч токенов. К сильным сторонам относятся высокая вычислительная эффективность MoE, мультимодальность, большой контекст, поддержка tool calling и 8-битное квантование с объёмом около 35 ГБ. Ограничения включают зависимость от совместимых версий mlx-lm и mlx-vlm, необходимость Apple Silicon для целевого сценария и известное замедление примерно в 2,7 раза при декодировании Gated DeltaNet с невокабулярными эмбеддингами; обычный текстовый инференс этим ограничением не затронут. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-397B-A17B-GPTQ-Int4 — это квантизированная 4-битная версия мультимодальной модели Qwen3.5-397B-A17B, разработанной командой Qwen. Модель представлена в формате Hugging Face Transformers и предназначена для обработки текста и изображений, генерации ответов, рассуждений, программирования, визуального понимания и агентских сценариев. Модель сочетает языковую модель с vision encoder, гибридную архитектуру Gated Delta Networks и Gated Attention со sparse Mixture-of-Experts. Она содержит 397 млрд параметров, из которых 17 млрд активируются при обработке токена, 60 слоёв и 512 экспертов, при этом используются 10 маршрутизируемых и один общий эксперт. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Квантизация GPTQ Int4 снижает требования к памяти и может повысить эффективность инференса, но потенциально ограничивает точность по сравнению с полноразмерными весами. Весовые файлы совместимы с Transformers, vLLM, SGLang и KTransformers. Модель распространяется по лицензии Apache-2.0. README не содержит подробных сведений о требованиях к оборудованию, фактической производительности или ограничениях качества, поэтому эти характеристики следует оценивать отдельно для конкретной инфраструктуры и задач.

cyankiwi/Qwen3.5-4B-AWQ-4bit — 4-битная AWQ-квантизованная версия модели Qwen3.5-4B, созданной командой Qwen; репозиторий содержит веса и конфигурацию в формате Hugging Face Transformers. Модель предназначена для локального и серверного инференса в задачах генерации текста, рассуждений, программирования, агентских сценариев и анализа изображений. Это мультимодальная авторегрессионная языковая модель с vision encoder и унифицированным vision-language обучением. Она содержит около 4 млрд параметров, 32 слоя и гибридную архитектуру с Gated Delta Networks, Gated Attention и sparse Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов. Указана поддержка 201 языка и диалекта. Модель совместима с Transformers, vLLM, SGLang и KTransformers. К основным преимуществам относятся сочетание текстовых и визуальных возможностей, высокая эффективность архитектуры и сниженные требования к памяти благодаря 4-битной AWQ-квантизации. К ограничениям относятся возможные потери качества и точности по сравнению с полной версией Qwen3.5-4B из-за квантизации, а также отсутствие в предоставленных данных подробностей о фактических требованиях к оборудованию и результатах именно этой AWQ-сборки. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-4B-f32-GGUF — это набор GGUF-файлов с версиями модели Qwen3.5-4B, разработанной командой Alibaba Qwen и представленной в репозитории prithivMLmods. Модель представляет собой плотную мультимодальную causal language model примерно с 4 млрд параметров и встроенным vision-энкодером. Она предназначена для генерации и понимания текста, анализа изображений и видео, OCR, решения математических задач, программирования и агентских сценариев. Архитектура включает 32 слоя с гибридной схемой Gated DeltaNet и Gated Attention, размером скрытого состояния 2560 и словарём на 248 тысяч токенов для 201 языка. Заявлена поддержка контекста до 262 тысяч токенов с возможностью расширения свыше 1 млн токенов, а также переключаемый режим рассуждений для выбора между более глубоким анализом и быстрой генерацией. В комплект входят варианты BF16, F16, F32, Q8_0 и отдельные мультимодальные проекционные файлы mmproj; размеры файлов варьируются примерно от 367 МБ до 16,8 ГБ. К сильным сторонам относятся мультимодальность без необходимости в отдельном VL-компоненте, большой контекст, многоязычность и возможность запуска на ограниченных ресурсах: в README указано около 8 ГБ VRAM для BF16 и примерно 3 ГБ для 4-битной версии. К ограничениям относятся различия в качестве и размере квантованных вариантов, а также компромисс между скоростью и качеством рассуждений. Модель распространяется по лицензии Apache 2.0.

cosmicproc/Qwen3.5-4B-NVFP4 — это квантизированный вариант мультимодальной модели Qwen3.5-4B, разработанной командой Qwen. Модель представляет собой причинную языковую модель с vision-энкодером и предназначена для генерации и понимания текста, работы с изображениями, рассуждений, программирования, агентских сценариев и других задач, требующих совместной обработки текста и визуальной информации. Заявлена поддержка 201 языка и диалекта. Модель содержит около 4 млрд параметров, 32 слоя и скрытое измерение 2560. В архитектуре объединены Gated Delta Networks, Gated Attention и разреженная Mixture-of-Experts; используется раннее слияние мультимодальных токенов. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Вариант NVFP4 использует квантизацию весов и активаций основных линейных слоёв трансформера в формате W4A4 с помощью NVIDIA Model Optimizer, что снижает требования к памяти и может повысить производительность. Для полноценного W4A4-инференса требуется GPU NVIDIA Blackwell, включая RTX 50-й серии, RTX PRO 6000 Blackwell и B-series. На GPU поколений Ada, Hopper и Ampere модель может загружаться, но специализированные FP4-ядра активаций не будут использоваться, поэтому преимущество W4A4 по скорости не проявится. Модель совместима с Transformers, vLLM, SGLang и другими фреймворками. Лицензия — Apache 2.0.

Qwen3.5-9B-AWQ — это 4-битная AWQ-квантизованная версия мультимодальной модели Qwen3.5-9B, разработанной командой Qwen группы Alibaba. Модель предназначена для генерации текста по текстовым запросам, а также для обработки интерleaved-входов с изображениями и текстом; базовая модель также поддерживает видео. Предусмотрен режим рассуждений, включённый по умолчанию. Модель содержит около 9 млрд параметров и использует гибридную архитектуру Gated DeltaNet и sparse MoE с vision encoder. Нативная длина контекста составляет 262 144 токена, с возможностью расширения посредством RoPE scaling. Заявлена поддержка 201 языка и диалекта. Квантизация выполнена по схеме W4A16: веса линейных слоёв языковой модели представлены в 4-битном формате, а активации — в 16-битном; vision tower, router gates и lm_head сохранены в более высокой точности. Главное преимущество версии AWQ — уменьшенные требования к дисковому пространству и VRAM при сохранении возможностей базовой vision-language модели, что делает её подходящей для запуска на одной потребительской GPU. Для инференса требуется совместимая GPU с поддержкой INT4 Marlin и свежая версия vLLM с поддержкой архитектуры Qwen3_5ForConditionalGeneration; работоспособность проверена на NVIDIA Blackwell. Ограничения включают зависимость от поддержки compressed-tensors в используемом стеке и потенциальные потери точности, характерные для квантизации, хотя vision tower намеренно не квантизован для сохранения качества понимания изображений. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели Qwen3.5-9B.

surogate/Qwen3.5-9B-FP8 — FP8-квантизированный вариант мультимодальной модели Qwen3.5-9B, разработанной командой Qwen; модель основана на Qwen/Qwen3.5-9B-Base и подготовлена для использования в Surogate. Она предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель представляет собой авторегрессионную языковую модель с vision encoder, содержит около 9 млрд параметров и использует гибридную архитектуру с Gated Delta Networks, Gated Attention и разреженным Mixture-of-Experts. Контекстное окно составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Веса квантизированы методом fine-grained FP8 с размером блока 128; согласно README, показатели близки к исходной модели. Артефакты совместимы с Hugging Face Transformers, vLLM, SGLang и KTransformers. Сильными сторонами являются сочетание мультимодальности, длинного контекста, высокой эффективности инференса и широкого языкового охвата. Ограничения конкретных аппаратных требований, качества на отдельных языках и результаты полного набора тестов в предоставленных данных не описаны. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.5-9B-GGUF — GGUF-версия мультимодальной модели Qwen3.5-9B, разработанной командой Qwen и подготовленной Unsloth. Это каузальная языковая модель с vision encoder, предназначенная для локального запуска, генерации и анализа текста, программирования, рассуждений, агентских сценариев и обработки визуальной информации. Модель также поддерживает локальное дообучение с помощью Unsloth. Модель содержит около 9 млрд параметров и использует гибридную архитектуру с Gated Delta Networks, разреженным Mixture-of-Experts и блоками Gated Attention. В конфигурации заявлены 32 слоя, скрытая размерность 4096 и нативная длина контекста 262 144 токена с возможностью расширения до 1 010 000 токенов. Модель обучена для работы с мультимодальными токенами и заявляет поддержку 201 языка и диалекта. Репозиторий ориентирован на экосистему GGUF и локальный инференс, однако конкретный уровень квантования в предоставленных данных не указан. Сильными сторонами являются сочетание языковых и визуальных возможностей, большой контекст, энергоэффективная архитектура и широкий языковой охват. Ограничения включают отсутствие в предоставленных данных подробных результатов именно для GGUF-варианта, сведений о требованиях к оборудованию и точных характеристик квантования; фактическое качество и скорость могут зависеть от используемого рантайма и уровня квантования. Модель распространяется по лицензии Apache-2.0.

prithivMLmods/Qwen3.5-9B-MTP-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-9B, разработанной командой Alibaba Qwen и основанной на Qwen/Qwen3.5-9B. Модель содержит около 9 млрд параметров, использует гибридную архитектуру Gated DeltaNet и Gated Attention, поддерживает контекст до 262 тысяч токенов с возможностью расширения свыше 1 млн токенов посредством RoPE scaling и словарь размером 248 тысяч токенов. Заявлена поддержка 201 языка и раннее объединение текстовых, графических и видеоданных для единого мультимодального понимания. Модель предназначена для генерации текста, мультимодального диалога, анализа изображений и видео, OCR, ответов на вопросы по визуальному содержимому, разбора документов и PDF, разработки программного обеспечения, frontend-разработки, многоязычных чат-ботов и агентских сценариев с вызовом инструментов. Она поддерживает переключаемый режим рассуждений и Multi-Token Prediction (MTP): дополнительные выходные головы прогнозируют несколько будущих токенов за один проход, что может ускорять инференс и спекулятивное декодирование без отдельной draft-модели. Доступны варианты от BF16/F16 до квантований Q2_K–Q8_0, а также отдельные мультимодальные проекционные файлы. Сильными сторонами заявлены большой контекст, мультимодальность, широкий языковой охват, поддержка tool calling и возможность локального запуска через llama.cpp и Ollama, а также развёртывания через vLLM и SGLang. Для BF16 требуется около 18 ГБ видеопамяти, для 4-битных вариантов — около 5 ГБ; качество и требования к ресурсам зависят от выбранного квантования. README не приводит подробностей об ограничениях, систематических рисках или фактической совместимости всех вариантов с указанными средами. Модель распространяется по лицензии Apache 2.0.

Qwen3.5-9B-text-only — текстовый вариант семейства Qwen3.5, опубликованный Principled Intelligence. Из контрольной точки удалены веса визуального энкодера, поэтому модель сохраняет языковую часть и генерирует текст, занимая меньше места на диске и в памяти. Архитектура — плотная причинная языковая модель Qwen3.5 с примерно 7,2 млрд параметров; заявленная длина контекста — 262 144 токена. Модель предназначена для диалогов и генерации текста в задачах, поддерживаемых исходной языковой моделью Qwen3.5. По карточке, она использует тот же токенизатор и шаблон чата, что и исходная модель; загрузка поддерживается через Transformers, начиная с версии 5.2.0. Контрольная точка распространяется в формате safetensors по лицензии Apache-2.0. Удаление визуального энкодера уменьшает размер файлов примерно на 7%, а потребление VRAM — примерно на 5% по сравнению с Qwen3.5-9B. Модель не принимает изображения. В README указана проверка только с Transformers; совместимость с vLLM, SGLang, llama.cpp, Ollama и другими движками пока не заявлена. Автор также характеризует публикацию как экспериментальную, а не как готовую производственную линейку.

RobinsonLabs/Qwen3.5-REAP-262B-A17B-abliterated-GGUF — набор GGUF-квантизаций текстовой MoE-модели, опубликованный RobinsonLabs на основе OpenMOSE/Qwen3.5-REAP-262B-A17B. Базовая модель создана после pruning на 34% экспертов из Qwen3.5-397B-A17B: она содержит 262 млрд параметров, около 17 млрд активных на токен, 333 эксперта и выбирает 10 экспертов для каждого токена. Модель предназначена для генерации текста, рассуждений, программирования, математики, работы с фактами и выполнения инструкций. Архитектура qwen3_5_moe включает 60 декодерных слоёв: 45 слоёв с линейным вниманием DeltaNet и 15 слоёв с полным вниманием, а также скрытый размер 4096 и размерность головы 256. Заявлен нативный контекст до 262 144 токенов. Это только текстовый путь, без vision mmproj и MTP/NextN. Доступны варианты Q5_K_M, Q4_K_M, Q4_K_S, IQ4_XS, Q3_K_M, IQ3_M, IQ3_XS, IQ2_M, IQ2_XS и IQ2_XXS размером примерно от 69 до 186 ГБ; все варианты используют importance matrix. Модель подвергнута abliteration — снижению жёстких отказов на взрослом и творческом контенте с сохранением заявленных возможностей. По данным README, на проверочном наборе вредоносных запросов срабатывание отказов составило 1 из 25, способности оценены как сохранённые на уровне 5/5, а детские защитные ограничения сохранились в 10 из 10 случаев. Это не модель для содействия реальному правонарушению; результаты и поведение следует проверять самостоятельно, особенно у наиболее компактных IQ2-вариантов, поскольку они сильнее теряют точность. Лицензия — Apache-2.0.

techwithsergiu/Qwen3.5-text-9B-bnb-4bit — текстовая производная модели Qwen3.5-9B, подготовленная разработчиком techwithsergiu на основе text-only версии techwithsergiu/Qwen3.5-text-9B. Модель предназначена для генерации текста и диалоговых сценариев, а также для адаптации под специализированные задачи с помощью LoRA и QLoRA. Поддерживает режимы прямого ответа и пошагового рассуждения, указанные в README. Модель имеет размер 9B параметров и использует текстовый backbone, без visual tower, поэтому принимает только текстовые входные данные и не предназначена для обработки изображений. Backbone подвергнут 4-битному квантованию BNB NF4 с double quantization и вычислениями в bfloat16; веса lm_head сохранены в bf16 для повышения качества и стабильности вывода. Такое представление уменьшает требования к видеопамяти по сравнению с полноразмерной версией и упрощает использование в text-only LoRA fine-tuning. К ограничениям относятся отсутствие мультимодальных возможностей и отсутствие в README точных сведений о поддерживаемых языках и размере контекстного окна. Документация по тонкой настройке отмечена как находящаяся в разработке, хотя inference проверен, а применение с Unsloth и QLoRA заявлено как основной сценарий обучения. Модель распространяется по лицензии Apache-2.0.

Это текстовая языковая модель Lemura Labs, представляющая собой MLX-квантизацию модели Qwen3.6-27B-Claude-Opus-Reasoning-Distill-v2 от TeichAI. В основе лежит Qwen3.6-27B от команды Qwen; модель дополнительно прошла abliteration — удаление направлений, связанных с отказами, — с использованием OBLITERATUS, а затем была подвергнута статической смешанной квантизации OptiQ примерно до 3,7 бит на вес. Модель предназначена для генерации текста, диалогов, рассуждений, объяснений и планирования. Она поддерживает текстовые сценарии на английском и, согласно метаданным, мультиязычные задачи. Это модель только для текста: визуальный ввод и обработка изображений недоступны, поскольку исходный визуальный модуль был удалён. Архитектура включает гибридный стек из слоёв GatedDeltaNet и полноценных softmax-attention, 64 слоя, скрытое представление размером 5120, словарь около 248 тысяч токенов и контекст до 262 тысяч токенов. Главное преимущество версии — соотношение размера и качества: файл занимает около 12 ГБ, а модель рассчитана примерно на 16 ГБ оперативной памяти на устройствах Apple Silicon, включая M1–M4 Air, mini и базовые Pro. Квантизация OptiQ распределяет точность по слоям на основе чувствительности и KL-дивергенции, стремясь сохранить качество при ограниченных ресурсах. Ограничения включают отсутствие зрения, возможные потери качества из-за квантизации и особенности abliterated-модели: она может отвечать на запросы, от которых исходная модель отказывалась, поэтому её следует применять ответственно и в рамках закона. Модель распространяется по лицензии Apache-2.0 и предназначена для запуска в формате MLX с использованием mlx-lm, прежде всего на Apple Silicon.