I.5Создание и редактирование текста

warshanks/Qwen3-4B-Instruct-2507-AWQ — квантованная версия Qwen3-4B-Instruct-2507, разработанной командой Qwen и опубликованной пользователем warshanks. Это авторегрессионная causal language model для генерации текста в диалогах, выполнения инструкций, рассуждений, математики, научных и программных задач, понимания текста, вызова инструментов и агентских сценариев. Модель работает только в non-thinking режиме и не формирует блоки <think></think>. Модель содержит около 4 млрд параметров, из них 3,6 млрд без учёта эмбеддингов, имеет 36 слоёв и архитектуру Grouped-Query Attention с 32 головами для запросов и 8 для ключей и значений. Нативная длина контекста составляет 262 144 токена. Заявлены улучшения в многоязычном понимании, покрытии редких знаний, следовании инструкциям, открытой генерации и использовании инструментов. Это текстовая модель без заявленной поддержки изображений или других модальностей; конкретный набор языков в README не указан. Сильные стороны модели — большой контекст, улучшенные показатели в рассуждениях, кодировании, следовании инструкциям, творческом письме, многоязычных задачах и вызове инструментов при сравнительно небольшом размере. Ограничения включают работу только в non-thinking режиме, возможные требования к памяти при использовании длинного контекста и отсутствие в README подробных характеристик самой AWQ-квантизации, точных требований к оборудованию и результатов для всех практических сценариев. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-Instruct-2507-FP8 — причинная языковая модель, разработанная командой Qwen. Это FP8-квантованная версия Qwen3-4B-Instruct-2507 с 4 млрд параметров, из которых 3,6 млрд приходятся на параметры без учёта эмбеддингов. Модель имеет 36 слоёв и архитектуру Grouped-Query Attention с 32 головами для запросов и 8 для ключей и значений. Она предназначена для генерации и понимания текста, следования инструкциям, логического рассуждения, математики, естественных наук, программирования, работы с инструментами и открытых субъективных задач. Модель поддерживает контекст длиной до 262 144 токенов и улучшена для работы с длинными документами и запросами. Она ориентирована на многоязычные сценарии и демонстрирует улучшения в покрытии редких знаний на нескольких языках. Важная особенность — поддержка только нережима мышления: модель не формирует блоки <think></think>. FP8-квантизация с размером блока 128 снижает требования к памяти и может повысить эффективность инференса, однако при ограниченных ресурсах для предотвращения нехватки памяти может потребоваться уменьшить длину контекста. Модель подходит для чат-ботов, интеллектуальных помощников, анализа документов, генерации текстов и кода, а также агентских приложений с вызовом инструментов. Для использования рекомендуется актуальная версия библиотеки Transformers; также заявлена совместимость с SGLang, vLLM и рядом локальных приложений. README не приводит исчерпывающего перечня поддерживаемых языков и не описывает специальные ограничения качества, поэтому результаты могут зависеть от языка, предметной области и длины контекста. Модель распространяется по лицензии Apache 2.0.

JunHowie/Qwen3-4B-Instruct-2507-GPTQ-Int4 — это 4-битная GPTQ-квантованная версия инструкционной языковой модели Qwen3-4B-Instruct-2507, созданная на базе модели Qwen/Qwen3-4B-Instruct-2507. Репозиторий содержит квантование с размером группы 128 и настройкой desc_act=False, которая, согласно описанию, повышает эффективность генерации токенов по сравнению с более ранними квантованными версиями. Модель предназначена для генерации текста и выполнения инструкций, включая понимание текста, логическое рассуждение, математику, науку, программирование, использование инструментов и открытые творческие задачи. Она поддерживает несколько языков и рассчитана на работу в режиме без рассуждений: модель не генерирует блоки <think></think>. Базовая архитектура — causal language model с 4,0 млрд параметров, 3,6 млрд параметров без учёта эмбеддингов, 36 слоями и Grouped Query Attention: 32 головы для Q и 8 для KV. Нативная длина контекста составляет 262 144 токена. Квантование уменьшает требования к памяти и может быть полезно для локального или высокопроизводительного развертывания, в частности через vLLM; для работы указана зависимость vllm>=0.9.2. Ограничения связаны с потерями качества, возможными при 4-битном квантовании, а также с тем, что это текстовая, а не мультимодальная модель. Лицензия — Apache 2.0.

Qwen3-4B-Instruct-2507-heretic — производная диалоговая модель на базе Qwen3-4B-Instruct-2507, созданная с помощью abliteration для заметного снижения частоты отказов. По приведённому в карточке тесту отказов стало 5 из 100 запросов против 100 из 100 у исходной модели; это измерение относится к конкретному тесту и не гарантирует поведение на других запросах. Модель плотная, с архитектурой Qwen3ForCausalLM и примерно 3,7 млрд параметров, принимает текст и генерирует текст. Поддерживает контекст до 262 144 токенов и рассчитана на диалоги и режим без пошагового рассуждения. Модель подходит для ответов на вопросы, следования инструкциям, написания и анализа текстов, решения задач, программирования и использования инструментов. В карточке базовой модели заявлена поддержка нескольких языков, но конкретные языки для этой версии не перечислены. Версия опубликована в формате safetensors и предназначена для запуска через Transformers. Лицензия — Apache-2.0.

p-e-w/Qwen3-4B-Instruct-2507-heretic-v2 — разговорная языковая модель на архитектуре Qwen3, созданная на основе Qwen3-4B-Instruct-2507. Модель использует причинную архитектуру Qwen3ForCausalLM, содержит 3,7 млрд параметров и принимает текст для генерации текстовых ответов. Нативная длина контекста — 262 144 токена; заявлен режим без рассуждений в специальном формате thinking. Модель предназначена для диалога и выполнения инструкций, включая ответы на вопросы, рассуждения, математику, программирование и работу с инструментами. В README указана abliteration: в приведённом сравнении доля отказов снизилась с 100 из 100 у исходной модели до 8 из 100 у этой версии. Это не гарантирует отсутствия отказов или корректности ответов. Карточка не уточняет языковой охват этой производной версии; README базовой модели заявляет многоязычные возможности и контекстное понимание длинных текстов. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0.

Qwen3.5-0.8B-text-only — текстовая версия модели семейства Qwen3.5, опубликованная Principled Intelligence. Из контрольной точки удалены веса визуального энкодера; плотная авторегрессионная языковая модель содержит около 581 млн параметров и рассчитана на генерацию текста и диалоговое взаимодействие. Контекстное окно составляет 262 144 токена. Модель подходит для диалоговых приложений и генерации текста, когда обработка изображений не нужна. По данным карточки, она сохраняет токенизатор, шаблон чата и поведение генерации исходной Qwen3.5, а контрольная точка занимает меньше места и требует меньше видеопамяти. Проверена работа с Transformers версии 5.2.0 и выше; другие движки инференса в карточке не заявлены как поддерживаемые. Лицензия — Apache-2.0.

unsloth/Qwen3.5-122B-A10B-GGUF — GGUF-версия мультимодальной модели Qwen3.5-122B-A10B, разработанной командой Qwen и подготовленной компанией Unsloth с использованием улучшенного алгоритма квантования и imatrix-данных. Модель предназначена для локального запуска, диалогов, программирования, рассуждений, вызова инструментов, работы с агентами и визуального понимания изображений. Это авторегрессионная языковая модель с vision encoder и гибридной архитектурой, объединяющей Gated DeltaNet и разреженную Mixture-of-Experts. Всего модель содержит 122 млрд параметров, из которых при обработке активируется около 10 млрд; используется 256 экспертов, 8 маршрутизируемых и 1 общий. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Модель поддерживает 201 язык и диалект, а также текстовые и визуальные входные данные. К сильным сторонам относятся высокая вычислительная эффективность разреженной архитектуры, поддержка длинного контекста, мультимодальность и оптимизация Unsloth для сценариев общения, программирования, tool calling и агентных задач. GGUF-квантизация позволяет запускать модель локально, однако итоговые требования к памяти, скорость и качество зависят от выбранного варианта квантования и используемого оборудования. README не приводит подробных числовых результатов бенчмарков и не описывает ограничения мультимодальной обработки. Модель распространяется по лицензии Apache-2.0.

TeichAI/Qwen3.5-27B-Claude-Opus-4.6-Distill — плотная мультимодальная модель семейства Qwen3.5 с 27 млрд параметров, дообученная TeichAI на базе unsloth/Qwen3.5-27B. В README указаны датасет crownelius/Opus-4.6-Reasoning-2100x-formatted и личные данные Claude от EclipseMist; также отмечено, что LoRA предоставил EclipseMist. Модель предназначена для программирования, творческого письма, общего диалога и понимания изображений. Модель принимает текст и изображения и выдаёт текст; карточка также приводит рекомендации для работы с видео. Среди опубликованных проверок — ARC Challenge, GPQA Diamond, HellaSwag и отдельные разделы MMLU; результаты на ARC Challenge и HellaSwag выше, чем у указанной базовой модели, а на GPQA Diamond совпадают. Репозиторий содержит веса safetensors и опубликован под лицензией Apache-2.0. Метаданные относят модель к задачам image-text-to-text и указывают возможности чата и работы с изображениями.

duolaf/Qwen3.5-27B-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-27B, разработанной командой Qwen; репозиторий подготовлен с использованием инструментов и вариантов квантования Unsloth. Модель предназначена для локального запуска и поддерживает задачи работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание, агентские сценарии, работу с длинным контекстом и вызов инструментов. Модель представляет собой каузальную языковую модель с vision encoder и содержит 27 млрд параметров. В её основе лежит гибридная архитектура, объединяющая Gated DeltaNet и разреженную Mixture-of-Experts; указаны 64 слоя и скрытая размерность 4096. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Доступно отключение режима рассуждений через параметр chat-template. Сильными сторонами модели являются мультимодальность, большой контекст, поддержка широкого набора языков и оптимизация для эффективного локального вывода. Ограничения конкретных GGUF-вариантов, включая требования к памяти, скорость и степень потери качества, зависят от выбранного уровня квантования и используемого программного обеспечения; в README они подробно не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-35B-A3B-FP8 — мультимодальная причинная языковая модель с vision-энкодером из семейства Qwen3.5, разработанная командой Qwen. Представленная версия содержит FP8-квантизированные веса и конфигурацию в формате Hugging Face Transformers и предназначена для локального или серверного вывода в Transformers, vLLM, SGLang, KTransformers и совместимых системах. Модель ориентирована на работу с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Она поддерживает 201 язык и диалект, имеет нативный контекст 262 144 токена с возможностью расширения до 1 010 000 токенов. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture-of-Experts: всего 35 млрд параметров, из которых активируются около 3 млрд; используется 256 экспертов, 8 маршрутизируемых и 1 общий эксперт. В модели 40 слоёв и скрытая размерность 2048. Ключевое преимущество версии FP8 — существенно более эффективный по памяти и вычислениям вывод при заявленной производительности, почти идентичной исходной модели. Ограничения включают необходимость совместимой инфраструктуры и ПО для FP8-инференса, а также то, что README не приводит подробных сведений о фактических требованиях к оборудованию, безопасности и результатах по отдельным тестам для данной квантизированной версии. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.5-35B-A3B-GGUF — GGUF-версия мультимодальной модели Qwen3.5-35B-A3B, подготовленная Unsloth. Модель предназначена для локального запуска и применения в диалоговых системах, генерации и анализе текста, программировании, агентских сценариях, работе с изображениями и вызове инструментов. Для работы доступны варианты квантования, а также настройки включения и отключения режима рассуждений. Модель представляет собой авторегрессионную языковую модель с vision encoder и гибридной архитектурой, объединяющей Gated Delta Networks и разреженный Mixture-of-Experts. Всего заявлено 35 млрд параметров, из которых активируется 3 млрд; размер скрытого представления составляет 2048, используется 40 слоёв и словарь размером 248 320 токенов. Модель поддерживает 201 язык и диалект, а её мультимодальность позволяет обрабатывать текст и изображения. GGUF-файлы обновлены с использованием улучшенных данных и алгоритма квантования, что ориентировано на более высокую точность при локальном инференсе. К сильным сторонам относятся сочетание мультимодального понимания, рассуждений, программирования и агентских задач с относительно низким числом активных параметров, а также возможность локального запуска через совместимые инструменты. Ограничения связаны с использованием квантованных вариантов: конкретные характеристики качества, требования к памяти, контекстное окно и поддерживаемые форматы зависят от выбранного файла и среды инференса; для данной GGUF-сборки они в README не уточнены. Модель распространяется по лицензии Apache-2.0.

cyankiwi/Qwen3.5-397B-A17B-AWQ-4bit — квантизированная 4-битная версия мультимодальной модели Qwen3.5-397B-A17B, разработанной командой Qwen. Модель представляет собой авторегрессионную языковую модель с vision-энкодером и предназначена для генерации и понимания текста, работы с изображениями, рассуждений, программирования, визуального анализа и агентских сценариев. Она доступна в формате Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и KTransformers. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture-of-Experts. Общее число параметров составляет 397 млрд, из которых при обработке токена активируется 17 млрд; используется 512 экспертов, 10 маршрутизируемых и один общий эксперт. Нативная длина контекста — 262 144 токена, с возможностью расширения до 1 010 000 токенов. Модель поддерживает 201 язык и диалект, а мультимодальная архитектура ориентирована на совместную обработку текста и визуальных данных. К сильным сторонам относятся высокая эффективность разреженной архитектуры, большой контекст, широкое языковое покрытие и возможности мультимодального понимания. Ограничениями являются значительные требования к вычислительным ресурсам даже при 4-битной квантизации, а также возможные потери точности, связанные с квантизацией AWQ. Репозиторий распространяется по лицензии Apache-2.0.

Qwen3.5-4B-text-only — текстовая версия модели семейства Qwen3.5, опубликованная principled-intelligence. Это плотная авторегрессионная модель с 3,4 млрд параметров для генерации текста и диалогов. В чекпойнте удалены веса визуального энкодера; модель принимает текст и предназначена для сценариев, где обработка изображений не нужна. Контекстное окно составляет 262 144 токена. По описанию авторов, текстовое поведение, токенизатор и шаблон чата соответствуют исходной Qwen3.5-4B, а сокращённый чекпойнт требует меньше места и видеопамяти. Для загрузки авторы указывают Transformers версии 5.2.0 или новее. Другие движки инференса, включая vLLM, SGLang, llama.cpp и Ollama, не поддерживаются в карточке. Модель распространяется по лицензии Apache-2.0.

AtomicChat/Qwen3.5-9B-GGUF — квантизированная версия базовой модели Qwen/Qwen3.5-9B, подготовленная Atomic Chat. Модель распространяется в формате GGUF для локального и полностью офлайн-использования, в том числе через llama.cpp, Ollama, LM Studio и Jan. Репозиторий содержит текстовые варианты модели без vision projector, поэтому мультимодальные возможности базовой версии здесь недоступны. Модель имеет 9,7 млрд параметров, 32 слоя и заявленный контекст до 262 144 токенов. Архитектура описана как плотный декодер с 16 attention heads и 4 KV heads; базовая модель поддерживает текст и изображения, а опубликованные файлы предназначены только для генерации текста. Указаны варианты квантизации Q4_K_M, UD-Q4_K_XL, Q5_K_M, Q6_K и Q8_0 с размером примерно от 5,6 до 9,5 ГБ. Квантизация выполнена с importance matrix, что помогает сохранить качество при уменьшении требований к памяти; Q4_K_M позиционируется как оптимальный баланс размера, скорости и качества, тогда как Q8_0 обеспечивает почти исходную точность. Модель подходит для диалогов, генерации текста, программирования, рассуждений и агентских сценариев при локальном запуске. Ограничения включают отсутствие поддержки изображений в данном репозитории, зависимость качества и скорости от выбранного уровня квантизации и оборудования, а также необходимость применять chat template Qwen3.5. Исходная модель выпущена под лицензией Apache 2.0; квантизацию выполнила Atomic Chat.

karlsencoin/Qwen3.5-9B-GGUF — вариант модели Qwen3.5-9B, разработанной командой Qwen; репозиторий подготовлен с использованием технологий Unsloth и распространяется в формате GGUF для локального запуска. Модель предназначена для генерации и понимания текста, программирования, рассуждений, агентских сценариев и обработки визуальной информации. Это каузальная языковая модель с vision-энкодером и мультимодальным ранним объединением токенов. Она содержит около 9 млрд параметров, 32 слоя и гибридную архитектуру на основе Gated Delta Networks, Gated Attention и разреженной Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов. Модель поддерживает 201 язык и диалект; заявлены текстовая и визуальная модальности. К сильным сторонам относятся мультимодальное понимание, высокая эффективность архитектуры, поддержка длинного контекста и пригодность для локального инференса. Ограничения конкретной GGUF-сборки, включая точный уровень квантизации, требования к памяти и совместимость с отдельными рантаймами, в README не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-MTP-GGUF — GGUF-версия мультимодальной модели Qwen3.5-9B, разработанной командой Qwen и подготовленной Unsloth. Это причинная языковая модель с vision encoder, поддерживающая обработку текста и изображений. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев, визуального понимания и вызова инструментов. Модель содержит около 9 млрд параметров, 32 слоя и гибридную архитектуру с Gated Delta Networks и разреженным Mixture-of-Experts; заявлены ранняя интеграция мультимодальных токенов и обучение с multi-step prediction (MTP). Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. MTP-режим со speculative decoding может ускорять генерацию примерно в 1,5–2 раза при использовании совместимой ветки llama.cpp. Сильные стороны модели — сочетание языковых и визуальных возможностей, большой контекст, поддержка инструментов и высокая скорость локального инференса в MTP-режиме. Ограничения включают необходимость специальной сборки llama.cpp для MTP; при таком запуске не поддерживаются параллелизм запросов через -np > 1 и параметр --mmproj. Доступна по лицензии Apache 2.0.

Это квантованная в формат NVFP4 версия мультимодальной модели Qwen3.5-9B, подготовленная FreedomAISVR на основе Qwen/Qwen3.5-9B. Модель предназначена для диалога и генерации текста, а вместе с файлом проектора mmproj — для понимания изображений. В README заявлены гибридная архитектура Gated DeltaNet и Gated Attention, контекст до 262 144 токенов и поддержка 201 языка; в метаданных подтверждены английский, китайский и многоязычный режимы. Веса хранятся в GGUF: основной файл NVFP4 занимает 5,31 ГБ, а проектор зрения в F16 — 918 МБ. Формат оптимизирован для ускорения на видеокартах NVIDIA Blackwell; производительность и совместимость на других устройствах могут отличаться. Репозиторий распространяется по лицензии Apache-2.0.

Qwen3.5-9B Q4_K_M GGUF — это 4-битная квантованная версия языково-мультимодальной модели Qwen3.5-9B, первоначально разработанной Alibaba Cloud. Конвертацию в формат GGUF выполнила Unsloth, а квантование и оптимизацию для локального запуска на устройствах Apple — jc-builds. Модель распространяется под лицензией Apache 2.0. Модель предназначена для генерации текста, рассуждений, программирования, использования инструментов, анализа изображений и работы с документами и видео. Она поддерживает режим рассуждений с блоками <think>...</think>, ChatML-формат запросов и ориентирована прежде всего на приватный автономный запуск через llama.cpp, включая iPhone, iPad и Mac с Apple Silicon. Для iOS она доступна в приложении HaploAI. Архитектура сочетает Gated DeltaNet и полное Gated Attention в соотношении 3:1 и включает 32 слоя, скрытое измерение 4096, GQA с 16 query-heads и 4 KV-heads, а также FFN с промежуточным размером 12288. Модель содержит около 9 млрд параметров, занимает примерно 5,3 ГБ, поддерживает контекст до 262 144 токенов с возможностью расширения свыше 1 млн через YaRN и заявляет поддержку 201 языка и диалекта, включая русский, английский, китайский, японский, корейский и европейские языки. Нативная мультимодальность основана на раннем слиянии визуальных данных. К сильным сторонам относятся высокая заявленная эффективность для модели такого размера, большой контекст, мультимодальность, широкий языковой охват и возможность локального использования без передачи данных в облако. Ограничения включают значительные требования к памяти: для комфортной работы рекомендуется устройство с минимум 8 ГБ RAM, а на старых iPhone с 6 ГБ модель не рекомендуется. Приведённые результаты бенчмарков и скорости зависят от реализации, устройства и настроек запуска.

sakamakismile/Qwen3.6-27B-Text-NVFP4-MTP — текстовая NVFP4-квантизованная версия базовой модели Qwen/Qwen3.6-27B. Модель подготовлена пользователем sakamakismile с использованием pipeline GGUF-to-NVFP4-SM120 от Lna-Lab. Она предназначена для генерации текста и запуска через vLLM на GPU NVIDIA Blackwell с архитектурой SM120, включая сценарии со speculative decoding. Модель содержит около 27,78 млрд параметров, 64 слоя гибридной архитектуры с linear attention и full attention, а также один MTP-слой Multi-Token Prediction. Зрительная башня удалена, поэтому модель работает только с текстом. Поддерживаются английский, китайский, японский, корейский, французский, немецкий, испанский, итальянский, португальский, русский и арабский языки. Заявлен максимальный контекст до 256 тысяч токенов. Квантизация выполнена в формате modelopt NVFP4 с помощью nvidia-modelopt 0.43.0; MTP-компоненты и ряд других частей сохранены в bf16 для совместимости и эффективной спекулятивной генерации. К сильным сторонам относятся оптимизация под Blackwell, меньшие требования к памяти по сравнению с полноразмерной bf16-моделью, поддержка KV-кэша FP8 и рабочий MTP-механизм для ускорения декодирования. Ограничения — отсутствие обработки изображений, зависимость от совместимой версии vLLM и аппаратуры Blackwell, а также потенциальные ограничения по памяти при большом контексте и высокой конкуренции запросов. Модель распространяется по лицензии Apache-2.0.

NeuralNet-Hub Qwen3.6-35B-A3B-Uncensored-NVFP4 — мультимодальная модель для работы с текстом и изображениями, созданная на основе Qwen/Qwen3.6-35B-A3B. Модель доработана с помощью supervised fine-tuning и abliteration, а затем квантована в формате NVFP4. В README указано, что исходная модель относится к архитектуре mixture-of-experts (MoE); обозначение 35B-A3B является частью её идентификатора. Разработчик квантованной версии — NeuralNet-Hub, а базовая модель разработана командой Qwen. Модель предназначена для диалогов, генерации и анализа текста, программирования, исследовательских и образовательных задач, создания контента, кибербезопасности, а также анализа изображений с текстовым запросом. Поддерживаются thinking и instruct-режимы, OpenAI-совместимый Chat API, автоматический выбор инструментов и вызовы инструментов с парсером qwen3_coder. Для развёртывания рекомендуется vLLM; заявленная максимальная длина контекста в конфигурации составляет 262144 токена. Ключевое преимущество — сочетание мультимодальности, длинного контекста, режима рассуждений и NVFP4-квантизации, ориентированной на высокую эффективность на GPU NVIDIA Blackwell. При этом формат NVFP4 несовместим с GPU архитектур Ampere, Ada Lovelace и Hopper. Из-за fine-tuning и abliteration модель позиционируется как неограниченная и может отвечать на темы, которые стандартные модели обычно отклоняют; это снижает встроенные ограничения безопасности и требует дополнительного контроля при использовании. Модель распространяется по лицензии Apache 2.0.

Qwen3.6-35B v2 — это мультимодальная модель типа Mixture of Experts (MoE), разработанная oktayd на базе Qwen3.6-35B-v2-MoE-Ablit-Heretic-Uncensor-Hermes-MTP-Vision-FT. Модель распространяется в формате Ollama и предназначена для работы с текстом и изображениями, включая анализ скриншотов, документов, диаграмм и сцен. Модель ориентирована на диалог, объяснение научных и технических вопросов, рассуждения, программирование, отладку, создание контента, ролевые сценарии, tool calling и агентские рабочие процессы. Она также сфокусирована на бизнес-задачах, повседневной работе, визуальном вопросно-ответном взаимодействии, OCR и работе с документами. Заявлена поддержка различных стилей общения, включая прямой, неформальный и творческий; в обучении использовались многоязычные материалы, однако конкретный перечень языков не указан. Архитектура содержит около 35 миллиардов параметров, из которых примерно 3 миллиарда активируются для каждого токена; маршрутизация выбирает 8 из 256 экспертов. Это снижает вычислительную нагрузку по сравнению с полным запуском всех параметров, но не уменьшает требования к хранению весов и доступной RAM или VRAM до уровня 3B-модели. Доступны разные варианты квантования и размеры GGUF, что упрощает локальный запуск. Ограничения включают возможность ошибок, повторов и неточных ответов; README не указывает размер контекста и точные языковые характеристики. Лицензия модели — Apache-2.0.

Qwen3.8-27B-4bit-MLX-TextOnly — текстовая 4-битная квантованная версия модели Qwen3.8-27B, разработанной командой Qwen. Модель преобразована в формат MLX с использованием mlx-lm 0.31.2 и предназначена для запуска в экосистеме MLX и mlx-lm. Она поддерживает генерацию текста, диалоговые сценарии, рассуждения, использование инструментов и работу с длинным контекстом; заявлена как многоязычная. Модель содержит около 27 миллиардов параметров в исходной версии и использует weight-only-квантование до 4 бит с group size 64, affine- и RTN-подходами. Это текстовая модель без vision tower: возможности обработки изображений удалены, поэтому она работает только с текстом. К сильным сторонам относятся уменьшенный объём весов и пригодность для локального запуска в MLX, а ограничением — отсутствие мультимодальных возможностей и потенциальная потеря точности по сравнению с полной моделью из-за квантования. Точная длина контекста в README не указана. Распространяется по лицензии Apache-2.0.

cyankiwi/Qwen3.8-27B-AWQ-INT4 — это квантованная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем cyankiwi. Модель представлена в формате Hugging Face Transformers и использует квантование AWQ с точностью INT4; размер файлов модели составляет около 21,02 ГБ. Лицензия — Apache-2.0. Модель предназначена для генерации и анализа текста, программирования, профессиональных и исследовательских задач, а также длительных агентских сценариев с планированием и обработкой обратной связи от окружения. Это causal language model с vision encoder, которая нативно понимает изображения и видео, включая документы и STEM-диаграммы. Поддерживаются английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Модель содержит 27 млрд параметров, 64 слоя и скрытую размерность 5120. Архитектура сочетает Gated DeltaNet и Gated Attention, а также использует Multi-Token Prediction. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 000 000 токенов. Режим рассуждений включён по умолчанию, но может отключаться для отдельных запросов; глубина рассуждений настраивается параметром reasoning_effort, а контекст рассуждений из предыдущих сообщений может сохраняться с помощью preserve_thinking. К сильным сторонам относятся сочетание текстовых и визуальных возможностей, поддержка видео, длинного контекста, управляемого рассуждения и агентского выполнения задач при относительно компактном для класса 27B размере. К ограничениям относятся потери точности, возможные для INT4-квантования, а также необходимость совместимого программного обеспечения и значительного объёма памяти для локального запуска. README не содержит подробных числовых результатов тестирования, поэтому качество на конкретных бенчмарках по этим данным оценить нельзя.

Qwen3.8-27B-BF16-INT4-W4A16-G32-AutoRound-v2 — квантованная версия базовой модели Qwen3.8-27B, разработанная goldhub с использованием AutoRound. Модель предназначена для генерации текста, рассуждений, программирования, обработки длинного контекста, а также мультимодальных задач с изображениями и видео. Заявлена поддержка английского, китайского, русского, украинского, греческого и иврита. Модель содержит 27 млрд параметров и использует гибридную схему: основные веса представлены в INT4 W4A16 с group_size 32, а критически важные компоненты, включая механизмы linear attention Gated DeltaNet, визуальный модуль, embed_tokens и lm_head, сохранены в BF16 или FP16. Заявленный контекст составляет 256K токенов, при этом стабильная работа без дополнительной настройки указана для 32K+, а для 128K–256K требуется выгрузка KV-кэша. Поддерживаются входы image-text и video-text. Сильными сторонами являются сохранение возможностей рассуждения, работы с кодом, мультимодальности и длинным контекстом после 4-битного квантования, а также пригодность для развёртывания на потребительских и профессиональных GPU. Ограничения включают большой для INT4 объём около 26,4 ГБ, потребность минимум в 32 ГБ VRAM или в двух GPU по 24 ГБ, возможные ограничения KV-кэша и риск циклической генерации при высокой температуре. В README рекомендуется vLLM; SGLang также поддерживается, но заявлен как менее производительный вариант. Модель распространяется по лицензии Apache-2.0.

impacte/Qwen3.8-27B-GGUF — квантованная в формате GGUF версия модели Qwen3.8-27B, разработанной командой Qwen и подготовленной для запуска через llama.cpp. Квантизацию выполнил bartowski, а репозиторий и готовые конфигурации запуска предоставлены impacte.tech. Модель распространяется по лицензии Apache 2.0. Это плотная модель с 27,78 млрд параметров, в которой активны все параметры каждого токена. Архитектура Qwen3.5 сочетает 48 слоёв линейного внимания и 16 слоёв полного внимания, включает 64 слоя, скрытый размер 5120, 24 attention heads и 4 KV heads. Нативное окно контекста составляет 262 144 токена. Модель поддерживает рассуждения с блоками thinking и response, а также вызов инструментов в формате XML. Доступны две версии. Мультимодальная Q4_K_M размером около 17,77 ГБ работает с текстом, изображениями и видео и поставляется вместе с мультимодальным проектором. Текстовая IQ4_XS размером около 14,7 ГБ предназначена для чата, программирования, RAG и вызова инструментов, но не поддерживает изображения и видео. Квантизация уменьшает требования к памяти, однако для запуска рекомендуются GPU с 24 ГБ и более видеопамяти, не менее 64 ГБ оперативной памяти и современная сборка llama.cpp. Для использования полного контекста 256K требуется значительный объём системной RAM, поскольку KV-кэш может храниться вне видеопамяти.

Mungert/Qwen3.8-27B-GGUF — это GGUF-сборка модели Qwen3.8-27B из открытого семейства Qwen, разработанного командой Qwen. Веса и конфигурация подготовлены с использованием llama.cpp; модель предназначена для локального запуска и интеграции с совместимыми инструментами вывода. Модель представляет собой плотную каузальную языковую модель с vision-энкодером на 27 млрд параметров. Она поддерживает понимание текста, изображений и видео, включая документы, STEM-диаграммы и длительные видеоматериалы. Заявленные сценарии включают программирование, профессиональную работу, исследовательские задачи и многошаговые агентные процессы. Доступны режим рассуждений, его отключение и настройка глубины через reasoning_effort; контекст сохраняется с помощью preserve_thinking. Нативная длина контекста составляет 262 144 токена с возможностью расширения до 1 000 000 токенов. Архитектура включает 64 слоя, Gated DeltaNet, Gated Attention и Multi-Token Prediction. Сильными сторонами являются мультимодальность, обработка длинного контекста, планирование и выполнение сложных последовательностей действий. Ограничения конкретной GGUF-сборки, включая требования к памяти и доступные варианты квантования, в предоставленных данных не указаны. Лицензия модели — Apache-2.0.

TelperionAI/Qwen3.8-27B-INT4-AWQ-GPTQ-gdn4 — квантизированная версия языковой модели Qwen3.8-27B, разработанная TelperionAI на базе модели Qwen/Qwen3.8-27B. Она предназначена для локального и серверного запуска больших языковых моделей, включая генерацию текста, рассуждения, работу с кодом, математическими и STEM-задачами, чат-сценарии и мультиязычные запросы. Модель рассчитана на использование через Transformers и vLLM; README отдельно указывает поддержку speculative decoding с MTP. Это смешанная квантизация INT4 W4A16 с группами размера 32 и асимметричным представлением весов. Для большинства MLP-проекций и GDN-линейных проекций используется INT4, часть слоёв MLP и все проекции self-attention хранятся в INT8, а lm_head, embed_tokens, нормализации, параметры состояния GDN, vision tower и MTP-head — в BF16. Квантизация выполнена в два этапа: AWQ с учетом активаций и последующая GPTQ-компенсация ошибок. Размер модели составляет около 22,6 ГБ; для работы требуется GPU с Compute Capability не ниже 7.5, то есть поддерживаются устройства уровня Turing и новее. Сильная сторона модели — удачный баланс размера и точности: по приведённым тестам она ближе к исходной BF16-модели, чем некоторые сопоставимые INT4-варианты, при заметно меньшем объёме, чем FP8-релиз. При этом переход GDN-проекций на INT4 немного снижает точность по сравнению с более крупной версией модели с GDN в INT8, а производительность зависит от GPU и реализации Marlin; измерения на B300 не следует напрямую переносить на Ampere. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-OQ3-GGUF — квантованная версия Qwen3.8-27B, подготовленная Ora Computing методом посттренировочной калибровочной квантизации. Модель предназначена для диалогов и генерации текста; с дополнительным vision-проектором GGUF поддерживает также входные изображения и видео. Репозиторий содержит файл модели размером 10,54 ГБ со средней точностью 3,026 бита на вес и отдельный проектор изображения размером 0,93 ГБ. В основной файл встроена голова многотокенного предсказания, которую можно использовать для ускорения декодирования в совместимых версиях llama.cpp. По приведённым в карточке тестам модель сохраняет 95,4% совокупного результата исходной версии bf16 на MMLU-Pro и AIME-25, занимая примерно в 5,3 раза меньше места. Для запуска автор рекомендует llama.cpp; заявленный родительский чекпойнт — Qwen/Qwen3.8-27B. Лицензия указана как other, поэтому условия использования следует проверять на странице репозитория.

Карточка модели Riyan200324200324/Qwen3-8B на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

async0x42/Qwen3-8B-exl3_4.0bpw — это квантованная версия Qwen3-8B, разработанная на базе модели Qwen/Qwen3-8B. В README разработчик квантованной сборки отдельно не указан; исходная модель относится к серии Qwen. Это авторегрессионная языковая модель для генерации текста, диалогов, следования инструкциям, рассуждений, математики, программирования, перевода и агентских сценариев с интеграцией внешних инструментов. Модель имеет около 8,2 млрд параметров, из которых 6,95 млрд не являются embedding-параметрами, 36 слоёв и архитектуру Grouped-Query Attention с 32 головами для Q и 8 для KV. Она поддерживает переключение между режимами рассуждения и обычной генерации, более 100 языков и диалектов, а также текстовую модальность. Нативная длина контекста составляет 32 768 токенов, с использованием YaRN может достигать 131 072 токенов. Суффикс exl3_4.0bpw указывает на формат квантования примерно до 4 бит на вес, однако подробности реализации квантования в README не приведены. Сильные стороны модели — сочетание рассуждений и быстрой универсальной генерации, поддержка многоязычных задач, диалогов, кода и инструментального взаимодействия. Ограничения и фактические показатели производительности для данной квантованной сборки не указаны; качество может отличаться от исходной модели из-за квантования. Модель распространяется по лицензии Apache-2.0.