I.5Создание и редактирование текста

lovedheart/Qwen3.5-9B-FP8 — мультимодальная причинная языковая модель с визуальным энкодером, основанная на Qwen3.5-9B и разработанная командой Qwen. Она предназначена для генерации и анализа текста и изображений, рассуждений, программирования, визуального понимания и агентских сценариев. Модель содержит около 9 млрд параметров, 32 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. В архитектуре сочетаются Gated DeltaNet, Gated Attention и разреженная Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Модель обучалась на стадиях предварительного и последующего обучения и совместима с Transformers, vLLM, SGLang и KTransformers. К сильным сторонам относятся мультимодальность, длинный контекст, высокая эффективность архитектуры и широкое языковое покрытие. README не приводит подробных ограничений, требований к аппаратному обеспечению или результатов независимого тестирования для данной FP8-сборки, поэтому фактическая производительность и качество могут зависеть от среды запуска и сценария использования. Указана лицензия Apache 2.0.

DevinMox/Qwen3.5-9B-GGUF — мультимодальная причинная языковая модель с визуальным энкодером, разработанная командой Qwen и опубликованная на базе Qwen/Qwen3.5-9B. Модель предназначена для генерации и понимания текста, рассуждений, программирования, агентских сценариев и обработки визуальной информации. Она поддерживает 201 язык и диалект. Модель содержит около 9 млрд параметров, 32 слоя и использует гибридную архитектуру из Gated Delta Networks, Gated Attention и разреженного Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. В README также заявлены повышенная эффективность мультимодального обучения, высокая пропускная способность и сниженные задержки при инференсе. Данные о точных ограничениях качества, требованиях к оборудованию и характеристиках GGUF-квантизации не приведены. Модель распространяется по лицензии Apache-2.0. README указывает совместимость с Hugging Face Transformers, vLLM, SGLang и KTransformers, однако описывает репозиторий как содержащий веса и конфигурации в формате Transformers, поэтому конкретные параметры GGUF-сборки в предоставленных данных не уточнены.

Interlinkarts/Qwen3.5-9B-GGUF — версия модели Qwen3.5-9B, разработанной командой Qwen. Репозиторий предназначен для локального запуска модели в формате GGUF; при этом README также указывает совместимость исходных артефактов с Hugging Face Transformers, vLLM, SGLang и KTransformers. Модель распространяется по лицензии Apache-2.0. Это мультимодальная causal language model с vision encoder, предназначенная для генерации и понимания текста, анализа изображений, рассуждений, программирования, агентских сценариев и других задач vision-language. Заявлена поддержка 201 языка и диалекта. Контекстное окно составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Модель содержит 9 млрд параметров и использует гибридную архитектуру с Gated Delta Networks и разреженным Mixture-of-Experts; также применяются Gated Attention, 32 слоя, скрытая размерность 4096 и multi-step training. К сильным сторонам относятся сочетание текстовых и визуальных возможностей, высокая заявленная эффективность инференса и поддержка длинного контекста. README не содержит точных сведений о варианте GGUF-квантизации, требованиях к аппаратному обеспечению и ограничениях качества, поэтому эти характеристики требуют отдельной проверки.

Qwen3.5-9B-GGUF — это квантизированная версия языковой модели Qwen3.5-9B, распространяемая в формате GGUF. Исходную модель разработала команда Qwen; преобразование и квантизацию выполнила unsloth. Репозиторий tinnlab/Qwen3.5-9B-GGUF является зеркалом без изменений: Tin Nguyen Lab не обучала, не дообучала и не квантизировала модель. В поставке доступен один файл Qwen3.5-9B-Q4_K_M.gguf размером около 5,68 ГБ с квантизацией Q4_K_M. Модель предназначена для локальной генерации текста, текстового диалога и использования инструментов без API-ключа. В данном репозитории поддерживаются только текстовые сценарии; мультимодальный проектор отсутствует, поэтому обработка изображений и видео невозможна. Дополнительные сведения об архитектуре, языках и размере контекста в предоставленной карточке не указаны. Модель распространяется по лицензии Apache-2.0. Репозиторий общедоступен и не требует токена, учётной записи или соглашения о доступе. Зеркало содержит только вариант Q4_K_M, поэтому для других уровней квантизации и мультимодальных компонентов необходимо обращаться к исходному репозиторию unsloth.

Smoffyy/Qwen3.5-9B-Instruct-Revised-GGUF — это переработанная GGUF-квантизация модели Qwen3.5-9B, опубликованная Smoffyy и основанная на официальной модели Qwen. Вариант конвертирован с помощью llama.cpp и сохраняет исходные возможности модели, но включает исправленный и улучшенный шаблон диалога. Модель предназначена для локального запуска в задачах общения, рассуждений, программирования, работы агентных систем и анализа изображений. Модель представляет собой причинную языковую модель с vision-энкодером, поддерживает текстовые и визуальные входы, а для работы с изображениями требуется дополнительный файл mmproj-f16.gguf. Размер языковой части — 9 млрд параметров; указана гибридная архитектура на основе Gated Delta Networks, разреженного Mixture-of-Experts и Gated Attention, с 32 слоями и скрытой размерностью 4096. Заявлена поддержка 201 языка и диалекта. Вариант по умолчанию работает без режима рассуждений; переключение выполняется через специальные маркеры в системном промпте. Рекомендуемый баланс качества и требований к памяти обеспечивает квантизация q4_k_m, для которой в README приведён ориентир около 10 ГБ VRAM при контексте 64K. Главное преимущество версии — исправления шаблона чата: управление режимом рассуждений, устранение пустых блоков рассуждений и поддержка developer-роли. При этом README указывает, что по возможностям модель не отличается от Pure GGUF-варианта. Ограничения связаны с зависимостью требований к VRAM и качеству от выбранного уровня квантизации, а также с необходимостью отдельного vision-проектора для мультимодальной работы. Модель и производные распространяются по лицензии Apache 2.0.

Qwen3.5-9B-NVFP4 — квантизированная версия модели Qwen3.5-9B, подготовленная IG1. Модель предназначена для задач генерации текста и мультимодального взаимодействия в формате image-text-to-text, включая диалоги, рассуждения, программирование, работу с мультиязычными запросами и, при соответствующей поддержке сервера, вызов инструментов. Базовая модель разработана командой Qwen; в карточке также указаны наборы данных UltraChat, GSM8K, CodeAlpaca и Aya, использованные для калибровки квантизации. Модель использует гибридную архитектуру Mamba с компонентами attention и поставляется в формате NVFP4. При квантизации длина последовательности была увеличена до 8192 токенов, а калибровочная выборка — до 1024 примеров из разговорных, математических, программных и мультиязычных данных. Для запуска рекомендуется vLLM на GPU NVIDIA; в примере конфигурации для RTX 5090 заявлена максимальная длина контекста около 110 880 токенов, однако фактический размер зависит от настроек и доступной видеопамяти. К сильным сторонам относятся сниженное потребление памяти благодаря NVFP4, поддержка режимов с рассуждением и без него, а также профили для общих, программных и творческих сценариев. Ограничением является несовместимость или нестабильная работа FP8 KV cache: по данным автора, его использование может приводить к быстрой деградации качества или повреждению результатов квантизации. Карточка рекомендует развертывание через vLLM и содержит настройки для оптимизации работы на RTX 5090. Модель распространяется по лицензии Apache 2.0.

Qwen3.5-9B-Theseus-GGUF — это GGUF-квантизация модели Qwen3.5-9B-Theseus, выполненная mradermacher; исходная модель разработана nightmedia. Модель основана на архитектуре Qwen3.5 с примерно 9 млрд параметров и распространяется в форматах GGUF с различными уровнями квантизации, включая Q2_K–Q8_0, IQ4_XS и f16. Для некоторых конфигураций доступны мультимодальные дополнения mmproj, поэтому модель может использоваться в мультимодальных сценариях при наличии соответствующего файла. Модель предназначена для генерации текста, диалогов, программирования, математических и STEM-задач, рассуждений, творческого и художественного письма, сторителлинга и ролевых сценариев. В README заявлена поддержка английского, китайского, японского и испанского языков, а также контекст до 256k или 1M токенов, однако точные возможности зависят от исходной модели и используемой конфигурации. К сильным сторонам относятся широкий выбор квантизаций, возможность запуска в ресурсоограниченных средах и наличие вариантов, ориентированных на скорость или качество; при этом более сильная квантизация может снижать качество, а мультимодальность требует отдельного mmproj-файла. Модель имеет экспериментальные характеристики, поэтому её качество и совместимость следует проверять для конкретных задач. Лицензия — Apache-2.0.

AtomicChat/Qwen3.6-27B-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.6-27B, подготовленный и самостоятельно квантизированный командой Atomic Chat из оригинальных весов с использованием importance matrix. Модель предназначена для локального и полностью офлайн-использования в задачах генерации текста, диалоговых сценариях, программировании, фронтенд-разработке и рассуждениях на уровне репозитория. Для работы рекомендуется использовать llama.cpp и применять шаблон чата Qwen3.6 через параметр --jinja. Модель содержит 27,8 млрд параметров, имеет плотную decoder-архитектуру с 64 слоями, 24 attention heads и 4 KV heads, словарь из 248 320 токенов и контекст до 262 144 токенов. Базовая Qwen3.6-27B поддерживает текст и изображения, однако представленные в этом репозитории GGUF-файлы являются текстовыми и не содержат vision projector. Доступны варианты квантизации от Q2_K до Q8_0; Q4_K_M заявлен как оптимальный баланс размера, скорости и качества, а Q6_K и Q8_0 обеспечивают более высокую точность при повышенных требованиях к памяти. К сильным сторонам относятся офлайн-запуск, широкий выбор размеров, калибровка всех вариантов с importance matrix и сохранение большинства характеристик полноточной модели, особенно начиная с Q4_K_M. Ограничения включают потерю качества в низкобитных вариантах, значительные требования к оперативной или видеопамяти и отсутствие поддержки изображений в поставляемых файлах. В README указана лицензия Apache-2.0.

webhie/Qwen3.6-27B-int4-AutoRound — это квантизированная версия мультимодальной модели Qwen3.6-27B, разработанной командой Alibaba/Qwen. Квантизация выполнена с помощью Intel AutoRound по пресету auto-round-best, оптимизированному для сохранения максимальной точности при INT4. Модель предназначена для генерации текста, диалоговых сценариев, программирования, работы с изображениями и задач, поддерживающих vision-ввод. README не содержит сведений о языках модели, но указывает pipeline image-text-to-text и библиотеку Transformers. Используется схема W4A16: веса представлены в 4-битном формате, активации — в FP16; group size равен 128, квантизация симметричная. Базовая модель имеет 27 млрд параметров, а размер квантизированной версии составляет около 18 ГБ вместо примерно 54 ГБ в BF16. Веса vision-энкодера MoonViT сохраняются в исходной точности BF16/FP16. Сохранённая MTP-голова Multi-Token Prediction поддерживает speculative decoding в vLLM; заявлены принятие черновых токенов на уровне около 85–90% и примерно двукратное ускорение генерации, однако эти показатели измерены на RTX 5090 и зависят от конфигурации. К сильным сторонам относятся уменьшенное примерно втрое потребление памяти, поддержка изображений без дополнительной обработки, совместимость с vLLM и сохранение MTP для ускоренной генерации. Ограничения включают необходимость совместимой версии vLLM для MTP, наличие специальных требований к окружению и зависимость производительности от оборудования. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-Jormungandr-i1-GGUF — это квантизированная в формате GGUF версия модели Qwen3.6-27B-Jormungandr, разработанной nightmedia и подготовленной пользователем mradermacher. Модель основана на архитектуре Qwen3.6 с 27 млрд параметров и распространяется в виде imatrix-квантов различных уровней точности и размера. Модель предназначена для генерации текста, диалогов, программирования, математических и STEM-задач, исследовательских сценариев, рассуждений, творческого и художественного письма, а также ролевого взаимодействия. В метаданных заявлена поддержка английского, китайского, японского и испанского языков. README указывает, что это vision-модель; для работы с визуальными данными могут потребоваться mmproj-файлы из статического репозитория. Также заявлена поддержка контекста до 256 тысяч или 1 миллиона токенов, однако конкретные ограничения зависят от исходной модели и используемого программного обеспечения. Главное преимущество — широкий выбор квантов GGUF, позволяющий выбирать баланс между размером, скоростью и качеством: от вариантов примерно на 11 ГБ до 22,5 ГБ. Для части вариантов приведены рекомендации по качеству и скорости, но независимые бенчмарки в README отсутствуют. Ограничения включают возможную потерю качества из-за квантования, необходимость совместимого GGUF-движка и дополнительных mmproj-файлов для мультимодальной работы; точные возможности и производительность зависят от выбранного кванта и оборудования. Модель и квантизированные файлы распространяются по лицензии Apache-2.0.

Qwen3.6-27B-Q8_0-dequant-bf16-vllm — конвертированная версия весов Qwen3.6-27B, подготовленная exolabs для запуска через vLLM. Веса взяты из GGUF-квантизации Q8_0 репозитория unsloth/Qwen3.6-27B-GGUF, деквантизированы, преобразованы в формат Transformers и сохранены в BF16 как safetensors. Это плотная модель семейства Qwen3.5 с поддержкой чата и интерфейса вызова инструментов. Исходная архитектура предусматривает обработку текста и изображений, однако в этом репозитории отсутствует визуальная башня. README рекомендует запускать модель в режиме только языковой части, поэтому для данного набора весов следует рассчитывать на текстовый ввод и генерацию текста. Конфигурация проверена на H200 с vLLM 0.23.0; автор указывает максимальную длину контекста 4096 токенов в рекомендуемой команде запуска. Это преобразование уже квантизированных весов Q8_0 в BF16, а не исходный чекпойнт BF16: точность деквантизации ограничена исходной квантизацией. Лицензия в предоставленных данных не указана.

Myric/Qwen3.6-35B-A3B-APEX-GGUF — это квантизированная GGUF-версия модели Qwen3.6-35B-A3B, разработанной командой Qwen. Модель предназначена для генерации текста и запуска через llama.cpp; доступна в вариантах APEX i-quality и i-compact, включая версии v2 с более точным хранением отдельных коэффициентов состояния. Лицензия — Apache 2.0. Модель использует разреженную MoE-архитектуру с 40 слоями, 256 маршрутизируемыми и одним общим экспертом, гибридом GatedDeltaNet и периодического полноразмерного внимания, а также головкой NextN/MTP. Объём параметров — 35 млрд, из которых около 3 млрд активируются на токен. Квантизация выполнена со специально рассчитанной PyTorch importance matrix, охватывающей все слои и MTP-головку; заявлена высокая близость к эталонной квантизации по perplexity. Доступны текстовый режим и мультимодальный режим с отдельным vision-проектором, однако сам проектор в состав репозитория не входит. Рекомендуемый размер контекста в примере запуска — 32 768 токенов. Сильными сторонами являются MoE-эффективность, сохранение качества при уменьшении размера модели, поддержка tool calling через шаблоны llama.cpp и возможность работы с vision при подключении совместимого проектора. Ограничения связаны с крупным размером файлов: 23,5 ГБ для i-quality и 17,4 ГБ для i-compact; для видеокарт с 16 ГБ требуется размещать маршрутизируемые эксперты на CPU. Для мультимодального запуска нужен отдельный mmproj-файл, а качество и скорость зависят от выбранного уровня квантизации и доступной памяти.

FreedomAISVR/Qwen3.6-35B-A3B-MXFP4-MOE-NoMTP-GGUF — квантизированная сборка базовой модели Qwen3.6-35B-A3B от команды Alibaba Qwen. Это модель Mixture-of-Experts с 35 млрд параметров и примерно 3 млрд активных параметров на токен; сборка в формате GGUF удаляет головы Multi-Token Prediction и использует MXFP4 для экспертных весов и Q8_0 для остальных тензоров. Размер файла — около 19,8 ГБ. Модель предназначена для генерации текста и диалогов, включая сценарии с длинным контекстом, использованием инструментов и многоязычными запросами. В README заявлены контекст до 131 тыс. токенов и поддержка более 100 языков; метаданные перечисляют 19 языков, в том числе русский, английский и китайский. В проверенной конфигурации с llama.cpp указаны RTX 5060 Ti с 16 ГБ VRAM и флаг --cpu-moe, который размещает экспертные веса в системной памяти. Квантизация снижает требования к видеопамяти, сохраняя более высокую точность для постоянно используемых неэкспертных тензоров. Для работы нужны llama.cpp с поддержкой CUDA и совместимое оборудование; производительность зависит от аппаратной конфигурации. Базовая модель распространяется по лицензии Apache 2.0; отдельная лицензия производной сборки в предоставленных данных не указана.

Nickyang выпустил производную версию Qwen3.6-35B-A3B, созданную методом RAZOR — без градиентного дообучения удалена половина маршрутизируемых экспертов в каждом MoE-слое. В модели оставлено 128 из 256 экспертов на слой; размер составляет 19,4 млрд параметров, или 19,0 млрд без модуля MTP, при примерно 3 млрд активных параметров на токен. Остальные веса, включая внимание, общий эксперт, эмбеддинги, языковую голову и оставшиеся строки маршрутизатора, сохранены. Модель предназначена для генерации текста и диалогов; метаданные также указывают интерфейс вызова инструментов. Она использует архитектуру Qwen3.5 MoE и формат safetensors с весами bfloat16. Для запуска требуется версия Transformers со встроенной поддержкой qwen3_5_moe. README не сообщает контекстное окно и языковой охват этой производной модели. Удаление экспертов сокращает объём хранимых экспертных весов, сохраняя примерно прежние вычисления на токен. Обрезка с потерями: ответы могут отличаться по разнообразию, форматированию и завершению, даже если точность на задачах в основном сохраняется; поведение вне конечного многодоменного калибровочного набора не охарактеризовано. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — мультимодальная модель, созданная HauhauCS на основе Qwen/Qwen3.6-35B-A3B. Это вариант с усиленным удалением отказов: по заявлению автора, модель не отказывается от запросов и сохраняет функциональность исходной модели, хотя иногда может добавлять короткие дисклеймеры. Подходит для диалогов, генерации и анализа текста, программирования, рассуждений, а также работы с изображениями и видео. Модель использует архитектуру MoE с 35 млрд общих параметров и примерно 3 млрд активных параметров на один проход. Она содержит 256 экспертов, из которых для каждого токена выбираются 8, включает 40 слоёв и гибридное сочетание linear attention и full softmax attention в соотношении 3:1. Заявлен нативный контекст до 262K токенов. Поддерживаются текст, изображения и видео; в README указаны английский, китайский и многоязычный режимы. Для работы с изображениями требуется дополнительный файл mmproj. Основные преимущества — высокая заявленная устойчивость к отказам, мультимодальность, большой контекст и доступность множества GGUF-квантизаций, включая оптимизированные HauhauCS варианты K_P. Ограничения включают отсутствие встроенных защитных ограничений в Aggressive-варианте, значительные требования к памяти: размер файлов варьируется примерно от 11 до 44 ГБ, а также необходимость корректно настроить совместимый runtime, например llama.cpp или LM Studio. Для сохранения возможностей режима рассуждений рекомендуется использовать контекст не менее 128K токенов. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-W4A16-AWQ — это 4-битная версия мультимодальной модели Qwen3.6-35B-A3B, разработанной командой Qwen и дополнительно квантованной пользователем hyperhuzaifa. Квантизация выполнена методом AWQ в формате compressed-tensors pack-quantized с симметричной схемой int4, размером группы 128 и разрядностью W4A16. Модель использует MoE-архитектуру с 35 млрд параметров и рассчитана на запуск с длинным контекстом на одной потребительской видеокарте с 24 ГБ памяти. На диске она занимает около 20,5 ГБ, а в памяти GPU — около 19,06 GiB. Модель предназначена для генерации текста и обработки изображений, поскольку сохраняет vision tower. В архитектуре используются 40 слоёв, включая 30 слоёв gated DeltaNet с линейным вниманием и 10 блоков полного внимания, а маршрутизация MoE выбирает 8 экспертов из 256. Также сохранена MTP-голова для спекулятивного декодирования. Квантированы языковые Linear-слои, включая routed и shared experts, но эмбеддинги, lm_head, vision tower, маршрутизаторы, нормализации и MTP-голова оставлены в bf16 для сохранения качества и совместимости. Основные преимущества — заметно сниженные требования к памяти, поддержка длинного контекста, мультимодальность и совместимость с vLLM версии 0.26.0 и новее. На одной 24-ГБ видеокарте заявлена работа с контекстом до 32K при использовании CUDA graphs; на двух GPU через tensor parallelism поддерживается до 262K токенов. Ограничения включают невысокую допустимую конкурентность на одной карте из-за recurrent cache для DeltaNet, резкое снижение скорости при использовании enforce-eager и необходимость корректно выбирать мультимодальный класс загрузки. MTP не рекомендуется включать на одной 24-ГБ карте из-за резкого уменьшения доступного KV-кэша; на двух PCIe-GPU он также может снижать итоговую производительность. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B · Winnow keep-50 — это производная модель семейства Qwen, созданная методом структурного прореживания routed-экспертов. Разработчик уменьшил промежуточную ширину каналов SwiGLU-экспертов на 50% по оценкам важности, сохранив без изменений механизм внимания, эмбеддинги и маршрутизатор. В README указано 18,5 млрд параметров, тогда как метаданные каталога сообщают 2,9 млрд; эти сведения расходятся. Архитектура — MoE для причинной генерации текста, модель поддерживает диалоговый сценарий и принимает до 262 144 токенов контекста. Модель предназначена для генерации текста и диалогов. На тесте C4 для этого чекпойнта указана perplexity 14,69 на 32 последовательностях длиной 2048 токенов; README отсылает к отдельной работе за сравнением с REAP и результатами downstream-тестов. Для запуска требуется Transformers версии 5 или новее и trust_remote_code=True; README описывает обслуживание через vLLM с плагином winnow и поддержку запуска на двух GPU по 24 ГБ. Лицензия — Apache-2.0.

Qwen3.8-27B-3bit-MLX-TextOnly — текстовая квантованная версия модели Qwen3.8-27B, разработанной командой Qwen и преобразованной в формат MLX пользователем lukaskremla с помощью mlx-lm 0.31.2. Модель предназначена для генерации текста, диалоговых сценариев, рассуждений и использования инструментов, включая задачи с длинным контекстом и многоязычные приложения. Модель сохраняет возможности преобразования текста в текст и не содержит vision tower, поэтому не поддерживает обработку изображений. Она использует 3-битное квантование весов с affine- и RTN-подходами и размером группы 64; заявленный размер базовой модели — 27B параметров. Формат MLX ориентирован на запуск с использованием экосистемы MLX и mlx-lm. Конкретные поддерживаемые языки и максимальная длина контекста в README не указаны. К преимуществам относятся сниженные требования к памяти по сравнению с полноразмерной моделью, поддержка текстовой генерации, рассуждений, инструментов и длинного контекста. Ограничения связаны с отсутствием мультимодальности и возможными потерями качества из-за 3-битного квантования; точные показатели производительности не приведены. Модель распространяется по лицензии Apache-2.0.

mattbucci/Qwen3.8-27B-AWQ — квантованная версия модели Qwen3.8-27B, разработанной Qwen и опубликованной mattbucci. Модель предназначена для задач генерации текста, рассуждений, вызова инструментов, анализа изображений и понимания видео, прежде всего в сценариях серверного инференса через SGLang. Она рассчитана на однопользовательскую работу с длинным контекстом до 262 144 токенов при конфигурации с двумя видеокартами RTX 3090. Модель использует 4-битное квантование AWQ/GPTQ в формате W4A16 с размером группы 128 и симметричными весами INT4. Веса занимают около 18,7 ГБ; архитектура включает 64 слоя, из которых 48 используют Gated DeltaNet, а 16 — полное внимание. Башня обработки изображений, lm_head и отдельные параметры Gated DeltaNet сохранены в BF16. Проверены текстовые, математические, программные, визуальные и видео-сценарии; в указанных тестах модель показала высокие результаты на MMLU и HumanEval, а также успешно работала с контекстом свыше 250 тысяч токенов. Сильные стороны модели — поддержка нескольких модальностей, длинного контекста, рассуждений и инструментов при существенно меньшем объёме памяти по сравнению с полноразмерной моделью. Ограничения включают отсутствие MTP и недоступность MTP-ускоренного speculative decoding, снижение доступного контекста при параллельной обработке нескольких запросов, а также относительно низкий результат LAB-Bench, поэтому модель следует отдельно проверять для научных задач и специализированного протокольного QA. Квантование и валидация выполнялись на архитектуре Ampere с AWQ_Marlin; другие GPU не тестировались разработчиком. Лицензия — Apache-2.0, унаследованная от базовой модели.

Qwen3.8-27B-Brainwaves-1M-qx86-hi-mlx — экспериментальная объединённая модель, разработанная независимой AI-лабораторией NightmediaAI (Монтана, США). Она создана на основе нескольких моделей семейств Qwen3.6 и Qwen3.8, включая Wichtel-Qwen3.6-27B, Qwen3.8-27B-heretic-ara и варианты Cold Fusion и GAIN. Модель содержит около 27 миллиардов параметров и распространяется в формате MLX с квантизацией qx86-hi. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, исследовательских и математических задач, а также творческого письма, сюжетной генерации и ролевых сценариев. В метаданных указаны английский, китайский, японский и испанский языки. Заявлена поддержка контекстных окон до 1 миллиона токенов; конфигурацию RoPE можно изменить на 512 тысяч, 1 миллион или вернуть к стандартным 256 тысячам токенов. Вариант qx64-hi также предоставлен для экспериментальной работы с контекстом до 2 миллионов токенов. По приведённым тестам модель показывает лучшие результаты по ряду бенчмарков и меньшую perplexity по сравнению с базовой Qwen3.8-27B. Для конфигурации qx86-hi указаны пиковое потребление памяти около 33 ГБ и скорость около 171 токена в секунду, однако фактические показатели зависят от оборудования и настроек. Это экспериментальный merge, поэтому поведение различных квантизаций может отличаться, а заявленные сверхдлинные контексты требуют дополнительной проверки. Лицензия — Apache-2.0.

uzairkhn/Qwen3.8-27B-FP4 — дообученная и 4-битно квантованная версия causal language model Qwen/Qwen3.8-27B. Квантование FP4 выполнено с использованием библиотеки bitsandbytes разработчиком uzairkhanux; исходную модель разработала команда Qwen. Модель предназначена для генерации текста, диалогового взаимодействия, zero-shot и few-shot prompting, а также инференса в прикладных сценариях, где важны сниженные требования к видеопамяти. Это трансформерная авторегрессионная модель размером 27B параметров, доступная в формате FP4. По данным карточки, её потребление памяти снижено примерно с 54 ГБ для исходных 16-битных весов до около 14 ГБ, что позволяет запускать её на одной GPU с 16 ГБ VRAM или конфигурациях вроде двух NVIDIA T4. Модель поддерживает несколько языков, включая английский и китайский, а также другие языки, поддерживаемые базовой моделью. Для загрузки рекомендуется экосистема Hugging Face Transformers и bitsandbytes с возможностью выгрузки части весов в оперативную память. Главное преимущество модели — существенное уменьшение требований к памяти при сохранении возможностей исходной большой языковой модели. Ограничения связаны с потерями качества из-за lossy-квантования: по сравнению с исходными 16-битными или BF16-весами возможно ухудшение сложного рассуждения. Использование CPU offloading снижает скорость генерации, поэтому модель плохо подходит для чувствительных к задержкам производственных систем без оборудования с большим объёмом VRAM. Модель может наследовать предвзятости и ошибки исходных и дообучающих данных; перед применением нужны тестирование и защитные механизмы. Лицензия определяется лицензией базовой модели Qwen/Qwen3.8-27B.

aquaduck/Qwen3.8-27B-GGUF — это квантизированная GGUF-версия причинной языковой модели Qwen3.8-27B, разработанной командой Qwen и Alibaba Cloud. Репозиторий Aquaduck предоставляет полную модель в формате Q4_K_M, полученную из unsloth/Qwen3.8-27B-GGUF, а также дополнительные шардированные файлы для поэтапной или многосетевой загрузки. Aquaduck отвечает за хостинг и упаковку, а не за обучение или отдельную тонкую настройку модели. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые с GGUF инструменты, такие как llama.cpp, а также использование в приложении Aquaduck. Она поддерживает мультиязычную работу в соответствии с возможностями базовой Qwen3.8-27B и рассчитана на контекст до 262 144 токенов. Архитектура включает около 27,8 млрд параметров, 64 слоя, GQA с 24 Q- и 4 KV-головами и размер скрытого состояния 5120. Ключевые преимущества — существенно меньший размер по сравнению с полноточными вариантами, совместимость с экосистемой GGUF и возможность staged loading с помощью двух шардов, разделённых после слоя 32. Полный файл подходит для обычного одноузлового запуска, тогда как отдельные шардированные файлы не являются самостоятельными моделями и предназначены только для Aquaduck Arc. Квантизация Q4_K_M может снижать качество по сравнению с версиями в более высокой точности; отдельные оценки для этого размещённого варианта не проводились, поэтому его ограничения, риски и смещения соответствуют базовой модели Qwen3.8-27B. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели. При использовании необходимо соблюдать требования лицензии и рекомендации базовой карточки модели, включая корректный chat template и режимы thinking или instruct.

Youssofal/Qwen3.8-27B-MTPLX-Optimized-Quality-FP16 — сборка модели Qwen3.8-27B, подготовленная Youssofal для запуска через MTPLX на компьютерах Mac с Apple Silicon. Это текстовая генеративная модель для локального использования, включая программирование, работу с кодом, текстами, JSON и многоязычными запросами. Модель распространяется в формате MLX и оптимизирована для чипов Apple M1 и M2; для более новых Mac рекомендуется родственная сборка с bf16. Модель имеет размер 27B параметров, использует динамическое 8-битное квантование, а оставшиеся плавающие параметры хранятся в FP16. Она поддерживает контекст до 262 144 токенов и многоступенчатое предсказание с глубиной MTP 3. MTPLX применяет спекулятивное декодирование с точным сохранением распределения генерации; заявлено ускорение в два-три раза по сравнению с обычным декодированием. Для работы требуется Mac с Apple Silicon и не менее 32 ГБ объединённой памяти, а для этой сборки рекомендуется от 36 ГБ. Размер загрузки — 29,4 ГБ. Сильными сторонами являются высокое совпадение с исходной моделью Qwen3.8-27B в тестах качества, оптимизация для локального запуска на Mac и поддержка длинного контекста. Ограничения включают привязку к экосистеме Apple Silicon, высокие требования к памяти и отсутствие опубликованных замеров скорости именно на M1 и M2. Модель распространяется по лицензии Apache-2.0.

HivenetQuant/Qwen3.8-27B-NVFP4 — квантованная версия мультимодальной модели Qwen/Qwen3.8-27B, опубликованная HivenetQuant. Модель предназначена для работы с текстом и изображениями, включая визуальное понимание, генерацию текста и кода, рассуждения, tool calling и ускоренное авторегрессионное декодирование с помощью MTP speculative decoding. В основе используется модель размером 27B параметров. Квантование выполнено по схеме NVFP4 W4A4: веса и активации основного квантованного слоя представлены в FP4 с блочными масштабами FP8 и group size 16. Чувствительные attention- и recurrent-слои DeltaNet сохранены в FP8, а vision encoder, MTP head, lm_head, нормы и router layers — в BF16. Контекст до 262 144 токенов проверен в конфигурации с vLLM и FP8 KV cache. Модель ориентирована на GPU NVIDIA Blackwell с нативной поддержкой FP4, например RTX 5090. Сильными сторонами являются заметное ускорение по сравнению с FP16, сохранение мультимодальных возможностей и MTP, а также близкие к FP16 результаты на проверенных задачах. В опубликованном сравнении разница обычно составляла менее двух процентных пунктов, однако это оценка деградации на репрезентативных выборках, а не полное измерение абсолютных возможностей базовой модели. Ограничения включают зависимость от совместимого оборудования и настроек vLLM, а также возможное снижение качества из-за квантования, особенно на отдельных задачах. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-NVFP4-all — текстовая генеративная модель на базе Qwen3.8-27B, разработанная сообществом thomasgardiner с использованием базовых чекпойнтов Qwen и RadixArk. Архитектура сочетает Gated DeltaNet и полное внимание, включает 64 слоя и поддерживает ввод и вывод текста. Модель предназначена для генерации текста, решения математических задач, ответов на сложные вопросы, следования инструкциям и генерации кода. Ключевая особенность — оптимизация NVFP4-квантизации для ускорения декодирования на GPU NVIDIA RTX 5090 и платформах SM120. Часть линейных проекций переведена из FP8 в NVFP4 с симметричной блочной схемой квантизации, тогда как отдельные компоненты сохраняют формат BF16. Размер чекпойнта уменьшен с 20,6 до 18 ГБ. Заявлено ускорение декодирования на 13–17% относительно RadixArk/Qwen3.8-27B-NVFP4 при сопоставимой точности; в полном стеке оптимизаций прирост относительно стандартного SGLang достигает 25–33% на фиксированных запросах. По представленным тестам модель сохраняет близкую к исходному NVFP4-чекпойнту точность на GSM8K, MATH-500, GPQA Diamond, IFEval и HumanEval, однако небольшое снижение наблюдается на части математических и кодовых задач. Для эффективного использования требуются совместимые версии SGLang и FlashInfer, CUDA 13.0, а на SM120 — специальный патч backend b12x; рекомендуемая конфигурация использует спекулятивное декодирование DFlash2. Лицензия — Apache-2.0.

mlx-community/Qwen3.8-27B-OptiQ-4bit — квантованная MLX-версия модели Qwen3.8-27B, разработанной Qwen, с оптимизацией mlx-optiq для локального запуска на компьютерах Apple Silicon. Модель поддерживает работу с текстом и изображениями и предназначена для генерации текста, рассуждений, программирования, следования инструкциям, вызова инструментов и других сценариев мультимодального помощника. В режиме text-only её можно загружать через mlx-lm, а для image+text и расширенных возможностей требуется mlx-optiq. Модель использует гибридную архитектуру: три четверти из 64 блоков применяют linear attention, остальные — full attention. Квантование выполнено в смешанной точности: 237 чувствительных к потере качества слоёв представлены в 8-bit, а 261 менее чувствительный слой — в 4-bit; размер группы — 64. Vision tower сохранён в формате bf16 и поставляется отдельным файлом размером около 0,9 ГБ. Общий размер модели на диске составляет примерно 18,9–19 ГБ. Данные о размере контекстного окна и поддерживаемых языках в карточке не указаны. К сильным сторонам относятся сочетание мультимодальности, локальный запуск без облака и PyTorch, а также экономия памяти за счёт квантования при сохранении высокой производительности в тестах: 84,1% на MMLU, 96,1% на GSM8K, 92,1% на HumanEval и 93,5% на BFCL-V3 simple. Ограничения включают зависимость от экосистемы MLX и Apple Silicon для целевого сценария, необходимость mlx-optiq для обработки изображений и расширенного сервера, а также возможное снижение качества по сравнению с полноразмерной моделью из-за квантования. Лицензия — Apache-2.0.

Sartaj Bhuvaji подготовил текстовую версию Qwen3.8-27B, удалив из Qwen/Qwen3.8-27B зрительную подсистему и преобразовав конфигурацию в Qwen3_5ForCausalLM. Это плотная гибридная авторегрессионная модель с 64 декодерными слоями: 48 слоёв линейного внимания и 16 слоёв полного внимания. В репозитории около 27,3 млрд параметров; заявленная длина контекста — 262 144 токена. Текстовые веса побайтно совпадают с исходной моделью, дообучения или переобучения не было. Модель предназначена для генерации текста и диалогового использования, включая развёртывание через Transformers, vLLM и SGLang. Удаление зрительной подсистемы исключает обработку изображений и сокращает занимаемую память примерно на 0,92 ГБ; автор также сообщает об увеличении доступной KV-кэш-памяти в конкретном тесте на H100. Лицензия — Apache-2.0. Модель не принимает изображения. Голова multi-token prediction сохранена, но не поддерживается проверенными загрузчиками; прирост скорости не гарантируется и зависит от движка, оборудования и нагрузки. Приведённые бенчмарки охватывают один H100 и ограниченный набор размеров запросов.

MrFuzzihead/Qwen3.8-35B-A3B-Distill-APEX-GGUF — это набор GGUF-квантизаций модели Qwen3.8-35B-A3B-Distill, разработанной Empero и квантизированной MrFuzzihead методом APEX при участии команды LocalAI. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, включая сценарии генерации текста, рассуждений, программирования, следования инструкциям, вызова функций и агентного использования. В основе лежит разреженная Mixture-of-Experts-архитектура примерно на 35 млрд параметров, из которых для каждого токена активируются 8 из 256 маршрутизируемых экспертов, а также общий эксперт. Модель использует 40 слоёв с гибридной схемой Gated DeltaNet и Gated Attention; полный attention применяется только в 10 слоях, что снижает нагрузку на KV-кэш. Заявлен нативный контекст до 262 144 токенов. Базовая модель мультимодальная и сохраняет vision tower, однако дистилляция выполнялась только для текста, а визуальные возможности не были проверены. Поддерживаются отдельные vision-проектор и MTP-компоненты для мультимодальности и спекулятивного декодирования. Ключевая особенность — APEX-квантизация с разной точностью для типов тензоров и позиций слоёв, учитывающая разреженность MoE. Доступны варианты размером примерно от 10,9 до 25,3 ГБ, рассчитанные на видеокарты с 12–24 ГБ памяти и различные компромиссы между качеством, размером и скоростью. I-варианты используют importance matrix на разнообразных данных, включая диалоги, код, рассуждения, вызов инструментов и агентные трассы, и ориентированы на более высокую точность. Модель использует постоянно включённое дистиллированное пошаговое рассуждение с блоком <think>, поэтому адаптивного переключателя уровня рассуждений нет. Распространяется по лицензии Apache-2.0.

Furiosa-AI Qwen3-8B-FP8 — это версия модели Qwen3-8B-FP8, подготовленная для запуска на аппаратной платформе FuriosaAI RNGD с использованием Furiosa-LLM. Модель разработана на базе Qwen3 компании Qwen и предназначена для генерации текста, диалоговых приложений, решения задач, программирования, математического рассуждения, вызова инструментов и построения агентных систем. Доступен OpenAI-совместимый API. Модель представляет собой плотный causal transformer с grouped-query attention и примерно 8,2 млрд параметров. Она работает только с текстом на входе и выходе; в README явно указан английский язык. Qwen3-8B поддерживает гибридный режим рассуждений: по умолчанию модель может формировать рассуждение перед ответом, а для отдельных запросов рассуждения можно отключать. Также поддерживается вызов функций через parser hermes. Веса статически квантизированы в FP8 с размером блока 128, а активации динамически квантизируются в FP8 во время выполнения. К сильным сторонам относятся сочетание качества рассуждений и эффективного режима без рассуждений, поддержка инструментов и агентных сценариев, а также оптимизация для FuriosaAI RNGD. Ограничения включают зависимость от Furiosa-LLM и оборудования RNGD для описанного способа запуска, а также то, что характеристики языковой поддержки и контекстного окна в данной карточке не раскрыты. На RNGD используется tensor parallelism с размером 8 PE, соответствующий одной карте RNGD. Модель распространяется по лицензии Apache 2.0.

georgehenney/Qwen3-8B-heretic — производная от Qwen/Qwen3-8B-Base разговорная языковая модель на архитектуре Qwen3, доработанная методом abliteration для снижения частоты отказов. В приведённом сравнении она отказывает в 8 случаях из 100 против 86 у исходной модели; это результат конкретной оценки, а не гарантия поведения во всех запросах. Модель предназначена для генерации текста и диалогов, включая рассуждения, следование инструкциям, написание кода и многоязычные задачи, унаследованные от Qwen3. Она имеет 7,6 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 40 960 токенов. Метаданные указывают поддержку чата, а карточка базовой модели описывает переключение режимов рассуждения и поддержку более 100 языков и диалектов. Модель распространяется в формате Safetensors через Transformers по лицензии Apache-2.0. Снижение числа отказов может ослабить защитное поведение; показатели и возможности базовой Qwen3 не следует считать независимо подтверждёнными для этой производной модели.