I.5Создание и редактирование текста

fraQtl Qwen3.6-35B-A3B-Hi-Fi-GGUF — это квантизированная GGUF-версия базовой модели Qwen3.6-35B-A3B-Instruct, разработанной командой Qwen и подготовленной к квантизации fraQtl. Модель предназначена для локальной генерации текста, включая диалог, программирование, математические задачи, работу с инструментами и создание развернутых текстов. Заявлена поддержка английского и китайского языков. Модель использует архитектуру Mixture of Experts с общим размером около 35 млрд параметров, примерно 3 млрд активных параметров на токен и 256 маршрутизируемыми экспертами. Это стандартный Q4_K_M-файл для llama.cpp без необходимости в специальном runtime или измененных ядрах. Вариант Hi-Fi применяет распределение битов с учетом важности отдельных тензоров и калибровку imatrix, чтобы приблизить поведение к Q8-версии при сохранении размера обычной Q4_K_M-квантизации. К сильным сторонам относятся локальный запуск на Apple Silicon и потребительских GPU, совместимость с llama.cpp и оболочками на его основе, а также улучшенные по сравнению с некоторыми публичными Q4-квантами показатели близости распределения вывода и perplexity. Ограничения связаны с потерями точности, присущими квантизации, и значительным размером файла около 20 ГБ. На Apple M4 с 24 ГБ памяти подтвержден запуск в CPU-режиме, тогда как полная Metal-выгрузка для этой конфигурации не укладывается в доступную память; работа на системах с 32 ГБ и более обозначена как экспериментальная. Модель распространяется по лицензии Apache-2.0.

Youssofal/Qwen3.6-35B-A3B-MTPLX-Optimized-Balance — локальная модель для генерации текста, опубликованная пользователем или организацией Youssofal и основанная на семействе Qwen3.6. Она предназначена для запуска на компьютерах Apple Silicon через MLX и ускорения генерации с помощью MTPLX — механизма speculative decoding, использующего собственные MTP-головы модели для чернового предсказания токенов с последующей проверкой основной моделью. Модель подходит для локального чата, программирования и других сценариев генерации текста, включая задачи с рассуждениями и обычные контексты разработки. README не указывает поддерживаемые языки и точное максимальное окно контекста. Модель имеет конфигурацию 35B-A3B и архитектуру mixture-of-experts, поставляется в виде 6-битного MLX-квантизованного основного блока с размером группы 64, 8-битными router и gate-тензорами, а также калиброванными INT4 MLX MTP-головами. Нормализации, масштабы, смещения и обычные тензоры сохранены в BF16. Заявлены высокая скорость локальной генерации и практичное потребление памяти; измеренная скорость генерации в режиме MTPLX Sustained Max на Apple Silicon для рекомендованной конфигурации D2 составила около 123–126 токенов в секунду, а скорость обработки промпта в тестах достигала 1756,8–4109,8 токена в секунду в зависимости от длины контекста. Ограничения связаны с применением квантизации, зависимостью от Apple Silicon и MTPLX, а также с тем, что это не полноточный чекпойнт. Лицензия — Apache-2.0.

Это GGUF-квантизация мультимодальной модели Qwen3.6-35B-A3B, разработанной Alibaba Cloud; репозиторий FreedomAISVR распространяет её в формате MXFP4_MOE для запуска через llama.cpp. Модель имеет архитектуру MoE: 35 млрд параметров всего, около 3 млрд активируются на токен, используются 256 экспертов и гибридное внимание Gated DeltaNet с полным вниманием. Контекстное окно — 262 144 токена. Модель предназначена для диалогов, генерации текста и анализа изображений. Для обработки изображений вместе с основными весами требуется файл проектора mmproj. В MXFP4 квантизированы веса экспертов, а маршрутизатор и общие экспертные слои сохранены в Q8_0; README указывает размер основных весов 18,4 ГБ. Указана поддержка 201 языка, среди которых английский и китайский. Квантизация снижает требования к памяти, но может повлиять на качество относительно исходных весов; фактическая совместимость и скорость зависят от оборудования и версии llama.cpp. Лицензия репозитория — Apache-2.0.

majentik/Qwen3.6-35B-A3B-RotorQuant-MLX-2bit — это 2-битная квантизированная версия Qwen/Qwen3.6-35B-A3B, подготовленная для запуска на Apple Silicon с использованием фреймворка MLX. Базовую модель разработала команда Qwen, а данный вариант опубликован пользователем или организацией majentik. Модель предназначена для генерации и обработки текста, включая диалоговые сценарии, написание текстов, ответы на вопросы и программный код. Модель использует архитектуру Mixture-of-Experts: всего 35 млрд параметров, из которых около 3 млрд активируются для каждого токена. Это позволяет снизить вычислительную нагрузку по сравнению с плотной моделью сопоставимого общего размера. Вариант содержит только языковую часть модели и не поддерживает изображения или видео; зрительный модуль и MTP-голова исключены. Приблизительный размер весов — 9 ГБ, рекомендуемый объём объединённой памяти — от 16 ГБ. Для работы используется MLX и загрузка через mlx_lm на компьютерах с Apple Silicon. Главное преимущество модели — компактность и относительно низкие требования к памяти при сохранении архитектуры с большим общим числом параметров. Ограничениями являются потери качества, характерные для агрессивной 2-битной квантизации, отсутствие мультимодального ввода и зависимость от совместимого оборудования и программного окружения. Обозначение RotorQuant относится к варианту выпуска; связанный с ним экспериментальный форк для квантизации KV-кэша считается устаревшим и не требуется для использования модели. Модель распространяется по лицензии Apache 2.0.

Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-Final-NVFP4-GGUF — это квантизированная в формате GGUF версия модели на базе Qwen3.6, созданной Alibaba Group, с доработками LuffyTheFox и квантизацией NVFP4 от jan1k. Модель также включает Hermes-файнтюнинг для диалогов, генерации текста, программирования, агентских сценариев и function calling. Указана поддержка английского, китайского и других языков, а также мультимодального ввода изображений через отдельный vision-проектор. Архитектура представляет собой Mixture of Experts: около 35 млрд общих параметров и примерно 3 млрд активных параметров на токен, с восемью маршрутизируемыми экспертами и одним общим. NVFP4 — 4-битный формат с плавающей точкой, оптимизированный для GPU NVIDIA архитектур Ada Lovelace, Blackwell и Ampere. Рекомендуется использовать файл версии v4 с inline scales; он совместим с llama.cpp, LM Studio и Pelican. Для работы с изображениями требуется отдельный проектор F16 размером около 899 МБ. Размер рекомендуемого файла модели составляет около 20 ГБ. Сильными сторонами являются MoE-архитектура с относительно небольшим числом активных параметров, поддержка мультимодальных и агентских задач, function calling и формат NVFP4, снижающий требования к памяти по сравнению с полноразмерной моделью. Ограничения включают зависимость от совместимого NVIDIA-оборудования и корректно поддерживающего NVFP4 рантайма, необходимость отдельного vision-проектора для изображений и отсутствие в предоставленных данных сведений о максимальной длине контекста и результатах независимого тестирования. Модель распространяется по лицензии Apache-2.0.

Это квантованная GGUF-сборка Qwen3.6-35B-A3B от автора xero0000, подготовленная для запуска целиком в видеопамяти. Вариант vram13 занимает 12,98 ГБ; README также описывает вариант с дополнительной MTP-головой размером 13,53 ГБ. Базовая модель — MoE с 35 млрд параметров, а базовый файл поддерживает контекст до 256 тыс. токенов; вариант MTP — до 128 тыс. токенов. Сборка предназначена для генерации текста и диалогов, в том числе для работы с кодом, на системах с ограниченной видеопамятью. Веса экспертов преимущественно квантованы в 2 бита с использованием imatrix и выборочной защиты чувствительных слоёв; внимание, SSM-проекции и некоторые общие тензоры имеют более высокую точность. Автор приводит замеры скорости и перплексии на двух видеокартах, однако результаты зависят от оборудования и программной среды. Ожидается некоторое снижение качества на сложных и редких случаях по сравнению с квантованиями Q4-класса. Вариант MTP использует голову, перенесённую из дообученной модели, поэтому выигрыш скорости зависит от содержания текста; совместимость этой сборки и MTP-файла зависит от загрузчика. Лицензия — Apache-2.0.

Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking-NEO-CODE-Di-IMatrix-MAX-GGUF — языковая модель в формате GGUF, разработанная trinityomni на основе модели DavidAU Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking. Согласно README, модель расширена из Qwen3.6 27B до 40 млрд плотных параметров, имеет 96 слоёв и поддерживает контекст до 256K токенов. Обучение и доработка выполнялись с использованием Unsloth, датасетов с высокоуровневыми рассуждениями, а также наборов Deckard/PDK, ориентированных на характер, интеллект, глубину, наблюдательность и стиль ответа. Модель предназначена для универсального применения: диалогов, сложных рассуждений, программирования, математики, решения задач, творческого письма, генерации сюжетов и ролевых сценариев. Заявлены английский и китайский языки. Поддерживается переменная длина рассуждений: для простых задач модель должна формировать более короткие рассуждения, а для сложных — более подробные. README также заявляет поддержку изображений при использовании совместимого mmproj-файла, что соответствует сценарию image-text-to-text. К сильным сторонам относятся большой контекст, высокая производительность в задачах рассуждений и письма, ориентированность на длительные диалоги, код и математику, а также специальные NEO-CODE-Di-IMatrix-MAX-квантизации, оптимизированные по результатам сравнений с полной точностью BF16. Ограничением является необходимость подбирать подходящий GGUF-квант и, для работы с изображениями, отдельно устанавливать mmproj. Модель заявлена как uncensored и unfiltered, поэтому она может генерировать потенциально небезопасный или NSFW-контент. Лицензия указана как Apache-2.0.

leok7v/Qwen3.8-27B — мультимодальная квантизованная сборка базовой модели Qwen3.8-27B, разработанной Qwen и Alibaba. Квантизацию выполнила unsloth, упаковку — leok7v. Модель предназначена для автономного запуска на устройстве: чата, суммаризации, подготовки текстов, ответов на вопросы по предоставленному контексту и описания изображений в офлайн-режиме или сценариях, чувствительных к конфиденциальности. Это плотная гибридная авторегрессионная языковая модель с чередованием трёх блоков линейного внимания Gated DeltaNet и одного блока полного внимания, дополненная vision encoder. Линейные блоки используют компактное рекуррентное состояние вместо растущего KV-кэша, а блоки полного внимания поддерживают дальний контекст. Веса представлены в нескольких вариантах квантизации от 1 до 4 битов размером примерно от 6,88 до 15,17 GiB. В каждый файл встроены vision tower, токенизатор, chat template, параметры семплирования и drafter для speculative decoding. Сильные стороны модели — мультимодальность, полностью автономная поставка в одном файле, отсутствие необходимости обращаться к серверу и потенциально сниженное потребление памяти благодаря гибридной архитектуре. Ограничения включают зависимость формата .ggxf от runtime Gadeon: совместимость со сторонними GGUF-инструментами не проверялась, а некоторые из них могут не поддерживать встроенный vision tower или тип iq4_nl. Квантизация снижает точность, особенно в 1- и 2-битных вариантах; возможны фактические ошибки, накопление ошибок в многошаговых рассуждениях и расхождения с исходной моделью. Модель не содержит дополнительного safety-тюнинга или фильтрации и не предназначена для принятия юридических, медицинских, финансовых и иных высокоставочных решений без проверки человеком. Лицензия — Apache 2.0, унаследованная от базовой модели.

3MPER0RR/Qwen3.8-27B-3MPER0RR-abliterated — дообученная диалоговая модель семейства Qwen, созданная 3MPER0RR на основе Qwen/Qwen3.8-27B. В метаданных указаны плотная архитектура Qwen3.5, 27 млрд параметров для базовой модели и поддержка генерации текста и чата. Модель подходит для диалогов и генерации текста. Карточка сообщает, что модель прошла тестирование и была сохранена, но не описывает метод дообучения, языки, контекстное окно или отдельные возможности версии «abliterated». Лицензия — Apache 2.0.

Rabbit-Hole-Ai/Qwen3.8-27B-5090-goldilocks-GGUF — это квантованная версия Qwen3.8-27B в формате GGUF, предназначенная для запуска через llama.cpp. Модель основана на Qwen/Qwen3.8-27B и оптимизирована для размещения на одной видеокарте NVIDIA RTX 5090 с 32 ГБ памяти под Windows 11. Основное назначение — генерация текста с большим контекстом, включая локальный инференс и сценарии, где важны высокая вместимость контекста и поддержка speculative decoding. Файл использует смешанную точность с эффективным показателем 7,36 bpw и занимает около 23 990 МиБ. В составе 866 тензоров применяются 339 тензоров Q8_0, 167 Q6_K и 360 F32; MTP-слой blk.64 сохранён для совместимости с режимом draft-mtp. Для текстовых задач заявлена поддержка контекста до 131 тыс. токенов, а при использовании vision projector — до 110 тыс. токенов. README приводит среднюю KL-дивергенцию относительно исходной BF16-модели 0,001800 для RTN-сборки и 0,001678 для imatrix-сборки. Сильная сторона модели — эффективное использование памяти RTX 5090 за счёт повышения точности квантования в пределах доступного объёма VRAM и сохранения качества, близкого к BF16-оригиналу. Указанная скорость генерации зависит от глубины контекста и конфигурации: для imatrix-файла приводятся значения 72,6 токена/с при глубине 8 тыс. и 64,0 токена/с при глубине 98 тыс. Ограничениями являются требовательность к видеопамяти, заметное падение скорости на длинном контексте и необходимость внимательно выбирать параметры KV-кэша и speculative decoding: сочетание квантованного KV-кэша с определёнными настройками спекулятивной генерации может резко ухудшить производительность. Лицензия — Apache-2.0.

Shiftedx/qwen3.8-27b-aeon-ultimate-uncensored-attention8-bf16recurrence-vision-mtplx — независимая конверсия сообщества на базе AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED, подготовленная для Apple Silicon, MLX и MTPLX. Это плотная модель на 27 млрд параметров с гибридной архитектурой attention/Gated DeltaNet, поддерживающая работу с текстом и изображениями, рассуждения, вызов инструментов и структурированный вывод. Релиз не является официальным продуктом AEON-7, Qwen, Apple, MLX или MTPLX. Модель использует смешанную точность: аффинное 4-битное и 8-битное квантование весов, а отдельные рекуррентные проекции, vision tower и native multi-token prediction head сохранены в BF16. Репозиторий занимает около 23,84 ГБ, рассчитан на конфигурацию с 64 ГБ или более unified memory и поддерживает контекст до 262 144 токенов; квалификационное тестирование выполнено до 131 072 токенов. Заявлены языки English, Chinese и multilingual. Для ускорения предусмотрена спекулятивная генерация с MTP-head, квалифицированная на глубине 3. По опубликованным тестам модель получила 8/10 в проверке качества, 15/15 в тестах длинного контекста, 6/6 в вызове инструментов, 2/2 в лёгких агентских сценариях и 4/4 в vision-тестах. Сильными сторонами являются ориентация на качество локального запуска, мультимодальность, инструменты, длинный контекст и оптимизация под Apple Silicon. Ограничения включают высокие требования к памяти и зависимость производительности от оборудования и версии MTPLX; заявленные результаты относятся к конкретному Apple M4 Max с 64 ГБ памяти и не гарантируют аналогичную скорость на других системах. Модель распространяется по лицензии Apache-2.0, унаследованной от исходной линейки.

barrydeen/Qwen3.8-27B-AWQ-4bit — квантизированная версия мультимодальной модели Qwen/Qwen3.8-27B, разработанной командой Qwen и подготовленной пользователем barrydeen. Модель предназначена для генерации текста и обработки изображений с текстом, включая диалоговые сценарии, работу с кодом, арифметикой, инструментами и рассуждениями. Модель имеет гибридную архитектуру Qwen3_5ForConditionalGeneration с 27 млрд параметров. Из 64 декодерных слоёв 16 используют полноценное внимание, а 48 — Gated DeltaNet. Линейные слои квантизированы методом AWQ в формате W4A16 с асимметричной схемой и размером группы 128; чувствительные компоненты, включая vision tower, Gated DeltaNet и MTP head, сохранены в BF16. Размер модели составляет около 27,8 ГБ вместо 55,6 ГБ в BF16. Заявлена поддержка контекста до 131 072 токенов при использовании vLLM, а также MTP-спекулятивного декодирования. Сильные стороны модели — существенное снижение требований к памяти при сохранении чувствительных компонентов в исходной точности, поддержка мультимодальности, инструментальных вызовов и высокая измеренная скорость генерации 85–95 токенов в секунду на двух RTX 3090. Ограничения включают отсутствие формального набора бенчмарков, калибровку только на текстовых данных и последовательностях длиной до 1024 токенов, поэтому качество на более длинных контекстах и мультимодальных данных отдельно не подтверждено. Для MTP требуется тензорный, а не конвейерный параллелизм. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

cyankiwi/Qwen3.8-27B-AWQ-BF16-INT4 — квантованная версия Qwen3.8-27B, разработанного командой Qwen. Модель представляет собой плотную причинную языковую модель с vision-энкодером, предназначенную для работы с текстом, изображениями и видео. Она поддерживает интеграцию через Hugging Face Transformers, vLLM, SGLang и другие совместимые инструменты. Модель рассчитана на программирование, профессиональные и исследовательские задачи, обработку документов и STEM-диаграмм, а также долгие агентские сценарии с планированием и взаимодействием со средой. Доступно управление режимом рассуждений: его можно отключать и настраивать глубину через reasoning_effort, а контекст рассуждений из предыдущих сообщений — сохранять с помощью preserve_thinking. Языковая часть содержит 27 млрд параметров, 64 слоя и имеет архитектуру с чередованием Gated DeltaNet и Gated Attention. Нативная длина контекста составляет 262 144 токена, с возможным расширением до 1 000 000 токенов. Заявлена поддержка английского, китайского, хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков. Размер файлов модели — около 28,85 ГБ. К сильным сторонам относятся мультимодальность, поддержка видео, гибкое управление рассуждениями и ориентация на сложные многошаговые задачи. Ограничения конкретной квантованной сборки и результаты бенчмарков в предоставленных данных подробно не указаны. Модель распространяется по лицензии Apache-2.0.

mradermacher/Qwen3.8-27B-Brainwaves-WFH-i1-GGUF — квантованная версия модели Qwen3.8-27B-Brainwaves-WFH, разработанной nightmedia и преобразованной в формат GGUF пользователем mradermacher. Модель предназначена для локального запуска в задачах генерации текста, диалогов, программирования, математики, научно-технических запросов, рассуждений, творческого и художественного письма, а также ролевых сценариев. В README также указана поддержка изображений через дополнительные mmproj-файлы, доступные в статическом репозитории. Модель относится к семейству Qwen и имеет заявленный размер 27B параметров. Доступны варианты квантования i1 с использованием imatrix, включая Q2_K, Q3_K, IQ3, IQ4, Q4, Q5 и Q6; размер файлов составляет примерно от 11 до 22,5 ГБ. Для некоторых вариантов указаны компромиссы между скоростью, размером и качеством: i1-Q4_K_M отмечен как быстрый и рекомендуемый, а i1-Q4_K_S — как оптимальный по соотношению размера, скорости и качества. Заявлены языки English, Chinese, Japanese и Spanish. В тегах упоминается контекст до 1M токенов, однако README не подтверждает фактические ограничения именно этой сборки. Сильной стороной модели является широкий набор предполагаемых сценариев применения и наличие нескольких уровней квантования для выбора под доступные ресурсы. Ограничения связаны с потерями качества, зависящими от типа квантования, отсутствием подробных результатов оценки и неполным описанием архитектуры, точной мультимодальной конфигурации и практического размера контекста. Модель распространяется по лицензии Apache-2.0.

Mike0021/Qwen3.8-27B-GGUF — набор GGUF-конвертаций базовой модели Qwen/Qwen3.8-27B, подготовленный пользователем Mike0021 с использованием llama.cpp. Модель предназначена для генерации текста, диалоговых сценариев и мультимодального анализа изображений и видео; для работы с визуальными данными требуется отдельный vision projector. Доступны варианты BF16, Q8_0 и архитектурно адаптированный Q4_K_M размером 18,97 ГБ, рекомендованный для практического использования. Модель содержит 64 слоя, поддерживает контекст до 262 144 токенов, а заявленные языки — английский и китайский. В состав также может входить опциональная од Layer MTP-модель для speculative decoding, не изменяющая итоговое распределение вероятностей целевой модели. Для визуального ввода используются отдельные файлы projector размером 0,63 или 0,93 ГБ. Сильными сторонами являются большое контекстное окно, поддержка текста и изображений, варианты с разным компромиссом между качеством и требованиями к памяти, а также сохранённые шаблоны чата и режимы reasoning. Ограничения включают значительный объём файлов и потребность в соответствующих ресурсах памяти; для полной поддержки новой архитектуры требуется llama.cpp ревизии 1692f9e или более новая, поскольку старые версии и некоторые другие GGUF-рантаймы могут быть несовместимы. Лицензия — Apache-2.0.

btbtyler09/Qwen3.8-27B-GPTQ-8bit — квантизированная 8-битная версия мультимодальной модели Qwen/Qwen3.8-27B. Модель разработана на базе семейства Qwen и распространяется пользователем btbtyler09. Она предназначена для обработки текста и изображений, генерации ответов, анализа изображений, программирования и других задач общего назначения, а также поддерживает speculative decoding через модуль MTP. Модель имеет плотную архитектуру примерно на 27 млрд параметров без MoE, 64 слоя, включая 48 слоёв линейного внимания и 16 слоёв полного внимания, скрытый размер 5120 и контекст до 262 144 токенов. Полный vision encoder на базе ViT и MTP-модуль сохранены в формате BF16, а основные квантизируемые линейные слои текстового декодера переведены в INT8 с использованием GPTQ. Размер модели составляет около 31 ГБ против примерно 56 ГБ у исходной BF16-версии. Поддерживаются текстовая и визуальная модальности; конкретный набор языков в README не указан. Ключевое преимущество — существенно меньшее потребление дискового пространства и видеопамяти при заявленной практически неизменной perplexity относительно BF16-оригинала. Модель рассчитана на развёртывание через vLLM и загрузку с помощью GPTQModel или transformers. Ограничения включают высокие требования к ресурсам, необходимость совместимого программного окружения и возможную проблему конфигурации в некоторых версиях vLLM, для которой в README приведён обходной патч. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3.8-27B-INT4 — квантизированная версия модели Qwen/Qwen3.8-27B, разработанная RedHatAI. Это мультимодальная модель с архитектурой Qwen3_5ForConditionalGeneration: принимает текст и изображения, генерирует текст. Заявлены поддерживаемые языки английский и китайский. Размер контекста в README не указан. Модель предназначена для диалоговых приложений, следования инструкциям, рассуждений, решения математических задач, ответов на вопросы и обработки визуально-текстовых запросов. Веса линейных операторов в блоках Transformer квантизированы до INT4, активации сохраняют исходную точность, а KV-cache использует FP8. Оптимизация снижает размер на диске и требования к памяти GPU примерно на 75% по сравнению с 16-битным представлением и подготовлена для инференса через vLLM с поддержкой выбора инструментов и мультимодального кодировщика. По результатам оценки модель сохранила большую часть качества BF16-версии на тестах IFEval, MMLU-Pro, GSM8K Platinum, MATH-500, GPQA Diamond и AIME 2025; небольшое снижение наблюдается на большинстве benchmark-ов, хотя на GSM8K Platinum результат оказался выше. Ограничения включают возможные потери качества из-за квантизации, отсутствие сведений о размере контекста и неполное описание требований к аппаратному обеспечению. Модель распространяется по лицензии Apache-2.0.

Avesed/Qwen3.8-27B-INT4-W4A16 — это квантизированная версия Qwen/Qwen3.8-27B, разработанная сообществом Avesed. Модель относится к гибридным плотным vision-language моделям: сочетает линейное внимание GatedDeltaNet с периодическим полным вниманием, имеет встроенную vision tower и MTP head для спекулятивного декодирования. Она поддерживает английский и китайский языки, а также обработку изображений и текста. Модель предназначена для генерации и перевода текста, рассуждений, математических задач и мультимодальных сценариев с изображениями. Используется INT4 weight-only квантизация W4A16 с AWQ, symmetric INT4 weights и group size 32. Размер чекпойнта составляет около 20 ГБ, поэтому веса помещаются на одной GPU с 24 ГБ памяти; для обслуживания через vLLM в README указана конфигурация tensor parallel на двух RTX 3090. В чувствительных к качеству компонентах, включая embeddings, lm_head, vision tower и MTP head, сохранён формат bfloat16. На GSM8K модель показала результат 96,4% при описанном в README протоколе оценки; заявлена работоспособность китайской и английской генерации, перевода, vision path и режимов reasoning. MTP-спекулятивное декодирование обеспечивает среднюю длину принятой последовательности около 2,4 токена из 3 при K=2. Ограничения включают зависимость результатов от протокола оценки и параметров сэмплирования, отсутствие результатов MMLU-Pro, а также заметную зависимость производительности от аппаратной конфигурации. Для запуска рекомендуется vLLM; лицензия — Apache-2.0.

Avesed/Qwen3.8-27B-INT8-W8A8 — квантизированная версия Qwen/Qwen3.8-27B, разработанная Avesed. Это плотная гибридная vision-language-модель с линейным механизмом внимания GatedDeltaNet, периодическими слоями полного внимания, встроенной vision-башней и MTP-головой для speculative decoding. Модель поддерживает английский и китайский языки, а также обработку изображений и текста; точный размер контекста в README не указан. Модель предназначена для генерации и анализа текста, рассуждений, решения математических задач, перевода, двуязычных сценариев и задач с изображениями. Квантизация INT8 применяется к весам и активациям по схеме W8A8: используются симметричные INT8-веса и динамические INT8-активации, тогда как наиболее чувствительные к качеству компоненты, включая embeddings, lm_head, vision tower и MTP head, сохранены в bf16. Объём модели составляет около 30 ГБ; для запуска рекомендуется две видеокарты по 24 ГБ с tensor parallelism. Сильная сторона сборки — высокая скорость prefill: на двух RTX 3090 зафиксировано около 4408 токенов/с против 2276 токенов/с у INT4-сборки, при этом доступно speculative decoding через MTP. Скорость decode ниже, около 73 токенов/с, поскольку INT8 требует больше пропускной способности памяти. На GSM8K модель показала 96,8% на выборке из 250 задач; также проверены англо-китайская генерация и перевод, работа vision-пути и reasoning-параметров. MMLU-Pro не тестировалась. Модель распространяется по лицензии Apache-2.0 и предназначена для запуска через vLLM.

Qwen3.8-27B-KTopt-GGUF — квантизированная GGUF-сборка базовой модели Qwen/Qwen3.8-27B, опубликованная пользователем wiklif. Она предназначена для генерации текста, решения сложных вопросов, следования инструкциям, программирования и задач, требующих рассуждений, включая работу с длинным контекстом. Модель содержит около 27 млрд параметров, использует trellis-квантизацию типов KT и занимает примерно 10,31 ГБ, или около 3,06 бит на вес. Это текстовая модель без vision tower. На видеокарте с 16 ГБ памяти заявлена поддержка контекста от 160 тысяч до полного нативного объёма 262 тысячи токенов, а на 12 ГБ — примерно 64–96 тысяч токенов. В комплект входят опциональный EoRA-адаптер размером 32,4 МБ и drafter для speculative decoding. Сильная сторона модели — близкое к Q8_0 качество при значительно меньшем размере и пригодность для запуска на одной 16-ГБ видеокарте. На указанных тестах средний результат составил 86,7 против 87,5 у Q8_0; при ограничении вывода 64 тысяч токенов модель превзошла сопоставимую UD-IQ3_XXS на 2,8 процентного пункта. Для работы требуется специальная сборка lrozewicz/kt-llama-cpp с поддержкой KT-квантизации, VBR KV-кэша и DFlash2; модель не загружается в основной llama.cpp, LM Studio или Ollama. Лицензия — Apache-2.0.

vmarcelo/Qwen3.8-27B-MIX_GGUF — набор пользовательских смешанных GGUF-квантизаций модели Qwen/Qwen3.8-27B-FP8, подготовленный vmarcelo с использованием llama.cpp, importance matrix и переопределений типов квантизации для отдельных тензоров. Базовая модель представляет собой плотную мультимодальную модель на 27 млрд параметров с гибридной архитектурой GatedDeltaNet и Gated Attention, а также головой Multi-Token Prediction. Поддерживается работа с текстом и изображениями; заявлена многоязычность, включая английский, французский, немецкий и японский языки. Доступны две версии: IQ4-MIX размером 14,10 ГБ и IQ3-MIX размером 12,58 ГБ. IQ4-MIX ориентирована на более высокое качество, программирование, рассуждения и работу с изображениями, тогда как IQ3-MIX обеспечивает примерно на 14% большую скорость генерации, сниженное потребление памяти и больший запас для длинного контекста, но с небольшим снижением качества, особенно из-за более сильного квантования линейного внимания. На видеокарте AMD Radeon RX 9070 XT с 16 ГБ VRAM средняя скорость генерации составляет около 33 токенов в секунду для IQ4-MIX и 37,5 токена в секунду для IQ3-MIX. В зависимости от версии, конфигурации KV-кэша и среды выполнения доступны контексты от 16–64K до 64–128K токенов; измерения зависят от backend, размера пакета и других параметров. Модель предназначена для локального запуска через совместимые GGUF-рантаймы, включая LM Studio и llama.cpp с Vulkan. Для обработки изображений требуется отдельный файл vision encoder mmproj-F16.gguf. Лицензия указана как other с названием qwen-research; применимые условия следует уточнять по лицензии базовой модели Qwen/Qwen3.8-27B-FP8.

Davidmg0815/Qwen3.8-27B-MTP-GGUF — это GGUF-конверсия модели Qwen/Qwen3.8-27B, опубликованная Davidmg0815 и собранная из оригинальных BF16-весов. Репозиторий предназначен для запуска через llama.cpp и содержит отдельную MTP-модель для speculative decoding, благодаря чему Multi-Token Prediction можно использовать в llama-server. Модель рассчитана на текстовые и мультимодальные сценарии: диалог, рассуждения, генерацию и анализ текста, программирование, структурированный вывод, а также обработку изображений и видео при использовании отдельного vision/video-проектора. В метаданных указаны немецкий и английский языки. Доступны целевая модель в вариантах Q8_0 размером 27,3 ГБ и Q6_K размером 21,0 ГБ, отдельный MTP-draft размером около 3,0 ГБ и мультимодальный проектор F16 размером около 0,9 ГБ. Заявлен контекст до 262 144 токенов; в тестовой конфигурации использовался KV-cache q8_0. Сильная сторона сборки — эффективное speculative decoding: на трёх RTX 3080 по 20 ГБ MTP увеличивал скорость до 2,79 раза для рассуждений и примерно в 1,7 раза для обычного связного текста. В тестах указаны результаты 98,0% на MATH-500 и 88,4–90,2% на HumanEval+. При этом выигрыш от MTP сильно зависит от типа текста: для предсказуемых последовательностей он выше, а для творческого текста и кода ниже. Q8_0 ориентирован на максимальное сохранение качества, тогда как Q6_K быстрее и требует меньше памяти; различия в качестве между ними в приведённых тестах не обнаружены. Для работы MTP необходимы совместимые целевая и draft-модели и llama.cpp с соответствующими параметрами. Лицензия — Apache-2.0.

Qwen3.8-27B-NVFP4 — это квантизированная версия модели Qwen3.8-27B, разработанной командой Qwen. Квантизацию выполнила A2Genesis с использованием NVIDIA TensorRT Model Optimizer 0.45 и рецепта для семейства qwen3_5. Модель предназначена для генерации текста, рассуждений, программирования, работы с инструментами и сценариев image-text-to-text, включая обработку изображений при наличии соответствующей инфраструктуры. Модель использует смешанную точность: проекции MLP и lm_head представлены в NVFP4 с форматом W4A16, проекции внимания — в FP8, KV-кэш — в FP8, а vision tower, MTP head и отдельные свёрточные и gating-слои сохранены в BF16. Размер контрольной точки составляет около 21 ГБ вместо примерно 55 ГБ у BF16-версии. Доступен контекст до 262144 токенов при обслуживании через vLLM, а сохранение MTP-тензоров позволяет применять speculative decoding. Языки в README не указаны. Сильные стороны модели — существенно меньший размер, поддержка высокопроизводительного инференса на GPU Blackwell, совместимость с vLLM, инструментальными вызовами и сохранение мультимодальных компонентов. Ограничения связаны с потерями и возможными особенностями качества, характерными для посттренировочной квантизации; на видеокартах более ранних архитектур NVFP4 загружается через поддержку ModelOpt, но преимущества производительности могут быть ниже. Это общественная квантизация от A2Genesis, не связанная с официальной поддержкой Qwen или NVIDIA. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели Qwen3.8-27B.

NVIDIA Qwen3.8-27B NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3.8-27B, разработанной Alibaba, подготовленная с использованием NVIDIA Model Optimizer. Модель основана на архитектуре Transformer, содержит около 27 млрд параметров и предназначена для генерации текста и мультимодального понимания. Модель рассчитана на AI-агентов, чат-ботов, RAG-системы и другие приложения на базе искусственного интеллекта. Она принимает текст, изображения и видео, а выдаёт текст; заявленная длина контекста достигает 262 тысяч токенов. Квантизация использует смешанный формат NVFP4/FP8: NVFP4 применяется к MLP-слоям и языковой голове, а FP8 — к слоям self-attention и linear attention. Для запуска указаны vLLM и SGLang на GPU NVIDIA Blackwell, предпочтительно в Linux. К сильным сторонам относятся большой контекст, поддержка мультимодальных входных данных, оптимизация для ускоренного вывода на совместимом оборудовании NVIDIA и снижение требований к памяти благодаря квантизации. Ограничения включают зависимость от NVIDIA Blackwell и поддерживаемых сред выполнения, а также отсутствие раскрытых сведений о полном обучающем наборе данных, его размере и языковом составе. Перед промышленным использованием необходимы тестирование на прикладных данных и проверка безопасности. Модель распространяется по лицензии Apache 2.0 и заявлена для коммерческого и некоммерческого использования.

RadixArk/Qwen3.8-27B-NVFP4 — квантизированная производная модели Qwen3.8-27B, разработанной Qwen. Квантизация выполнена RadixArk с использованием NVIDIA Model Optimizer по смешанной схеме NVFP4 W4A4; RadixArk не обучала и не дообучала исходную модель. Модель предназначена для развертывания в системах AI-агентов, чат-ботах, RAG-системах и других приложениях искусственного интеллекта. Это плотная мультимодальная Transformer-модель с 27 млрд параметров. Она принимает текст, изображения и видео, а генерирует текст; заявленная нативная длина контекста — до 262 144 токенов. Для MLP-слоёв и lm_head используется динамическая NVFP4 W4A4-квантизация с размером группы 16, веса внимания представлены в FP8, а тензоры MTP и vision сохраняют исходную точность BF16. Модель ориентирована на запуск через SGLang в Linux на GPU NVIDIA Blackwell; данный checkpoint был создан и проверен на GB300. К преимуществам относятся готовая низкобитная конфигурация, поддержка мультимодального ввода, длинного контекста и сценариев работы с инструментами, а также заявленные результаты 97,27% на GSM8K и 73,81% на подмножестве Terminal-Bench 2.1. Эти оценки получены в текстовом режиме на конфигурации из четырёх GPU NVIDIA B300/GB300 и не гарантируют аналогичные результаты в других условиях. Модель может выдавать неточные, неполные, нерелевантные или нежелательные ответы, поэтому перед использованием необходимы проверка и защитные меры. Распространяется по Apache License 2.0; сведения о возможностях, обучении и ограничениях унаследованы от исходной модели Qwen3.8-27B.

RadixArk/Qwen3.8-27B-NVFP4-BF16-LMHead — мультимодальная плотная модель семейства Qwen3.8-27B, разработанная Qwen и подвергнутая квантованию RadixArk с помощью NVIDIA Model Optimizer. Это производный чекпойнт без дополнительного обучения или дообучения RadixArk: почти все тензоры используют смешанную NVFP4 W4A4-квантизацию, веса внимания — FP8, а lm_head, MTP и визуальные тензоры сохранены в исходной точности BF16. Размер модели — 27 млрд параметров. Модель предназначена для диалоговых систем, AI-агентов, чат-ботов, RAG-систем и других приложений с поддержкой текста, изображений и видео. Она принимает текст и визуальные данные, генерирует текст и поддерживает нативный контекст до 262 144 токенов. Для запуска заявлена интеграция с SGLang на Linux и совместимость с GPU NVIDIA Blackwell; чекпойнт проверен на GB300. В README приведены результаты на GSM8K — 96,13% — и Terminal-Bench 2.1 — 69,4% в одном из протоколов. Ключевое преимущество модели — предварительное квантование, рассчитанное на эффективное развертывание, при сохранении lm_head в BF16; заявленные результаты близки к результатам варианта с квантованным lm_head. Ограничения включают зависимость от совместимой инфраструктуры NVIDIA Blackwell и SGLang, а также типичные для базовой модели риски неточных, неполных, нерелевантных или предвзятых ответов. Лицензия — Apache License 2.0; возможности, обучение, ограничения и условия использования унаследованы от исходной модели Qwen3.8-27B.

Qwen3.8-27B-oQ8e-fp16-mtp — это 8-битная MLX-квантизированная версия модели Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем evsinlb. Модель предназначена для генерации текста, диалогов, рассуждений и агентских сценариев с вызовом инструментов. Она поддерживает режим thinking с сохранением цепочек рассуждений в многошаговом диалоге, а также визуальные компоненты, поэтому не является текстовой версией без vision-модулей. Архитектура основана на гибриде Gated DeltaNet и Gated Attention; заявлены нативная работа с изображениями и контекст до 262 144 токенов. Квантизация выполнена в формате MLX safetensors с эффективной точностью 8,6 bpw, размером группы 64 и калибровкой imatrix на 1024 образцах. Веса multi-token prediction сохранены, что обеспечивает поддержку MTP и Lightning MTP после квантизации. Неквантизированные параметры имеют тип float16; размер весов составляет около 27,5 GiB. Модель ориентирована прежде всего на Apple Silicon, при этом для M3 и M4 рекомендуется родственная версия с bf16 из соображений численной безопасности. Сильными сторонами являются большой контекст, сохранение reasoning-трасс, стабильный многошаговый tool use и возможность экспериментального ускорения обработки длинных промптов через ANE в oMLX 0.6.3. На M2 Ultra прирост prompt processing составлял до 35,7% на промптах длиной 4096 токенов и 19,5% на 65 536 токенах, однако требуется около 16 ГБ дополнительной оперативной памяти, а короткие промпты преимуществ не дают. Thinking увеличивает время работы примерно на 25–35%, а decode при включённом ANE существенно не ускоряется. Для использования необходимы совместимые MLX/oMLX-окружение и аппаратные ресурсы, достаточные для размещения модели и KV-кэша. Лицензия — Apache-2.0.

PollardWeights/Qwen3.8-27B-Pollard — это квантизированная версия модели Qwen/Qwen3.8-27B, подготовленная командой PollardWeights. Модель предназначена для диалоговых и текстовых задач, а также может работать с изображениями при использовании отдельного vision-проектора mmproj-Qwen3.8-27B-bf16.gguf. Она поставляется в формате GGUF и совместима с llama.cpp, ik_llama.cpp, Ollama, LM Studio и другими приложениями на их основе. Модель содержит около 27,8 млрд параметров и использует архитектуру qwen3_5. В репозитории доступны варианты IQ3_S, IQ4_XS и Q6_K размером примерно 12,08, 15,72 и 22,43 ГБ соответственно. Это варианты mixed-precision квантизации с измеренным распределением битов по слоям, учитывающим их чувствительность, поэтому они рассчитаны на разные ограничения по оперативной памяти или VRAM. Основной README указывает английский язык; размер контекста не указан. К сильным сторонам относятся существенное уменьшение размера по сравнению с версией f16 — с 55,56 до 12,08 ГБ для IQ3_S — и возможность локального запуска на более доступном оборудовании. К ограничениям относятся потенциальная потеря качества из-за квантизации, зависимость производительности от оборудования и необходимость отдельного, неквантизированного vision-проектора для работы с изображениями. Лицензия — Apache-2.0, унаследованная от базовой модели.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — квантованная GGUF-версия плотной языковой модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также работы с изображениями и видео; поддерживает текстово-визуальный ввод через отдельный vision-проектор. Заявлены языки English, Chinese и multilingual. Модель содержит 27 млрд параметров, 64 слоя, скрытый размер 5120, размер FFN 17408 и словарь на 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Сохранены встроенные механизмы MTP/NextN, а также добавлен профиль ускорения HauhauCS FastMTP 32K для speculative decoding. Нативный контекст составляет 262 144 токена, с заявленной возможностью расширения до 1 000 000 токенов. Доступны варианты квантования от Q8_K_P до IQ2_M размером примерно от 10,32 до 31,46 ГБ; для изображений и видео требуется отдельный BF16 vision-проектор размером 931 МБ. К сильным сторонам относятся большой контекст, мультимодальность, поддержка рассуждений и агентских задач, а также заявленное ускорение генерации FastMTP до 3,02 раза для документов и до 1,93 раза для рассуждений по сравнению с вариантами без MTP. Aggressive-профиль ориентирован на прямые ответы с минимальным вступлением и практически отсутствующим отказным поведением, поэтому может быть менее подходящим для критически важных длинных агентских сценариев, где предпочтительнее более сбалансированный профиль. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это квантизованная GGUF-версия мультимодальной модели Qwen3.8-27B, созданная HauhauCS на базе Qwen/Qwen3.8-27B. Релиз сохраняет исходные текстовые, reasoning, агентские, графические и видеовозможности, но использует профиль Aggressive uncensoring: модель ориентирована на прямые ответы, минимальное вступление и отсутствие отказного поведения. Доступны варианты с квантизацией Q2_K_P–Q8_K_P, IQ2_M–IQ4_XS и отдельный BF16 vision projector для обработки изображений и видео. Модель представляет собой плотную causal language model на 27 млрд параметров с 64 слоями, скрытым размером 5120, FFN-размером 17408 и словарём на 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Заявлен нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Поддерживаются английский, китайский и мультиязычные сценарии. Встроенный NextN/MTP сохранён, а FastMTP от HauhauCS предоставляет дополнительное ускорение спекулятивного декодирования; заявлен прирост скорости до 3,02 раза для документов и до 1,93 раза для reasoning по сравнению с режимом без MTP. Модель подходит для генерации и анализа текста, рассуждений, агентских задач, работы с изображениями и видео, а также для сценариев, где важны быстрые и максимально прямые ответы. К сильным сторонам относятся большой контекст, мультимодальность, широкий выбор квантизаций и ускорение FastMTP. Ограничение профиля Aggressive — повышенный риск менее осторожных или менее надёжных ответов в критически важных агентских сценариях; для них авторы рекомендуют Balanced-релиз, если он доступен. Модель распространяется по лицензии Apache-2.0.