I.5Создание и редактирование текста

Qwen3.8-27B-2bit-MLX — мультимодальная квантованная версия модели Qwen/Qwen3.8-27B, разработанная сообществом и преобразованная в формат MLX автором lukaskremla с использованием mlx-vlm 0.6.13. Модель предназначена для задач, объединяющих работу с текстом и изображениями, включая диалоговые сценарии, рассуждения, использование инструментов, анализ видео и обработку длинного контекста. Модель имеет архитектуру Qwen3.8-27B и размер 27B параметров; для весов применяется 2-битное weight-only-квантование с affine RTN и group size 64. Vision tower сохранён в формате BF16, поэтому модель поддерживает мультимодальные входы, включая изображения и видео. Заявлена поддержка нескольких языков, однако конкретный языковой перечень и размер контекстного окна в README не указаны. Квантование уменьшает требования к памяти, но может снижать точность по сравнению с исходной моделью; характеристики производительности и совместимости зависят от среды MLX. Модель распространяется по лицензии Apache-2.0.

AMAImedia выпустила эту модель в рамках платформы NOESIS для автоматизации многоязычного дубляжа. Это дообученная версия Qwen3.8-27B с плотной архитектурой Qwen3_5ForConditionalGeneration: мультимодальный чекпойнт BF16 в формате Safetensors принимает текст и изображения, поддерживает диалог и режим рассуждений, а также доступен в текстовых вариантах GGUF с квантизацией. В карточке указаны поддержка русского, английского, китайского, вьетнамского, японского и других языков; лицензия — Apache 2.0. Главное изменение модели — снижение числа отказов при ответах. Разработчик сообщает о внутренних проверках на 842 запросах и отдельной выборке из 126 запросов, а также о прохождении 23 из 24 проверок связности. Это внутренние автоматические оценки: основная выборка использовалась при настройке, а показатели не подтверждают точность фактов или сохранение исходных результатов по рассуждениям, программированию и зрению. Заявления о снижении отказов не гарантируют одинакового поведения для всех языков, настроек генерации и сред выполнения. Мультимодальный путь с изображениями заявлен для Safetensors; GGUF-варианты рассчитаны на генерацию текста и не включают обработку изображений без совместимого vision-проектора. Для BF16-весов требуется около 56 ГБ памяти, не считая накладных расходов среды выполнения и KV-кэша. Голова MTP отсутствует, поэтому спекулятивное декодирование с её использованием не поддерживается.

KridgeDookie/Qwen3.8-27B-ABLITERATED-UNCENSORED-PHILADELPHIA-CLASS — мультимодальная производная модель на базе Qwen/Qwen3.8-27B. Она сохраняет гибридную текстово-визуальную архитектуру исходной модели, имеет 27 млрд параметров и распространяется в формате BF16 Safetensors, а также в нескольких текстовых вариантах GGUF. Модель заявлена как многоязычная и предназначена для диалогов, генерации и анализа текста, программирования, работы с JSON, объяснений, математических задач и обработки изображений. Для запуска в Transformers рекомендуется около 56 ГБ памяти под веса без учёта служебных расходов и KV-кэша; в примере для Ollama указан контекст 32768 токенов, но это не подтверждает максимальный контекст модели. Основная особенность версии PHILADELPHIA CLASS — существенное снижение отказов от ответа. По внутренним автоматизированным проверкам авторов, модель не отказала в 842 основных и 126 отложенных запросах, а также прошла 23 из 24 проверок связности; эти результаты не являются независимым аудитом или публичными бенчмарками, причём часть тестовых запросов использовалась при настройке преобразования. Возможные ограничения включают отсутствие гарантии сохранения исходных показателей рассуждений, точности, программирования и компьютерного зрения, зависимость поведения от квантования и серверной части, а также отсутствие MTP-головы, из-за чего недоступно спекулятивное декодирование на её основе. Safetensors предназначен для проверенного мультимодального режима, тогда как GGUF-файлы являются текстовыми и требуют отдельного совместимого vision projector для работы с изображениями. Модель выпущена по лицензии Apache License 2.0.

Qwen3.8-27B-AEON-Ultimate-Uncensored-UD-GGUF — набор GGUF-квантизованных версий модели Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 от AEON-7. Модель предназначена для генерации текста, включая диалоги, работу с кодом, рассуждениями и агентскими сценариями с function calling. Указана поддержка английского и китайского языков, а также vision через компонент mmproj. Это гибридная архитектура GatedDeltaNet и attention: 48 из 64 слоёв используют рекуррентный SSM-механизм. В поставку входят варианты AWQ-UD и Baseline UD с квантизацией Q8_0, Q6_K, Q5_K_M и IQ4_XS; размеры файлов составляют примерно 25,9–34,7 ГБ. При квантизации рекуррентные тензоры SSM сохраняются в исходной точности, применяются матрица важности и чувствительные к тензорам настройки точности. Поддержаны MTP для speculative decoding и контекст калибровки до 32 768 токенов, однако максимальный контекст модели в README не указан. AWQ-UD рекомендуется как вариант с более низкой perplexity, тогда как Baseline UD ближе к распределению выходов F16 по KL-divergence. Модель рассчитана на запуск через llama.cpp; для максимальной производительности README также указывает SGLang с DFlash2. Ограничения включают зависимость качества и скорости от выбранного кванта и аппаратного обеспечения, а также отсутствие подробных данных о возможностях vision и точных требованиях к памяти. Лицензия — Apache-2.0.

Twu31/Qwen3.8-27B-AWQ-INT4-MTP-LowLatency — квантизированная сборка базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем Twu31. Модель предназначена для интерактивного диалога с низкой задержкой, включая чат-интерфейсы, голосовых агентов и embodied assistants, при отключённом рассуждении и работе через vLLM на одной GPU. Это гибридная модель с архитектурой GDN и attention, поддержкой текстово-визуального ввода и языками English и Chinese. Основные веса представлены в формате INT4 W4A16 с симметричной групповой квантизацией g128 и обслуживаются через compressed-tensors и Marlin; lm_head использует INT8, а vision tower и MTP draft head сохранены в BF16. Размер квантизированных весов составляет около 18,2 ГБ против 55,6 ГБ у BF16-версии. Указан максимальный контекст 12 288 токенов в рекомендуемой конфигурации. Сборка поддерживает speculative decoding через MTP и оптимизирована для prefix caching; заявлены TTFT менее 100 мс и задержка полного ответа менее 0,5 секунды в отдельных конфигурациях на RTX 6000 Ada или RTX 5090. Сильные стороны модели — низкая задержка, экономия видеопамяти, сохранённая MTP-голова и высокая эффективность prefix caching при длинном фиксированном системном промпте. Ограничения включают зависимость производительности от версии и настроек vLLM, GPU с архитектурой SM 8.0+, параметров prefix caching и длины ответа; MTP требует проверки фактического acceptance rate и может замедлять работу при низком принятии черновых токенов. Поддержка SGLang не проверялась. Модель распространяется по лицензии Apache-2.0.

shawnw3i/Qwen3.8-27B-AWQ-MTP — это квантованная AWQ-версия модели Qwen3.8-27B, опубликованная пользователем shawnw3i и основанная на базовой модели Qwen/Qwen3.8-27B. Модель предназначена для генерации текста с поддержкой визуальных входных данных, а также для ускоренного инференса в vLLM. Модель использует AWQ-квантизацию и поддерживает ядро AWQ Marlin, которое vLLM автоматически конвертирует во время работы. Также предусмотрено MTP speculative decoding с тремя спекулятивными токенами. В README заявлена производительность свыше 110 токенов в секунду на одном A800 80GB при использовании vLLM 0.27.1, MTP и FP8 KV cache. Рекомендуемая максимальная длина контекста — 65 536 токенов. Поддерживаются текстовые и визуальные входные данные; сведения о языках не указаны. К сильным сторонам относятся поддержка vision-сценариев, совместимость с AWQ Marlin и встроенное ускорение генерации посредством MTP. Ограничения включают зависимость от совместимой конфигурации vLLM и GPU, а также возможные потери точности из-за квантизации; для предотвращения деградации точности размер группы был уменьшен до 64. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Brainwaves-WFH — экспериментальная слитая модель от независимой лаборатории NightmediaAI. Она объединяет Qwen3.8-27B-Brainwaves, Wichtel-Qwen3.6-27B и Qwen3.8-27B-Fable-Distill-Heretic-ara; каталог также указывает merge с этими моделями. Это плотная мультимодальная архитектура семейства Qwen3.5 с 27 млрд параметров по названию репозитория, предназначенная для диалогов и следования инструкциям, включая работу с изображениями. Карточка приводит результаты тестов рассуждений и производительности для нескольких форматов точности, но не описывает конкретный протокол тестирования. Модель ориентирована на широкие сценарии генерации текста: рассуждения, математику, STEM, программирование и творческое письмо, в том числе создание сюжетов и ролевые диалоги. Метаданные указывают поддержку английского, китайского, японского и испанского языков. Для работы доступны веса Safetensors и библиотека Transformers. Карточка не сообщает размер контекста, а теги одновременно упоминают 256k и 1M, поэтому длину контекста нельзя определить надёжно. Лицензия — Apache-2.0.

Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-Fable-mxfp8-mlx — экспериментальная объединённая модель, разработанная NightmediaAI на основе Qwen3.8-27B-Cold-Fusion-GAIN-V1.1 от DavidAU и Qwen3.8-27B-Fable-Distill от armand0e. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, математических и STEM-задач, исследовательских сценариев, творческого письма, создания художественных историй и ролевого взаимодействия. Указана поддержка английского, китайского, японского и испанского языков. Модель содержит 27B параметров и представлена в формате mxfp8 для MLX; в карточке также упоминается вариант mxfp4. Заявлены контекстные окна до 256K и 1M токенов, однако подробности реализации не приведены. В качестве сильных сторон указаны улучшенные результаты по сравнению с базовой Qwen3.8-27B на приведённых тестах, а также высокая скорость генерации: около 180 токенов в секунду при mxfp8. Ограничения включают экспериментальный статус, отсутствие подробных инструкций по применению и неполные сведения о фактической поддержке мультимодального ввода, несмотря на тег image-text-to-text. Лицензия указана как Apache-2.0. Модель предназначена для исследовательского и общего использования, но заявленные характеристики и результаты следует проверять самостоятельно, поскольку они основаны на данных из карточки модели.

Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-KERN-GGUF — это набор смешанно-точных квантованных моделей в формате GGUF, подготовленный Andrew Paul на основе DavidAU/Qwen3.8-27B-Cold-Fusion-GAIN-V1.1 и базовой модели Qwen/Qwen3.8-27B. Модель предназначена для генерации текста и запуска через llama.cpp, в том числе локально на видеокартах с ограниченным объёмом памяти. Доступны четыре варианта: eqQ4_K_M размером 14,73 ГБ, eqQ3_K_M — 13,04 ГБ, eqQ3_K_S — 11,59 ГБ и eqIQ2_M — 9,58 ГБ. Заявленная сохранность возможностей относительно BF16 составляет примерно 95%, 91%, 81% и 76% соответственно. Конкретные языки и максимальный контекст модели в README не указаны; примеры запуска используют контекст 16 384 токена. Ключевая особенность — распределение разрядности тензоров, выбранное по результатам тестирования возможностей, чувствительности и отклонения логитов, а не только по KL-дивергенции. Все варианты поддерживают обычную генерацию и спекулятивное декодирование: встроенная MTP-голова позволяет использовать draft length 2 или 3, а совместимость с внешним DFlash 2 может повысить пропускную способность. Меньшие варианты удобнее для 16 ГБ видеокарт, тогда как eqQ4_K_M рассчитан преимущественно на 24 ГБ или unified memory. Ограничения включают зависимость заявленных оценок от закрытого внутреннего теста, непроверенную поддержку vision через mmproj и возможное накопление ошибок при KV-cache в режиме q4. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-NM-DAU-NEO-MAX-MTP-GGUF — квантованная GGUF-версия модели Qwen3.8-27B-Cold-Fusion-GAIN-V1.1, разработанная DavidAU при участии Nightmedia и TeichAI. Модель обучалась с использованием авторского метода COLD FUSION, объединяющего GAIN и инструменты Unsloth, а также датасетов Polar-STRICT-Datasets и Reasoning-STRICT-Datasets. Заявленные языки — английский и китайский; лицензия — Apache-2.0. Модель предназначена для широкого спектра сценариев: диалогов, следования инструкциям, решения задач, рассуждений, программирования, творческого письма, создания историй и ролевых взаимодействий. Она поддерживает работу с изображениями и текстом, а также три режима рассуждения — xhigh, medium и low. По заявлению разработчика, настройка направлена на сокращение объёма внутренних рассуждений и ускорение генерации при сохранении подробности ответов и качества решения задач. Поддержка MTP дополнительно ориентирована на повышение скорости вывода. Ключевые характеристики включают 27 миллиардов параметров, архитектурное семейство Qwen3.8 и форматы GGUF с различными уровнями квантования. Разработчик заявляет, что 4-битные и 8-битные варианты сохраняют около 99% производительности BF16, однако эти показатели требуют самостоятельной проверки на конкретных задачах. Ограничения включают возможные особенности и непредсказуемость изменённого поведения рассуждений, а также отсутствие в представленном README сведений о размере контекстного окна, точной архитектуре, системных требованиях и конкретных вариантах квантования.

andrew-paul/Qwen3.8-27B-GGUF — квантованная версия Qwen3.8-27B, опубликованная автором репозитория andrew-paul в формате GGUF. В README описан набор вариантов KERN с поканальной по тензорам квантованием и несколькими уровнями размера и качества; файлы включают веса Q3_K MTP. Приведены объёмы файлов и сравнительные метрики KLD и результата теста 28Q относительно BF16, которые служат скрининговыми показателями и не являются общей оценкой возможностей модели. Модель предназначена для генерации текста и диалогового использования. Для запуска README рекомендует сборку llama.cpp с поддержкой Qwen MTP и приводит пример конфигурации с контекстом 32 768 токенов. Варианты KERN уменьшают требования к хранению по сравнению с BF16, но имеют отличающиеся показатели сохранения качества; например, для eqQ3_S указан объём около 11,59 ГБ и средний KLD ниже 0,1. Базовая модель указана как Qwen/Qwen3.8-27B, лицензия — Apache-2.0. Метаданные описывают базовую модель как мультимодальную, однако README этого репозитория подтверждает только сценарий генерации текста.

KikoCis/Qwen3.8-27B-GGUF — набор квантованных моделей в формате GGUF на основе Qwen/Qwen3.8-27B, разработанной командой Qwen. Репозиторий предназначен для локального запуска текстовой генерации, включая агентские сценарии с многошаговым использованием инструментов, при ограниченных ресурсах. Доступны варианты квантования от 1,94 до 3,40 бит на вес и размером от 6,46 до 16,81 ГБ. Архитектура модели включает 65 блоков: 48 SSM/linear-attention, 16 полноценных attention-блоков и одну MTP-голову. Благодаря этому KV-кэш заявлен как относительно экономичный — около 64 КБ на токен против примерно 256 КБ у полностью attention-модели сопоставимого размера. Нативное контекстное окно заявлено как 262 144 токена, но в README его практическая работоспособность не подтверждена. Модель рассчитана только на текст: исходная базовая модель мультимодальна, однако в этом репозитории отсутствует mmproj, поэтому обработка изображений невозможна. Наиболее удачным вариантом для агентов авторы считают IQ2_M: в измеренном тесте он выполнил 79 из 80 задач, почти соответствуя Q3_K_M с результатом 40 из 40, при меньшем размере. IQ2_XS экономит немного места, но показал более низкий результат, а варианты IQ1 предназначены скорее для связного текста и не рекомендуются для инструментальных агентов. Сильная сторона архитектуры — экономия памяти на длинном контексте, ограничением является медленный prefill, особенно в многошаговых диалогах. Результаты зависят от backend и runtime: приведённые измерения выполнялись через Ollama и не должны напрямую переноситься на другие реализации. Распространяется по лицензии Apache-2.0.

Max73333/Qwen3.8-27B-GPTQ-Int4-V100 — это 4-битная GPTQ-квантизированная версия базовой модели Qwen/Qwen3.8-27B, подготовленная для текстовой генерации и запуска на видеокартах NVIDIA Tesla V100 с compute capability 7.0 (sm_70). Веса используют 4-битное представление, group size 128, симметричное квантование и параметры desc_act=false. Модель предназначена прежде всего для инференса через Transformers или совместимую сборку vLLM; мультимодальные возможности для этой версии не заявлены и не проверялись. Языки и точный размер контекста в README не указаны, однако конфигурация тестировалась с максимальной длиной контекста 4096 токенов. Архитектура текстового режима внутри vLLM связана с классами семейства Qwen3.5. Главное преимущество сборки — возможность практического запуска крупной модели на Volta, где некоторые AWQ и compressed-tensors ядра требуют более новой архитектуры GPU. На одной NVIDIA Tesla V100-SXM2 32 ГБ в протестированной конфигурации заявлена установившаяся скорость около 37–40 токенов в секунду после прогрева. При этом первый запуск контейнера и первый запрос могут занимать значительно больше времени, а производительность зависит от версий CUDA, PyTorch, Triton и vLLM. Для vLLM использовалась пропатченная сборка из исходников с поддержкой sm_70; совместимость со стандартными релизами не гарантируется. Более длинный контекст, конкурентная генерация и режимы 8192–32768 токенов требуют отдельной проверки из-за ограничений памяти KV-кэша. Лицензия модели — Apache-2.0.

shawnw3i/Qwen3.8-27B-GPTQ-INT8-MTP — квантизированная версия модели Qwen/Qwen3.8-27B, опубликованная пользователем shawnw3i. Модель предназначена для генерации текста и обработки изображений в сценариях, поддерживающих формат image-text-to-text, а также для ускоренного инференса через vLLM. Модель использует квантизацию GPTQ с точностью INT8, поддерживает ядро GPTQ Marlin и MTP speculative decoding с несколькими спекулятивными токенами. Заявлена поддержка визуальных входных данных и контекста до 65 536 токенов при соответствующей настройке. В README указана производительность свыше 80 токенов в секунду на одном A800 80GB при использовании vLLM, MTP и FP8 KV-кэша. Сильными сторонами модели являются сниженное потребление памяти благодаря квантизации, совместимость с оптимизированным инференсом vLLM, поддержка визуальных данных и ускоренное декодирование. Ограничения включают зависимость производительности от оборудования и конфигурации инференса, а также отсутствие в представленном README подробных сведений о поддерживаемых языках, точных характеристиках архитектуры и качестве на отдельных задачах. Модель распространяется по лицензии Apache-2.0.

mlasli/Qwen3.8-27B-Heretic-Abliterated-MLX-6bit — текстовая языковая модель, созданная mlasli на основе Qwen/Qwen3.8-27B. Это версия v2.1.0 с изменённым поведением отказов и ответов, преобразованная в формат MLX для запуска через mlx-lm на компьютерах с Apple Silicon. Модель предназначена для генерации текста, диалогов, ролевых сценариев и задач, где требуется более прямое следование запросу. Модель содержит около 27 млрд параметров и использует групповое 6-битное квантование с размером группы 64. Размер файлов составляет примерно 21,9 ГБ. Репозиторий поддерживает только текстовый ввод: при конвертации удалена vision tower, поэтому обработка изображений недоступна. Многоцелевое предсказание токенов MTP также не сохранено, из-за чего инференс выполняется одной основной головой и может быть медленнее сборок с поддержкой MTP. В карточке указаны английский язык и контекстная длина не приведена. Сильной стороной является уменьшенный объём по сравнению с BF16-версией при сохранении возможностей 27B-модели и удобная интеграция с MLX. По данным тестов, 6-битная версия немного уступает BF16 по прямоте ответов, а режим thinking может чаще приводить к уклончивым или пустым ответам; для заявленного поведения рекомендуется отключать thinking. Abliteration снижает или удаляет исходное safety-выравнивание, поэтому модель требует осторожного применения. Лицензия — Apache-2.0.

mlasli/Qwen3.8-27B-Heretic-Abliterated-MLX-8bit — текстовая 8-битная MLX-квантизация модели Qwen/Qwen3.8-27B, разработанная mlasli. Это версия v2.1.0 с изменённым выравниванием, ориентированная на более прямые ответы и сниженное количество отказов. Модель предназначена для генерации текста, диалогов, ролевых сценариев и других задач локального inference на устройствах Apple Silicon через mlx-lm. В карточке указан английский язык; сведения о размере контекста отсутствуют. Модель содержит около 27 млрд параметров, занимает примерно 28,6 ГБ и использует групповую 8-битную квантизацию с размером группы 64. Репозиторий содержит только языковую часть модели: vision tower удалён, поэтому обработка изображений не поддерживается. MTP-голова также не сохраняется, из-за чего inference выполняется одной головой и может быть медленнее сборок с поддержкой speculative decoding. Сильной стороной является близкое к исходной BF16-версии качество при существенно меньшем размере, а также высокая доля прямых ответов: в приведённом тесте thinking-OFF модель дала 90% прямых ответов на вредоносные запросы и 100% на безвредные. При включённом thinking поведение менее стабильно: возрастает доля уклончивых и пустых ответов. Abliteration удаляет защитное выравнивание, поэтому модель требует ответственного применения. Распространяется по лицензии Apache-2.0.

HaberstrohSystems/Qwen3.8-27B-int4-g128-sym-autoround — квантованная версия нативно мультимодальной модели Qwen3.8-27B, опубликованная HaberstrohSystems и предназначенная для запуска на одной видеокарте Intel Arc Pro B70 с 32 ГБ памяти. Модель поддерживает работу с текстом и изображениями, вызов инструментов и обслуживается через Transformers или vLLM с парсером qwen3_coder. Модель содержит 27 млрд параметров; языковая часть имеет 64 слоя, скрытое измерение 5120, 24 query-heads и 4 KV-heads. Заявленный нативный контекст составляет 262 144 токена, а в приведённой конфигурации обслуживания используется до 131 072 токенов. Языковая часть сжата до INT4 методом AutoRound в формате W4A16 с размером группы 128 и симметричной схемой; веса занимают около 17,69 GiB. Чувствительные компоненты языковой модели и vision tower сохранены в 16-битном виде, поэтому обработка изображений не подвергается квантованию. Указан английский язык. Сильными сторонами являются мультимодальность, большой контекст, поддержка рассуждений с уровнями xhigh, medium и low, вызов инструментов и возможность запуска на одной Intel Arc Pro B70. Ограничения включают заметную задержку при включённом рассуждении xhigh, ускоренный рост контекста из-за сохранения блоков рассуждений и существенное падение производительности при длинных контекстах и многопользовательской нагрузке. Лицензия — Apache 2.0.

RukaRat/Qwen3.8-27B-INT8-W8A8-imatrix-MTP — квантизированная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen и подготовленной пользователем RukaRat. Модель предназначена для генерации и анализа текста, работы с изображениями, вызова инструментов и запуска локальных inference-сервисов на видеокартах Ampere, включая конфигурации с двумя RTX 3090 по 24 ГБ. Указана интеграция с Transformers, SGLang и vLLM, а также поддержка tool calls в формате qwen3_coder и reasoning-парсера qwen3. Весовая часть представлена в формате compressed-tensors с квантизацией INT8 W8A8; общий размер составляет около 29,1 GiB, при этом часть параметров сохранена в BF16. Архитектура включает 64 слоя, из которых 48 используют Gated DeltaNet linear attention и 16 — full attention. Сохранены vision tower и MTP-модуль, благодаря чему поддерживаются мультимодальный ввод и speculative decoding. Нативное окно контекста заявлено до 262 144 токенов, а в описанной конфигурации на двух RTX 3090 протестирован контекст до 245 760 токенов. Языки модели в README не указаны. К сильным сторонам относятся сохранённая обработка изображений, MTP для ускорения декодирования, совместимость с видеокартами Ampere и сравнительно экономичное INT8-представление. Ограничения связаны с высокой потребностью в памяти: каждая параллельная последовательность требует значительный фиксированный recurrent state, поэтому число одновременных запросов приходится ограничивать. Производительность и доступный контекст зависят от настроек SGLang или vLLM, а сведения о работе vLLM отмечены как устаревшие. Модель распространяется по лицензии Apache-2.0.

dealignai/Qwen3.8-27B-JANG_6D-CRACK — квантованная версия модели Qwen/Qwen3.8-27B, разработанная dealignai для запуска на Apple Silicon через MLX. Это плотная гибридная vision-language модель с 27 млрд параметров и 64 слоями, сочетающая линейное внимание GatedDeltaNet с полным gated attention. Модель поддерживает текст, изображения и видео, работает на английском и китайском языках, умеет рассуждать, вызывать инструменты через XML-схему и использовать встроенную голову Multi-Token-Prediction для speculative decoding. Модель подвергнута CRACK-обработке — удалению поведения, связанного с отказами в ответах, на уровне весов. Поэтому она ориентирована на исследовательские и прикладные сценарии, где требуется максимальная готовность выполнять запросы в различных категориях, включая потенциально опасные. Рассуждение включено по умолчанию с уровнем xhigh; доступны уровни xhigh, medium и low, а также полное отключение рассуждений. Для данной JANG_6D-квантизации заявлен размер около 24 ГБ и примерно 6-битное affine-кодирование с imatrix. В тестах README указаны 89,12% на MMLU и 100% соответствия на HarmBench-240 по критерию выполнения запросов. Сильными сторонами являются сохранение мультимодальности, видеоанализа, рассуждений, вызова инструментов и многоязычности при существенно меньшем размере, чем у полной модели. Ограничения включают требование совместимого MLX-окружения и значительного объёма памяти, а также отсутствие защитных отказов, что повышает риск генерации небезопасного или вредоносного содержания. Максимальный размер контекста в README не указан. Модель распространяется под лицензией Apache-2.0.

TheWegemann/Qwen3.8-27B-LowGPU-NoMTP-IQ3XXXS-GGUF — это пользовательская GGUF-квантизация модели Qwen3.8-27B, разработанная TheWegemann совместно с авторами рецепта квантования. Модель предназначена для локального запуска через llama.cpp на видеокартах с 12 ГБ VRAM, включая сценарии работы с агентами, рассуждениями, текстом и изображениями. Модель основана на 27-миллиардной Qwen3.8-27B и занимает примерно 9,3 ГБ. Она использует гибридную архитектуру с блоками Gated DeltaNet и линейного внимания, периодическими блоками полного внимания и 64 слоями. Поддерживаются мультимодальные сценарии с совместимым F16 vision-проектором. В сборке удалена MTP-голова, чтобы уменьшить потребление видеопамяти. Рецепт IQ3XXXS является названием пользовательской схемы смешанного покомпонентного квантования, а не официальным типом квантования llama.cpp; применяются различные форматы, включая IQ1_S, IQ1_M, IQ2, IQ3, IQ4_XS, Q2_K, Q4_K, Q5_K и Q8_0. Тестирование проводилось с полным переносом на GPU, контекстом до 64 000 токенов, кэшем Q4_0, Flash Attention и сервером llama.cpp. Сильная сторона модели — сочетание относительно крупной базовой модели, мультимодальности и большого контекста с возможностью запуска на 12-ГБ GPU. Квантование агрессивно оптимизировано под ограниченный объём VRAM, а финальные слои и отдельные чувствительные тензоры сохранены с более высокой точностью. Ограничения связаны с потерями качества из-за низкой точности, отсутствием MTP и зависимостью фактического потребления памяти от версии llama.cpp, драйверов, настроек и использования видеопамяти. Сборка ориентирована прежде всего на GPU-only запуск; работа при меньшем объёме VRAM или с CPU offload возможна, но не является целевым сценарием. Модель распространяется по лицензии Apache-2.0.

Israeli-AI/Qwen3.8-27B-MTP-W4A16-VOLTA-Ampere — квантованная версия Qwen/Qwen3.8-27B, подготовленная командой Israeli-AI. Это текстогенерационная thinking-модель с поддержкой native MTP speculative decoding. Основной сценарий — запуск и обслуживание на GPU, включая Volta V100, где официальная FP8-версия не работает, а также на Ampere и более новых архитектурах. Заявлена поддержка английского языка; мультимодальные возможности сохранены, но на Volta проверялся только текстовый режим. Модель использует квантование INT4 W4A16 с симметричной схемой и group size 128 для значительной части self-attention и MLP-проекций. Размер BF16-варианта 51,7 ГБ сокращён до 25,8 ГБ, благодаря чему модель может работать на двух V100 по 32 ГБ с tensor parallelism и контекстом до 256K; в измерениях обслуживался контекст 131 072 токена. MTP-head, vision tower, embeddings, lm_head, нормы и компоненты Gated-DeltaNet сохранены в полной точности. На двух V100 заявлена скорость декодирования 43–68 токенов в секунду, обычно около 53,5, при трёх speculative-токенах. Сильные стороны модели — совместимость с устаревшими Volta GPU, уменьшенный объём памяти и сохранённая эффективность MTP-декодирования за счёт нетронутой MTP-head. Ограничения включают необходимость специальной Volta-совместимой сборки vLLM и настройки окружения, отсутствие проверки мультимодальной работы на Volta, а также неподтверждённую в README работу на Ampere и новее. Модель распространяется по лицензии Apache-2.0.

OsaurusAI/Qwen3.8-27B-MXFP8 — квантованная версия мультимодальной модели Qwen/Qwen3.8-27B, подготовленная Jinho Jang из Osaurus AI для Apple Silicon и MLX. Это плотная модель на 27 млрд параметров с гибридной архитектурой из 64 слоёв: 48 слоёв GatedDeltaNet и 16 слоёв gated full-attention. Она поддерживает работу с текстом, изображениями и видео, а также сохраняет нативную multi-token-prediction head. Модель предназначена для визуально-языковых задач, рассуждений, программирования, агентских сценариев и использования инструментов. Нативный контекст составляет 262 144 токена и может быть расширен до 1 млн. По умолчанию включён режим рассуждений с настраиваемым уровнем reasoning_effort от low до xhigh; предусмотрены отдельные параметры для обычного режима инструкций. Для запуска рекомендуется mlx-vlm, а для работы требуется Apple Silicon с не менее чем 32 ГБ объединённой памяти. Ключевое свойство этой версии — равномерное 8-битное квантование MXFP8 с размером группы 32 для 580 модулей без калибровки Hessian, AWQ и imatrix refit; 27 проекций vision-блоков оставлены в fp16. Размер на диске составляет около 26,4 ГиБ. На отложенных тестах относительно исходной bf16-модели зафиксированы медианный KL 0,0189, совпадение top-1 95,83% и скорость декодирования до 29,3 токена/с на M5 Max при оптимальной глубине спекуляции 2. При этом автор прямо указывает, что версия уступает калиброванным вариантам по качеству и служит структурным fallback-решением, а показатели ускорения зависят от типа запроса. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-NVFP4-RTX5090-LMHead4 — это производный вариант модели Qwen3.8-27B-NVFP4-RTX5090 от gittensor-model-hub, созданный с использованием инструментов NVIDIA ModelOpt. Модель предназначена для генерации текста, рассуждений, решения математических и академических задач, программирования, диалоговых сценариев и агентских приложений с вызовом инструментов. Вариант сохраняет исходные веса родительской модели, за исключением lm_head, который дополнительно квантизован в NVFP4 вместо BF16. Модель имеет размер 27B параметров и поддерживает контекст до 65 536 токенов. Указаны интеграции с Transformers, SGLang и vLLM, а также поддержка спекулятивного декодирования с черновой моделью DSpark. На одной RTX 5090 размер чекпойнта составляет 18,77 ГБ, а занимаемый весами объём VRAM — около 17,10 ГБ. По данным README, скорость декодирования достигает 88,45 токена/с без спекуляции и 181,7 токена/с при использовании DSpark. Квантизация lm_head не показала измеримого ухудшения качества на указанном небольшом наборе тестов, однако результаты нельзя считать доказательством улучшения и они зависят от конфигурации запуска. Ограничения модели связаны с узкой специализацией сборки под высокопроизводительные GPU RTX 5090 и необходимостью совместимой конфигурации инференса. Репозиторий помечен как устаревший: рекомендуется использовать более новый Qwen3.8-27B-NVFP4-RTX5090, в котором удалены NVFP4 lm_head и MTP head и заявлены меньший размер и два шарда. Модель распространяется по лицензии Apache 2.0.

Qwen3.8-27B-Opus-Distill-v2-FP8 — это квантизированная версия модели barozp/Qwen3.8-27B-Opus-Distill-v2, опубликованная пользователем или организацией barozp. Модель предназначена для задач рассуждения и мультимодального общения с текстом и изображениями; в карточке также заявлена поддержка MTP и speculative decoding. Она распространяется в формате, совместимом с Transformers, и основана на архитектуре Qwen3.8 с 27 млрд параметров, однако точные сведения о контекстном окне и поддерживаемых языках не указаны. В модели используется блочная FP8-квантизация E4M3 с блоками 128×128 и динамическим масштабированием активаций. Квантизируются главным образом веса, без калибровочного набора данных; vision tower, MTP head, нормализующие и gate-слои, embedding-слои и отдельные параметры Gated-DeltaNet сохраняются в исходной точности. Размер checkpoint составляет примерно 31 ГБ против около 55 ГБ у исходной BF16-версии. По представленным тестам, снижение качества на MMLU, HellaSwag и ARC-Challenge находится в пределах статистической погрешности. Сильные стороны модели — существенно меньший размер, поддержка native FP8 на совместимом оборудовании и близкое к BF16 качество на проверенных задачах. Ограничения связаны с требованиями к программному окружению и аппаратуре: для native FP8 в Transformers требуется специальный FP8 kernel, а некоторые сценарии MTP и sampling на Blackwell могут быть ограничены проблемами flashinfer. На A100 модель автоматически вычисляется через BF16 после де-квантизации. Лицензия — Apache-2.0.

Qwen3.8-27B-Pessoa-5090 (AR11) — квантованный вариант Qwen/Qwen3.8-27B, подготовленный автором lribeiro. Это vision-language model для обработки текста и изображений, включая сценарии image-text-to-text; языковая часть поддерживает multilingual-данные. Модель предназначена для запуска через vLLM на одной видеокарте NVIDIA RTX 5090 с архитектурой Blackwell SM120 и поддерживает speculative decoding с помощью MTP. Модель содержит 27,79 млрд параметров и использует архитектуру Qwen3_5ForConditionalGeneration: 27-слойный ViT-энкодер изображений и языковую модель из 64 слоёв, объединяющую 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания. Максимальный контекст составляет 262 144 токена, словарь — 248 320 токенов. Квантование выполнено методом AutoRound 0.14.2 в формате compressed-tensors: ранние MLP-слои используют INT4, поздние — INT5, а проекции внимания — INT6; активации, KV-cache, визуальный энкодер, эмбеддинги, lm_head и MTP-head сохраняются в BF16. Главное преимущество — уменьшение размера с 55,6 до 22,59 ГБ при сохранении качества: заявлены KLD 0,00397 наты и совпадение top-1 в 97,64% случаев на тесте из 278 392 позиций. Ограничения включают зависимость от совместимого стека vLLM, FlashInfer и оборудования Blackwell, а также потенциальные потери точности из-за квантования весов. Модель распространяется по лицензии Apache-2.0.

amd/Qwen3.8-27B-Quark-Qronos-INT4-W4A16 — это квантизированная версия базовой модели Qwen/Qwen3.8-27B, разработанная с использованием AMD Quark и алгоритма Qronos. Модель предназначена для задач генерации текста и, согласно метаданным, имеет pipeline image-text-to-text. Она рассчитана на запуск в совместимых inference-средах, включая vLLM с поддержкой схемы W4A16Int4. Модель использует INT4-квантизацию весов с group size 128, тогда как активации сохраняются в формате BF16. Квантизация выполнена методом посттренировочной оптимизации Qronos на основе Hessian, с калибровкой по 128 образцам длиной 512 токенов. Размер базовой модели — 27B параметров. Сведения о поддерживаемых языках и размере контекстного окна в README не указаны. По приведённым измерениям, качество близко к BF16-версии: на GSM8K получено 94,62% в thinking-режиме и 89,99% в non-thinking-режиме, perplexity Wikitext составила 8,6819, а точность BFCL для single_turn — 23,80%. Основное преимущество — снижение точности представления весов до INT4 при сохранении большей части качества базовой модели. Ограничения включают зависимость от Quark-совместимого runtime, необходимость поддержки W4A16Int4 и неполную сопоставимость отдельных бенчмарков с публичными рейтингами. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой Qwen/Qwen3.8-27B.

Qwen3.8-27B-ROCmFP4-STRIX-MTP-GGUF — квантизированная GGUF-версия базовой модели Qwen/Qwen3.8-27B, опубликованная пользователем kingjones777. Модель предназначена для генерации текста, рассуждений, работы с инструментами и мультимодальных сценариев с визуальным вводом, прежде всего на системах AMD Ryzen AI Max+ 395 со встроенной графикой Radeon 8060S (gfx1151, Strix Halo). README не указывает разработчика базовой модели отдельно от идентификатора Qwen/Qwen3.8-27B. Используется формат ROCmFP4 с тремя вариантами квантизации и размером файлов 13,33–13,75 GiB; эффективная точность составляет 4,25–4,39 бит на вес. В комплект включена MTP-голова для speculative decoding. Контекст проверен до 65 536 токенов. Для варианта STRIX заявлены скорость декодирования до 30,30 токена/с при настроенном MTP, perplexity 5,8877 на отложенной выборке wikitext-2, успешные тесты зрения 4/4 и tool calling 7/7, включая режим reasoning. Языки README не перечисляет. Сильные стороны модели — высокая скорость на поддерживаемом оборудовании AMD, небольшие требования к дисковому пространству, сопоставимая с Q4_K_M perplexity и опубликованная настройка глубины MTP. Ограничения включают зависимость от AMD Strix Halo и специализированной сборки llama.cpp с поддержкой ROCmFP4; стандартная сборка llama.cpp эти типы тензоров не принимает. Приведённые показатели относятся к конкретной конфигурации и могут не воспроизводиться на другом оборудовании. Модель распространяется по лицензии Apache-2.0.

wbydc/Qwen3.8-27B-TFCF-HU-CODER-GGUF — это GGUF-квантизированная мультиязычная fine-tune-модель на базе Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU от DavidAU. Репозиторий содержит обычные и MTP-квантизации, включая варианты с 4- и 8-битной точностью. В README указаны английский и китайский языки, а также лицензия Apache-2.0. Модель опубликована пользователем или организацией wbydc; обучение выполнялось с использованием Unsloth и многоэтапных методов Cold Fusion и Fable Fusion. Модель предназначена для широкого спектра сценариев: решения задач и рассуждений, программирования, творческого письма, создания художественных текстов, ролевых диалогов и других универсальных применений. Основной акцент сделан на подробных ответах, сокращении объёма внутренних рассуждений и повышении скорости генерации, в том числе в режиме MTP. README заявляет о заметном снижении числа thinking-токенов по сравнению с исходной версией Qwen3.8 и о высоких результатах на ARC-C и ARC-E, однако эти показатели приведены автором модели и не сопровождаются независимой методикой проверки. Ключевое ограничение — отсутствие в README точных сведений о длине контекста, поддерживаемых режимах мультимодальности и фактической архитектуре vision-компонентов, несмотря на тег image-text-to-text. Также заявлены uncensored-поведение и возможность генерации контента разных жанров, поэтому пригодность модели для чувствительных сценариев требует самостоятельной проверки. Для использования необходимо выбрать совместимый GGUF-квант и учитывать требования к памяти, зависящие от его разрядности.

blastbeng/Qwen3.8-27B-TURBO — открытая многоэтапно дообученная и объединённая версия модели Qwen3.8-27B, разработанная автором репозитория blastbeng на базе модели DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU. В README указано использование Unsloth, методов Cold Fusion и Fable Fusion, а также наборов данных DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Модель распространяется в вариантах GGUF, включая обычные и MTP-квантизации, с матрицами Neo-CODER MAX DI-MATRIX. Модель предназначена для широкого круга задач: рассуждений и решения задач, программирования, творческого письма, генерации художественных текстов и ролевых сценариев. Заявлены поддержка английского и китайского языков, текстово-изображенческий pipeline tag, а также три режима мышления. Основной размер модели — 27 млрд параметров; доступны как минимум 4-битные и 8-битные варианты. По утверждению автора, Turbo-версия сокращает объём рассуждений до примерно половины, а в отдельных случаях до одной десятой от объёма базовой версии, сохраняя детализацию и качество вывода. Сильными сторонами заявлены высокая скорость генерации, сниженное избыточное рассуждение, развитые способности к программированию, творческим задачам и вызову инструментов, а также производительность на потребительском оборудовании. В README приведены авторские результаты ARC-C до 735 в 8-битном режиме и свыше 718 в 4-битном, однако методика и независимое подтверждение этих показателей не описаны. Ограничения включают отсутствие сведений о размере контекста, точной поддержке изображений, системных требованиях и стабильности поведения; характеристики следует проверять отдельно для выбранной квантизации. Лицензия указана как Apache-2.0.

DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF — многоэтапная дообученная и объединённая версия модели Qwen3.8 с 27 млрд параметров, созданная DavidAU и его командой с использованием Unsloth, методов Cold Fusion и Fable Fusion. Модель распространяется в формате GGUF с обычными и MTP-квантами, включая варианты с точностью 4 и 8 бит. Модель предназначена для решения общих задач, рассуждений, программирования, творческого письма, сторителлинга и ролевых сценариев. По заявлению автора, её настройка направлена на сокращение объёма рассуждений и ускорение генерации при сохранении детализации и качества ответов. В метаданных указаны английский и китайский языки, а также тег image-text-to-text, однако конкретные возможности обработки изображений в README не описаны. Размер контекста и точная архитектура также не указаны. К сильным сторонам относятся заявленные улучшения решения задач, генерации кода и художественного текста, поддержка нескольких режимов рассуждений, снижение избыточного расхода токенов и варианты для запуска на потребительском оборудовании. Автор сообщает о превосходстве базовой Qwen3.8 27B в ряде внутренних или указанных в README тестов, но независимая проверка этих утверждений не приведена. Ограничения включают возможные потери качества при использовании низкобитных квантов, а также отсутствие подробных сведений о контекстном окне, требованиях к ресурсам и фактической мультимодальной поддержке. Лицензия — Apache-2.0.