I.5Создание и редактирование текста

Это конверсия в формат MLX модели DavidAU/Qwen3.6-40B-Fable-Fusion-6-Core-Deckard-Eleanor-Heretic-Uncensored, выполненная с помощью mlx-vlm 0.6.10. Модель основана на плотной мультимодальной архитектуре Qwen3.5 с 40 млрд параметров и принимает текст и изображения, формируя текстовые ответы. Она предназначена для диалогов, рассуждений, программирования и творческого письма; в метаданных также заявлены режимы работы с изображениями. Модель поддерживает английский и китайский языки. Репозиторий содержит веса safetensors в формате MLX и распространяется по лицензии Apache-2.0. Подробности обучения и дополнительные ограничения в карточке этой конверсии не описаны; за характеристиками исходной модели следует обращаться к её карточке.

Qwen3.6-40B-Fable-Fusion-6-Core-Deckard-Eleanor-Heretic-Uncensored-W4A16-AutoRound — это 40-миллиардная языковая модель для генерации текста, кода, рассуждений и творческих ответов. Она основана на модели DavidAU Qwen3.6-40B-Fable-Fusion-6-Core-Deckard-Eleanor-Heretic-Uncensored и квантизирована с помощью Intel AutoRound. Заявлены языки английский, китайский, русский, украинский, греческий и иврит; модель поддерживает текстовую генерацию и визуальную башню, однако подробности мультимодального применения в README не описаны. Используется схема W4A16: 4-битные веса и 16-битные активации, размер группы 64, симметричная квантизация. Размер модели составляет около 38 ГБ против примерно 80 ГБ в BF16. Архитектура гибридная: 72 слоя линейного внимания Gated DeltaNet с Mamba SSM и 24 слоя полного внимания; сохранены MTP-компоненты для многотокенного предсказания и speculative decoding. Для запуска рекомендуются vLLM или SGLang, при этом в примерах указан контекст до 32768 токенов. Для квантизации использовалась длина последовательности 2048. По данным README, модель ориентирована на программирование, математические и логические задачи, рассуждения, длинные ответы и творческое письмо, включая русскоязычные тексты. Заявлены скорость около 35–47 токенов в секунду, рабочий MTP=3 в vLLM и возможность запуска на нескольких GPU, например двух ускорителях по 24 ГБ. Ограничения включают высокие требования к памяти, необходимость много-GPU конфигурации для комфортной работы, зависимость производительности от контекста и принятия MTP-токенов, а также обязательный batch size 1 при квантизации из-за особенностей гибридного внимания. Для SGLang MTP не работает при pipeline parallelism с PP=3. Лицензия модели наследуется от базовой модели; для AutoRound в README указана Apache-2.0. Отдельная лицензия базовой модели явно не приведена, поэтому условия коммерческого и иного использования следует уточнять в её репозитории.

parmanu-lcs2 выпустил разреженную версию Qwen3-8B, сжатую методом SNIPER: после pruning в модели осталось около 6,2 млрд параметров. После сжатия веса дообучили на 2 000 примерах SlimOrca с помощью LoRA и объединили адаптер с весами модели. В метаданных указаны архитектура Qwen3, библиотека Transformers, формат safetensors и контекст до 40 960 токенов. Модель предназначена для диалоговой генерации текста и выполнения инструкций. Её можно применять в чат-ботах и для ответов на текстовые запросы; базовая Qwen3-8B также поддерживает рассуждения, работу с кодом и вызов инструментов, но README этой модели отдельно не подтверждает сохранение этих возможностей после сжатия и дообучения. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3.8-2.4T-A95B-NVFP4 — квантизированная текстовая causal language model на базе Qwen/Qwen3.8-2.4T-A95B, разработанная RedHatAI. Модель принимает текст и генерирует текст; архитектура указана как Qwen3_5MoeForCausalLM с Mixture-of-Experts. Конкретные поддерживаемые языки и размер контекста в README не указаны. В модели веса и активации линейных операторов MoE-экспертов квантизированы в формат FP4 (NVFP4), тогда как attention и неквантизированные слои сохраняют исходную точность. Для квантизации использован LLM Compressor, а модель экспортирована в формате compressed-tensors и подготовлена для инференса через vLLM. Для развертывания в README приведена конфигурация с tensor parallelism и expert parallelism на 8 устройств. Ключевое преимущество — сокращение числа бит на параметр в квантизированных MoE-слоях с 16 до 4, что уменьшает их дисковый размер и требования к памяти GPU примерно на 75%. По заявленным оценкам, качество практически полностью сохраняется относительно неквантизированной версии: на GPQA Diamond получено 92,9 против 92,6, а на DeepSWE (v1.1) — 56,6 против 56,6. Ограничения включают зависимость от совместимой инфраструктуры vLLM и аппаратной поддержки NVFP4; лицензия в README не указана.

Qwen3.8-27B-3bit-MLX — мультимодальная vision-language модель, разработанная на основе Qwen/Qwen3.8-27B и конвертированная пользователем lukaskremla в формат MLX с помощью mlx-vlm 0.6.13. Модель предназначена для диалоговых сценариев, обработки текста и изображений, а также задач, связанных с видео, рассуждениями и использованием инструментов. Она поддерживает мультиязычную работу и длинный контекст, однако точный размер контекста и перечень языков в представленном README не указаны. Модель использует 3-битное квантование весов с group size 64, affine- и RTN-квантованием, при этом vision tower сохранён в формате BF16. Такой формат ориентирован на запуск в экосистеме MLX и снижает требования к памяти по сравнению с полноразмерной версией, но квантование может ограничивать точность относительно исходной модели. README также предупреждает, что Hugging Face может некорректно отображать число параметров MLX-квантизаций. Модель распространяется по лицензии Apache-2.0.

leonsarmiento/Qwen3.8-27B-3bit-mtp-mlx — это 3-битная MLX-квантизация мультимодальной модели Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для задач text-to-text и image-text-to-text, включая диалоговую работу с текстом и изображениями, генерацию кода и другие сценарии локального запуска на устройствах Apple через совместимые MLX-инструменты. В основу входит dense hybrid-attention VLM с 64 слоями: 48 слоями linear attention и 16 слоями full attention, контекстом до 262K токенов и сохранённой vision tower. Поддерживаемые языки в README не указаны. Основная часть слоёв использует 3-битное affine-квантование с group_size=64; embedding layers и lm_head имеют 4-битное квантование, а vision tower — 8-битное. Размер модели составляет около 13,04 ГБ в трёх шардах. Отличительная особенность — встроенный Multi-Token Prediction (MTP) слой, позволяющий включать спекулятивное декодирование без отдельной модели-черновика. В oMLX с включённым MTP заявлено ускорение генерации примерно на 30,7% в однопоточном режиме и до 90,9 токена в секунду при пакетной генерации 4×, однако требуется около 15,69 ГБ пиковой памяти. Сильными сторонами являются мультимодальность, большой контекст, относительно небольшой размер для класса 27B и высокая скорость декодирования при использовании oMLX. Ограничения включают повышенное потребление памяти при активном MTP, отсутствие поддержки ускорения MTP в LM Studio и снижение качества на задачах, требующих интенсивного рассуждения: для таких сценариев рекомендуется отключать MTP. Лицензия — Apache-2.0.

DreamFoundries/Qwen3.8-27B-6bit — это MLX-конверсия базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для генерации текста и запуска локальных inference-сценариев в экосистеме MLX, прежде всего на совместимом оборудовании Apple. Она может использоваться для диалоговых приложений, написания и преобразования текста, а также других задач text generation, поддерживаемых исходной моделью. Модель содержит 27B параметров и использует аффинное 6-битное квантование весов с размером группы 64, выполненное с помощью mlx-lm 0.31.3. Эффективная разрядность составляет около 6,501 бита на вес, а файлы весов в формате safetensors занимают примерно 20 ГБ. В README не указаны поддерживаемые языки, размер контекста и дополнительные модальности. Ключевое преимущество модели — существенное уменьшение требований к памяти по сравнению с полноразмерной версией при сохранении совместимости с MLX. При этом сравнительные показатели качества и производительности для данной конверсии отсутствуют, поэтому её фактические характеристики требуют самостоятельной проверки. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-abliterated-AWQ-MTP — квантизированная модель, опубликованная пользователем twolven на базе JonathanColetti/Qwen3.8-27B-Uncensored и исходной Qwen3.8-27B от Qwen. Модель использует AWQ-квантизацию W4A16 с размером группы 128, сохраняя модуль MTP для speculative decoding. Лицензия — Apache-2.0. Модель предназначена для генерации и понимания текста, диалоговых приложений, tool calling и обработки изображений с текстовыми запросами. Это vision-language model с гибридной архитектурой: 64 слоя, включая 48 слоёв linear attention на базе Qwen3_5GatedDeltaNet и 16 полноценных attention-слоёв. Зрительная башня содержит 27 слоёв и оставлена в формате bfloat16. Заявленный контекст — 262 144 токена; модуль MTP содержит один скрытый слой и также не квантизирован. Ключевые преимущества — заметно меньшее потребление памяти по сравнению с FP8-версией, поддержка изображений без дополнительного ухудшения со стороны квантизации vision tower и ускорение генерации при корректно работающем MTP. На конфигурации с двумя RTX 3090 автор получил медианную скорость около 84 токенов в секунду и подтвердил работу извлечения данных из длинного контекста, tool calling и распознавания содержимого изображений. Точность относительно исходной bfloat16-модели отдельно не оценивалась, поэтому степень потери качества из-за W4A16 неизвестна. Модель имеет ограничения: MTP требует правильной настройки и при некорректной загрузке может снизить производительность; абсолютные показатели скорости зависят от характера запросов. Не рекомендуется использовать greedy decoding с temperature 0, поскольку возможны зацикливание и повторение предложений. Следует применять repetition_penalty около 1.05 и ненулевую temperature. Термин «abliterated» означает удаление исходных механизмов отказа, поэтому поведение модели в отношении безопасных ограничений может отличаться от оригинальной Qwen3.8-27B.

Fmuaddib/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16-mlx-8Bit — языковая модель для генерации текста, преобразованная в формат MLX из AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 с использованием mlx-lm 0.31.2. Модель относится к семейству Qwen3.8 и имеет 27 млрд параметров; в метаданных указана поддержка английского, китайского и других языков. Модель предназначена для диалоговых и инструкционных сценариев, программирования, рассуждений, а также заявленных в метаданных задач function calling и tool calling. Для запуска используется библиотека mlx-lm, предусмотрена работа с chat template. В метаданных также отмечены vision и multimodal, однако README не содержит подробностей о поддерживаемых форматах входных данных и возможностях обработки изображений. Ключевая особенность этой версии — представление в MLX с 8-битным квантованием, что ориентировано на запуск в экосистеме Apple Silicon и может снизить требования к памяти по сравнению с полноразмерной версией. При этом README не приводит результаты тестов, сведения о размере контекста, точной архитектуре, аппаратных требованиях или сравнительных оценках качества. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B antislop, semantic-diversity GRPO — плотная текстовая чат-модель на 27 млрд параметров, созданная сообществом rawmodels на базе Qwen/Qwen3.8-27B. Веса последовательно дообучались с помощью дистилляции и GRPO: модель настраивали на более естественный и читаемый текст, разнообразие ответов на один и тот же запрос и выполнение запросов. Основная задача в метаданных — генерация текста; карточка сообщает о поддержке английского и русского языков. Модель предназначена для диалогов и создания связных ответов, в том числе в сценариях, где важны читаемость и различие формулировок. В эксперименте на 24 вопросах ELI5 авторы сообщают о повышении семантического разнообразия и показателя Flesch reading ease, а также о сокращении максимальной длины предложения; размер выборки невелик, поэтому эти результаты не гарантируют аналогичного эффекта в других задачах. Используется библиотека Transformers, формат весов — safetensors. Модель почти не имеет защитного поведения: по данным карточки, она выполняет около 90% вредоносных запросов из AdvBench. Не следует использовать её там, где необходим отказ от небезопасных инструкций. Лицензия в предоставленных данных не указана.

Qwen3.8-27B Bonsai-MLX 2-bit — это 27-миллиардная плотная языковая модель, подготовленная HermitDave на основе Ternary-Bonsai-2 от Prism ML. Веса представлены в виде 2-битной аффинной квантизации с преобразованием Hadamard, заранее свёрнутым в веса; благодаря этому модель совместима со стандартными mlx-lm и oMLX и не требует пользовательских ядер или специальной версии среды выполнения. Модель предназначена для локальной генерации текста, диалогов и сценариев с вызовом инструментов. В README указана оценка качества около 90–93% от FP16-версии, однако она не подтверждена стандартными тестами; качественная проверка описана как предварительная. Файл модели занимает около 9,4 ГБ. Унаследованные ограничения базовой модели также сохраняются. Лицензия — Apache-2.0.

Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-NM-DAU-NEO-MAX-MTP-GGUF-etheroi — это квантизированная GGUF-версия модели на базе DavidAU/Qwen3.8-27B-Cold-Fusion-GAIN-V1.1. Модель создана с применением метода COLD FUSION, объединяющего GAIN и инструменты Unsloth. В разработке и тестировании участвовали автор настройки, Nightmedia и TeichAI; репозиторий опубликован пользователем developerjeremylive. Заявлены поддержка английского и китайского языков, а также мультимодальность с обработкой изображений. Модель предназначена для широкого круга сценариев: следования инструкциям, решения задач, рассуждений, программирования, творческого письма, создания историй, ролевого взаимодействия и работы с различными жанрами. Она поддерживает три режима рассуждений — xhigh, medium и low — и ориентирована на сокращение объёма внутренних рассуждений без существенного снижения детализации ответа. Заявлены улучшенные интеллект, способность к решению задач, следование инструкциям и скорость генерации, включая режим MTP (multi-token prediction). Точные сведения о размере контекста и конфигурации архитектуры в README не указаны; из названия и описания следует, что это модель класса 27B с GGUF-квантизацией и MTP-тензорами. Используются NEO IMATRIX-квантизации, заявляющие повышение точности и качества работы в длинном контексте, а выходной тензор сохранён в 16-битной точности. Для MTP рекомендуется температура не выше 1 и отключённый repetition penalty. Ключевое ограничение — существенная модификация механизма рассуждений, поэтому модель необходимо отдельно тестировать под конкретный сценарий. Лицензия Apache-2.0.

Qwen3.8-27B-EfficientThink-Uncensored-K3-Opus5-Grok4.6-GPT5.6Sol-SFT-SimPO-DFlash2 — плотная языковая модель с 27 млрд параметров, опубликованная пользователем nerkyor. Модель предназначена для генерации текста, рассуждений, программирования, агентских и диалоговых сценариев. В README заявлена поддержка английского и китайского языков. Обучение и доработка включают SFT и SimPO; для ускорения вывода предусмотрена совместимость с DFlash2, speculative decoding, llama.cpp, SGLang и vLLM. Доступны варианты GGUF с уровнями квантования от Q2-LynnStyle до Q8_0, включая смешанную точность GSQ-RCO и численное уточнение IQ для Q2-LynnStyle, а также True-QAT INT8 W8A8 с динамическими INT8-активациями. В приведённых измерениях результаты зависят от варианта: на GPQA показатели составляют 82,83–86,87%, на MMLU — 83,20–89,40%, на LiveCodeBench — 74–78%. Это указывает на пригодность модели для общих знаний, рассуждений и кода, но качество зависит от выбранной точности и конфигурации запуска. README не указывает размер контекстного окна, мультимодальные возможности, точные требования к оборудованию или детальные ограничения поведения. Название содержит слово «Uncensored», однако формальные характеристики безопасности не приведены. Модель распространяется по лицензии Apache-2.0.

TeichAI/Qwen3.8-27B-Fable-Distill-GGUF — это набор квантованных версий мультимодальной модели Qwen3.8-27B-Fable-Distill, разработанной TeichAI на базе Qwen3.8-27B. Модель дообучалась с использованием Unsloth и библиотеки Hugging Face TRL на открытых чатах и агентских трассах Fable 5, а также на существенно большем закрытом наборе персональных данных Fable 5. GGUF-конверсии выполнены с помощью llama.cpp. Модель предназначена для генерации текста, диалогов, агентских сценариев и анализа изображений с выдачей текстового ответа. Поддерживается английский язык. Архитектура включает 65 блоков: 64 трансформерных слоя и один слой multi-token prediction (MTP); MTP-head во всех вариантах сохраняется в формате BF16. Для работы с изображениями требуется отдельный vision projector mmproj в форматах F32, BF16 или F16; без него модель работает только с текстом. Доступны варианты квантования от 2 до 16 бит, размер файлов составляет примерно от 11 до 55 ГБ. Для большинства пользователей рекомендуется Q4_K_M размером около 17 ГБ. К сильным сторонам относятся мультимодальность, поддержка режима рассуждений с параметрами reasoning_effort и несколько вариантов квантования для разного баланса качества и требований к памяти. В README приведены улучшенные результаты относительно базовой Qwen3.8-27B на ARC Challenge, ARC Challenge (Easy) и BoolQ. Ограничения включают высокие требования к ресурсам, зависимость визуального режима от отдельного projector-файла и заметную потерю качества у низкобитных вариантов, особенно Q2_K. Модель распространяется по лицензии Apache-2.0.

bartowski/Qwen3.8-27B-GGUF — набор GGUF-квантизаций модели Qwen3.8-27B, разработанной Qwen и сконвертированной bartowski с использованием llama.cpp. Модель содержит около 28 млрд параметров и предназначена для локального запуска через совместимые инструменты, включая llama.cpp. Модель поддерживает текстовый и, при наличии отдельного файла mmproj, графический ввод, поэтому может использоваться для текстовых и мультимодальных сценариев. Также заявлена поддержка speculative decoding через MTP. В репозитории представлены варианты квантизации от Q2 до Q8 с размерами файлов примерно от 10 до 29 ГБ; рекомендуемым универсальным вариантом назван Q4_K_M размером 17,44 ГБ, а варианты Q6_K_L, Q6_K и Q6_K_S обеспечивают более высокое качество при большем потреблении памяти. Сильная сторона набора — широкий выбор компромиссов между размером, скоростью и сохранением качества; для вариантов приведены показатели perplexity, Mean KLD и совпадения распределения top-p. Более сильная квантизация требует больше оперативной или видеопамяти, а компактные варианты могут заметнее терять качество. Языки, размер контекстного окна, точные возможности мультимодального ввода и лицензия в представленном README не указаны.

DhruvalLabs/Qwen3.8-27B-GGUF — это набор квантованных версий мультимодальной Vision-Language Model Qwen3.8-27B, разработанной Qwen и подготовленной DhruvalLabs. Модель предназначена для диалогов, генерации и понимания текста, а также анализа изображений с текстовыми запросами. Она поддерживает английский язык и может запускаться через llama.cpp, LM Studio, Jan и Ollama. Архитектура состоит из двух компонентов: квантованной текстовой основы GGUF размером 27B параметров и отдельного vision encoder в файле mmproj, который всегда поставляется в формате F16. Для работы с изображениями необходимы оба файла. Доступны варианты квантования от Q4_K_M до Q8_0: Q4_K_M рекомендован как баланс качества и требований к памяти, а Q8_0 обеспечивает наиболее близкое к исходной модели качество, но требует около 28,6 ГБ RAM; для Q4_K_M требуется около 17,2 ГБ RAM. Указанный пример использования задаёт контекст 4096 токенов, однако общий максимальный контекст модели в README не указан. Сильной стороной модели является сочетание языковых возможностей и анализа изображений при существенно меньших требованиях к памяти по сравнению с полной версией, а также совместимость с популярными локальными инструментами запуска. Ограничения связаны с необходимостью скачивать и хранить два файла, компромиссами качества и размера при квантовании и отсутствием опубликованных результатов бенчмарков в README. Лицензия — Apache-2.0.

btbtyler09/Qwen3.8-27B-GPTQ-4bit — это квантизированный вариант Qwen/Qwen3.8-27B, разработанный сообществом Qwen и подготовленный пользователем btbtyler09. Модель представляет собой плотную мультимодальную модель примерно на 27 млрд параметров с поддержкой текста и изображений, предназначенную для генерации и понимания текста, анализа изображений, обслуживания через vLLM и ускоренного декодирования с помощью модуля MTP. Архитектура включает 64 слоя: 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания, скрытое представление размером 5120 и промежуточный размер 17408. Максимальная длина контекста составляет 262 144 токена. В состав входят 27-блочный визуальный ViT-энкодер и однослойная голова Multi-Token Prediction. Текстовый декодер квантизирован в INT4 методом GPTQ с компенсацией ошибок FOEM и размером группы 32, а визуальный энкодер, MTP, эмбеддинги, нормы и LM head сохранены в BF16 или FP16. Итоговый размер — около 21 ГБ вместо примерно 56 ГБ у исходной BF16-модели. Основное преимущество — существенно меньшие требования к памяти при сохранении близкого к исходной модели качества: на wikitext-2-raw-v1 ухудшение perplexity составляет 0,81%. Модель поддерживает мультимодальные запросы и совместима с ядрами GPTQ в vLLM, однако для полноценного запуска требуется значительный объём видеопамяти и подходящая конфигурация GPU. Квантизация может снижать качество на отдельных задачах, а в некоторых версиях vLLM возможна ошибка разбора конфигурации, требующая исправления. Лицензия — Apache 2.0; поддерживаемые языки README не указывает.

ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF — набор неравномерно квантованных версий базовой модели Qwen3.8-27B, разработанный лабораторией Deep Algorithms and Systems Lab (DASLab) при Institute of Science and Technology Austria. Модель предназначена для локального запуска текстовых и мультимодальных сценариев с обработкой изображений, включая генерацию текста, рассуждения и задачи, поддерживаемые базовой моделью Qwen3.8-27B. Формат GGUF обеспечивает совместимость с llama.cpp, Ollama и LM Studio. В набор входят варианты размером от 8,4 до 11,8 ГБ со средней разрядностью от 2,50 до 3,50 бит на вес. Квантование использует GSQ для оптимизации скалярных квантованных представлений и RCO для назначения разных типов квантования отдельным тензорам с соблюдением общего ограничения размера. Для мультимодальной работы используется отдельный vision-проектор mmproj в формате BF16 размером около 0,9 ГБ. Опциональные сборки с суффиксом -mtp содержат Multi-Token Prediction head для speculative decoding в llama.cpp и примерно на 0,35 ГБ больше. Рекомендуемым вариантом указан IQ3_S: по заявленным результатам он совпадает с базовой моделью на AIME25 и LiveCodeBench v6 и находится в пределах 0,51 балла от неё на GPQA-Diamond, занимая немногим более пятой части размера BF16-версии. Более компактные варианты уменьшают требования к хранилищу, но могут сильнее ограничивать качество. Языки и размер контекстного окна в README не указаны. Модель распространяется по лицензии Apache-2.0.

lued/Qwen3.8-27B-heretic-ara-INT8-W8A16-MTP — квантизированная версия модели heretic-org/Qwen3.8-27B-heretic-ara, основанной на Qwen3.8-27B от Qwen. Репозиторий lued содержит численную W8A16-квантизацию; исходная модель была изменена проектом Heretic с применением abliteration для устранения встроенного профиля отказов. Модель предназначена для диалоговых и мультимодальных задач, включая работу с изображениями, рассуждения и генерацию текста, и оптимизирована для запуска через vLLM на видеокартах архитектуры Ampere, в частности на конфигурации из двух RTX 3090. Модель имеет 27 млрд параметров, сохраняет vision tower, управление режимом рассуждений и нативный контекст до 262 144 токенов. Веса представлены в INT8 с форматом W8A16, активации поддерживают FP16 или BF16, а голова MTP сохранена в исходном BF16 для speculative decoding. Используется симметричная data-free RTN-квантизация с размером группы 128 и форматом compressed-tensors; проверенный профиль vLLM включает tensor parallelism на двух GPU, FP8 E4M3 KV-кэш и три draft-токена MTP. Расширение контекста до 1 млн токенов с YaRN относится к исходной модели и требует отдельной настройки и достаточного объёма KV-кэша. Сильными сторонами являются уменьшенный объём памяти, совместимость с Ampere без нативного FP8 tensor-core исполнения, сохранение мультимодальности и длинного контекста, а также устранение отказов на указанном наборе из 100 вредоносных запросов исходной abliteration-моделью. Ограничением является намеренное изменение поведения: abliteration привела к заметному сдвигу распределения, а отсутствие отказов не означает гарантии безопасного использования. Производительность и поведение могут зависеть от конфигурации vLLM и доступной памяти. Модель распространяется по лицензии Apache 2.0.

lyf/Qwen3.8-27B-Heretic-ARA-NVFP4-MTP-VL — мультимодальная версия модели Qwen3.8-27B-Heretic-ARA, подготовленная lyf и распространяемая как квантизированный релиз на базе heretic-org/Qwen3.8-27B-heretic-ara. Модель предназначена для генерации текста, рассуждений, вызова инструментов, а также анализа изображений и видео через vision/video tower. Поддерживаются английский и китайский языки. Основные веса преобразованы в формат NVFP4 W4A4 с использованием compressed-tensors, при этом vision/video tower и 15 нативных BF16-тензоров MTP сохранены. MTP поддерживает speculative decoding с рекомендуемым числом спекулятивных токенов 3. Релиз ориентирован на запуск в vLLM с CUDA 13 на GPU Blackwell, в частности RTX 5090. Для текстового режима заявлена практическая длина контекста до 192K токенов и агрессивная конфигурация до 256K; мультимодальный режим требует существенно больше видеопамяти и обычно ограничивается диапазоном 32K–96K. Сильными сторонами являются сочетание низкой разрядности, мультимодальности, длинного контекста и ускорения генерации через MTP. Ограничения включают зависимость от совместимого стека vLLM/CUDA и GPU Blackwell, высокие требования к видеопамяти, рекомендованную однопоточную конфигурацию и необходимость самостоятельно проверять лимиты изображений, видео и кэша энкодера перед эксплуатацией. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-heretic-MLX-bf16 — текстовая сборка для генерации ответов и диалогов, опубликованная donedynamics для Apple Silicon. Она создана конвертацией в формат MLX из trohrbaugh/Qwen3.8-27B-heretic-ara; исходная модель относится к семейству Qwen3.8 и представляет собой abliterated-производную Qwen/Qwen3.8-27B. Сборка использует библиотеку MLX и веса bfloat16 без квантизации; размер весов составляет около 50 ГБ. В шаблоне чата доступны режим рассуждений и настройка его интенсивности. Модель принимает текст и генерирует текст. Несмотря на мультимодальность исходной Qwen3.8-27B, эта сборка содержит только языковую часть и не принимает изображения или видео. Удаление отказов унаследовано от базовой модели; сама конвертация не добавляет выравнивание и не изменяет это поведение. Разработчик рекомендует оценить модель и при необходимости настроить фильтрацию перед использованием с пользователями. По README, bf16-сборка медленнее и требует больше памяти, чем квантизированные варианты; приведённые показатели скорости и памяти получены на одной конфигурации и одном коротком запросе, поэтому служат лишь ориентиром. Лицензия — Apache-2.0.

OptimizeLLM/Qwen3.8-27B-heretic-MTP-FP8 — мультимодальная языковая модель, разработанная OptimizeLLM на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации и анализа текста, технических и диалоговых сценариев, работы с инструментами, а также обработки изображений и видео. Она ориентирована на использование через vLLM и поддерживает спекулятивное декодирование MTP. В основе лежит плотная модель размером 27,8 млрд параметров с 64 слоями и гибридной архитектурой, объединяющей линейное и полное внимание. Веса квантизированы в FP8 E4M3 с блочным масштабированием 128×128, при этом vision tower, MTP-головы, lm_head, embed_tokens и некоторые проекции сохранены в BF16. Размер модели составляет около 30 ГБ; используются официальный токенизатор Qwen3.8-27B и мультимодальные входы изображений и видео. Длина контекста в README не указана. Ключевая особенность — abliteration с помощью HERETIC, удаляющая склонность базовой модели отказывать в ответах. Поэтому модель подходит для сценариев, где требуется отвечать на технические вопросы, включая темы информационной безопасности, которые исходная модель могла бы отклонять. При этом abliteration не делает модель нейтральной: она может сохранять исходные мировоззренческие и политические склонности, а отсутствие отказов повышает требования к контролю применения. Для запуска рекомендуется GPU с достаточным объёмом памяти; заявлено размещение на одной карте 96 ГБ, а в vLLM требуется ограничить max-num-seqs до 32. Производительность измерялась на RTX PRO 6000 Blackwell и составляла около 122 токенов в секунду при MTP=4, но зависит от нагрузки. Модель распространяется по лицензии Apache-2.0. README не содержит полного перечня поддерживаемых языков и точного размера контекста.

lued/Qwen3.8-27B-huihui-abliterated-INT8-W8A16-DFlash2 — квантованная версия Huihui-Qwen3.8-27B-abliterated, разработанная на базе моделей huihui-ai и Qwen. Это мультимодальная conversational-модель с поддержкой текста и изображений, предназначенная для диалогов, генерации текста, задач рассуждения, tool calling и работы с длинным контекстом. Модель рассчитана на запуск через vLLM и потребительское оборудование, в частности две видеокарты RTX 3090. Модель содержит 27B параметров, использует формат W8A16 с весами INT8 и активациями FP16 или BF16, а также поддерживает контекст до 262 144 токенов. Для ускорения генерации применяется speculative decoding с отдельной моделью-черновиком DFlash2, которая предлагает до 7 токенов за шаг. Размер основной модели составляет около 28 GiB в шести шардах, размер drafter — около 2,02 GiB. По данным README, квантование сохраняет 98,5% совпадения следующего токена с исходной BF16-моделью при среднем KLD 0,000694. Сильные стороны модели — уменьшенный вдвое размер относительно BF16-версии, поддержка длинного контекста, vision tower, thinking controls и tool calling, а также заявленное ускорение генерации на RTX 3090. Ограничения включают необходимость двух GPU с общим объёмом памяти 48 ГБ для заявленного сценария, использование неподдерживаемого в стабильном vLLM DFlash2 с дополнительными патчами и отсутствие собственных измерений скорости именно для этой сборки; приведённые показатели производительности относятся к родственному варианту. Модель распространяется по лицензии Apache-2.0.

AtomicChat/Qwen3.8-27B-MLX-AD-3.50bpw-DWQ-12.7GB — это MLX-квантизированная версия Qwen3.8-27B, выпущенная командой AtomicChat. Базовую модель разработала команда Qwen компании Alibaba. Это открытая плотная мультимодальная модель с поддержкой текста и изображений, предназначенная для генерации текста, визуального понимания, программирования, агентских рабочих процессов и автоматизации офисных задач. Модель содержит около 27 млрд параметров. Вариант AtomicChat использует формат MLX, 3-битное представление с параметром 3.50 bpw и занимает примерно 12,7 ГБ, поэтому ориентирован на локальный запуск, в частности на совместимое оборудование Apple через MLX. На странице модели указана категория Image-Text-to-Text и языковой тег English. Для исходной Qwen3.8-27B заявлено нативное контекстное окно 262 000 токенов с возможностью расширения до 1 млн токенов посредством YaRN. Главное преимущество варианта — существенное уменьшение размера и требований к памяти по сравнению с полной моделью при сохранении мультимодальных возможностей. Ограничения связаны с потерями качества, возможными для 3-битной квантизации, зависимостью от MLX-совместимого окружения и отсутствием на странице AtomicChat подробных независимых тестов, перечня поддерживаемых языков и детального описания архитектуры именно этого квантизированного варианта. Для базовой Qwen3.8-27B указана лицензия Apache 2.0; отдельные условия для производного репозитория AtomicChat следует проверять дополнительно.

Это независимая MLX-квантизация весов официальной модели Qwen/Qwen3.8-27B, подготовленная для нативного speculative decoding через MTPLX 2.6.0 на компьютерах Apple Silicon. Разработчик производной сборки — автор репозитория yc777; базовую модель разработала команда Qwen. Модель предназначена для генерации текста и запуска локальных OpenAI-совместимых сервисов. Основная часть весов представлена в 4-битном аффинном формате с размером группы 64, а MTP sidecar сохранён в BF16 и необходим для нативного многошагового предсказания. Поддерживается архитектура qwen3-next-mtp, заявлен английский язык, а пакет занимает около 15 ГБ на диске. Для работы требуются Mac на Apple Silicon с достаточным объёмом unified memory и MTPLX версии 2.6.0 или новее с поддержкой qwen3-next-mtp. Сборка предназначена для MTPLX и не поддерживается в oMLX 0.5.3 в режиме прямой загрузки. Главное преимущество — возможность ускоренной генерации с MTP: на M3 Max с 128 ГБ памяти авторы измерили 33,9 токена в секунду в end-to-end API-тесте, а пиковые наблюдения в интерфейсе превышали 40 токенов в секунду. Эти показатели зависят от запроса, длины контекста и ответа, давления на память, версии MTPLX и степени принятия черновых токенов; ускорение не гарантируется для каждого сценария. MTP sidecar увеличивает требования к диску и памяти по сравнению с полностью 4-битной конвертацией, а первый запрос после простоя включает загрузку и прогрев модели. Модель распространяется по лицензии Apache-2.0. При распространении производной версии необходимо сохранять исходную лицензию и атрибуцию Qwen. Это не официальный релиз Qwen или MTPLX.

Qwen3.8-27B-MTP-TQ3_4S — сборка Qwen/Qwen3.8-27B в формате GGUF с квантизацией TurboQuant TQ3_4S и встроенной черновой головой MTP для speculative decoding. Разработчик сборки — jajmangold; в README также отмечен вклад Y Tan в путь квантизации и поддержку формата в форке llama.cpp. Модель предназначена для диалоговой генерации текста. Архитектура указана как qwen35: 64 слоя, гибрид Gated DeltaNet и Gated Attention, один блок MTP; нативный контекст — 262 144 токена. Файл занимает 13,68 ГБ. Для запуска требуется совместимый форк TurboQuant runtime: обычная сборка llama.cpp не поддерживает тип тензоров TQ3_4S. Метаданные указывают английский язык и лицензию Apache-2.0.

Qwen3.8-27B-nvfp4full-NInfer — квантованная версия модели Qwen3.8-27B, подготовленная пользователем cometkim для выполнения в формате NInfer. Артефакт содержит текстовый, визуальный и MTP-компоненты, а также встроенный спекулятивный модуль DFlash2 из модели z-lab/Qwen3.8-27B-DFlash2. Модель предназначена для диалоговых и мультимодальных сценариев, генерации текста, рассуждений и обработки длинного контекста. Основная модель имеет 27 млрд параметров. Значительная часть весов представлена в формате NVFP4, отдельные компоненты используют BF16 и W8G32_F16S. Встроенный DFlash2-драфтер имеет 2 млрд параметров, пять слоёв и скользящее окно 2048 токенов. Размер единого файла артефакта составляет около 18,07 GiB. В README не указаны точный список поддерживаемых языков и максимальная длина контекста. К преимуществам относятся уменьшенный размер весов, единый файл с основной моделью и DFlash2-драфтером, а также поддержка спекулятивного декодирования. В приведённых проверках модель получила точность 87,88% на GPQA-Diamond, 93,33% на AIME 2026 и 67,41% на LongBench v2; эти результаты относятся к указанным условиям оценки. К ограничениям относятся зависимость от движка NInfer v3 и соответствующей аппаратной и программной конфигурации, а также невозможность использовать артефакт напрямую в Transformers, Safetensors или GGUF. Лицензия — Apache 2.0.

Qwen3.8-27B-NVFP4-vllm — квантованная версия модели Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем kekzle. Модель предназначена для запуска в vLLM и imp; поддерживает текстовые и визуальные входы, при этом в карточке указан английский язык. Это гибридная архитектура с компонентами GDN, vision tower и MTP draft head, однако подробные сведения о точной архитектуре и максимальном контексте не приведены. Линейные веса внимания, MLP и GDN-проекций сжаты в NVFP4 с группами размера 16 по схеме W4A16, а embeddings, lm_head, нормализации, vision tower и MTP draft head сохранены в исходной точности BF16. Размер весов уменьшен примерно с 51,75 до 19,2 ГиБ, что позволяет разместить модель на видеокарте с 32 ГиБ памяти. По приведённым измерениям на RTX 5090 модель достигла perplexity 4,6158, скорости декодирования до 87,4 токена в секунду и результата 45/45 в тестовом наборе качества. Сильные стороны модели — существенная экономия памяти, поддержка работы с текстом и изображениями, совместимость с vLLM и imp, а также возможность запуска на потребительских видеокартах Blackwell sm_120, где опубликованные варианты с FP8 attention могут не работать. Ограничения связаны с экспериментальным характером квантования без калибровки активаций, меньшей производительностью vLLM на sm_120 из-за fallback на Marlin и необходимостью настраивать число последовательностей и параметры памяти. Для многошаговых диалогов рекомендуется выделять не менее примерно 400 токенов на ответ, поскольку бюджет включает внутреннее рассуждение. Модель распространяется по лицензии Apache-2.0. Квантованная версия создана из официального релиза BF16 с помощью экспериментального квантовщика imp.

Qwen3.8-27B-NVFP4-W4A16-MLP-GGUF — это квантованная GGUF-версия модели Qwen/Qwen3.8-27B, опубликованная axiomofmind. Модель предназначена для запуска через llama.cpp и поддерживает текстовые сценарии, а при подключении отдельного vision-проектора mmproj-Qwen3.8-27B-BF16.gguf — обработку изображений. Объём модели составляет 27B параметров; языки и максимальный размер контекста в README не указаны. Доступны два варианта: версия объёмом 30,06 ГБ с attention в BF16/F32, ориентированная на максимальное сохранение точности, и компактная версия объёмом 23,29 ГБ с attention в Q8_0, рассчитанная на снижение требований к VRAM и ускорение загрузки. В обеих версиях MLP-слои 64-слойного backbone используют NVFP4 W4A16, тогда как эмбеддинги, выходная голова, MTP/NextN-компоненты и vision-компоненты сохраняются в более высокой точности. Поддерживаются встроенное MTP и опциональное speculative decoding с DFlash 2; для работы требуется свежая CUDA-сборка llama.cpp с поддержкой NVFP4 и Qwen3.8. Ограничениями являются значительные требования к видеопамяти, зависимость от совместимой версии llama.cpp и потенциальная потеря точности из-за квантования. Лицензия — Apache 2.0.

Qwen3.8-27B-Omnimerge-v6-MTP-GGUF — квантизированная GGUF-версия модели, опубликованная автором ManniX-ITA. Она создана на основе ManniX-ITA/Qwen3.8-27B-Omnimerge-v6, представляющей собой объединение методом task arithmetic трёх дообученных моделей Qwen3.6 на базе Qwen3.8-27B. В метаданных указана архитектура Qwen3.5, размер модели — около 27,78 млрд параметров, основной заявленный язык — английский. Модель предназначена для текстовой генерации, рассуждений и мультимодальных сценариев с обработкой изображений. В комплекте сохранена MTP-голова для self-speculative decoding, а также опубликован F16 vision projector; это позволяет использовать модель с изображениями через llama.cpp. Доступны 19 вариантов квантизации от F16 и Q8_0 до Q2_K и IQ2_S, что даёт возможность выбирать между качеством, скоростью и требованиями к памяти. Для MTP требуется сборка llama.cpp с поддержкой соответствующего механизма; в приведённых измерениях вариант Q4_K_M достигал примерно двукратного ускорения генерации при настройке с тремя черновыми токенами. Сильными сторонами являются широкий выбор квантизаций, поддержка изображений, reasoning-возможности, воспроизводимые imatrix-варианты и сохранённая MTP-голова. Ограничения включают зависимость расширенных возможностей от совместимого llama.cpp, значительные требования к памяти для крупных вариантов, а также то, что MTP может приводить к отличиям вывода от обычной генерации при близких значениях вероятностей; эквивалентность качества в README не измерялась. Для длительных рассуждений рекомендуется выделять достаточный reasoning budget. Модель распространяется по лицензии Apache-2.0.