I.5Создание и редактирование текста

Krasnopjorovs/Qwen3.8-27B-Imatrix-GGUF — набор квантизированных GGUF-сборок базовой модели Qwen/Qwen3.8-27B, подготовленный Krasnopjorovs с использованием llama.cpp и importance-matrix калибровки. Модель предназначена для локального запуска и задач генерации текста, рассуждений, программирования и математики; заявлена также поддержка мультимодального режима image-text-to-text при подключении совместимого mmproj-файла. README не уточняет архитектуру базовой модели, точное число параметров сверх обозначения 27B, список поддерживаемых языков и размер контекста. Доступны варианты квантизации от Q8_0, близкого к исходному качеству, до IQ4_XS и IQ4_NL для экономии памяти, с размерами примерно от 14,27 до 27,05 ГБ. Рекомендуемым вариантом общего назначения назван Q4_K_M размером 15,63 ГБ; сборки с суффиксом L используют Q8_0 для выходных и/или embedding-тензоров, что может повысить стабильность вывода при низкой разрядности. Во все кванты включена MTP-голова для speculative decoding, а для запуска через llama.cpp рекомендуется использовать draft-бюджет 3. Сильные стороны модели — выбор квантизаций под разные ограничения по памяти, поддержка мультимодального режима, калибровка на смешанном корпусе с многоязычными данными, кодом и математикой, а также возможность ускорения генерации через MTP. Ограничения связаны с потерями качества, зависящими от степени квантизации, требованиями к значительному объёму RAM или VRAM и необходимостью совместимого llama.cpp и mmproj-файла для мультимодального использования. Распространение указано по лицензии Apache-2.0.

MKRWW/Qwen3.8-27B-int4-AutoRound — производная квантизованная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для локального запуска и сервинга через vLLM на потребительских GPU, включая обработку текста, изображений и аудио, задачи рассуждения, программирования, математики, вызова инструментов и описания изображений. Архитектура определяется базовой моделью Qwen3.8-27B и представлена в Transformers как Qwen3_5ForConditionalGeneration; заявлена поддержка мультимодальных сценариев и контекста до 262 144 токенов. В модели применена весовая квантизация INT4 методом Intel AutoRound с group_size 128 и форматом auto_round:auto_gptq. Квантизованы 64 блока языкового декодера, тогда как vision- и audio-компоненты, эмбеддинги, lm_head и отдельные малые проекции сохранены в FP16. Размер весов составляет около 17,45–17,5 ГБ, благодаря чему модель запускается на одной видеокарте с 24 ГБ памяти; для полного контекста 262K рекомендуется конфигурация из двух таких карт. Для CPU и небольшого объёма VRAM этот репозиторий не предназначен. Сильные стороны — заметно сниженное потребление памяти, сохранение мультимодальных возможностей и совместимость с vLLM, включая reasoning и tool calling. Модель по умолчанию использует рассуждение, поэтому при малом лимите вывода ответ может быть обрезан; видимое отдельное поле reasoning_content также требует дополнительной настройки. Приведённые в README результаты являются внутренним сравнением, а не формальным независимым бенчмарком. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

Mirai’s Qwen3.8-27B Medium Quantization — это 4-битная квантованная версия модели Qwen3.8-27B, подготовленная Mirai Labs для эффективного локального запуска на устройствах Apple с Apple silicon. Модель предназначена для генерации текста и локальных сценариев использования, включая агентские задачи, диалоги и работу с длинным контекстом; подробности об исходной архитектуре, языках и размере контекста в представленном описании не указаны. Модель использует асимметричную целочисленную 4-битную квантизацию с 4-битными zero points, масштабами bfloat16 и размером группы 64. Для уменьшения выбросов активаций и весов применяются блочно-диагональные Random Hadamard Transforms. Квантование выполнено после обучения и дополнено quantization-aware distillation. По сочетанию размера и KL-дивергенции разработчики относят чекпойнт к Pareto-фронту; по уровню квантизации и размеру он сопоставим с Unsloth UD-Q4_K_M. Сильная сторона модели — компромисс между качеством и эффективностью при локальном инференсе на Apple silicon. Основные ограничения заключаются в текущей поддержке только Apple silicon и необходимости использовать совместимое программное обеспечение, например пакет mirai или сборку uzu. Лицензия — Apache-2.0. Для архитектурных характеристик, языков, контекстного окна, оценок и ограничений следует обращаться к карточке исходной модели Qwen3.8-27B.

Это семейство GGUF-квантизированных вариантов модели Qwen3.8-27B, опубликованное разработчиком MagicQuant и основанное на базовой модели Qwen/Qwen3.8-27B. Релиз предназначен для генерации текста и диалоговых сценариев, а также для локального запуска моделей через совместимое с GGUF программное обеспечение, включая инструменты llama.cpp. В набор входят гибридные конфигурации MagicQuant и варианты Unsloth с разными уровнями квантования — от MQ-Q6_K_1 и MQ-Q6_K_2 до MQ-IQ2_XXS_1. Размер файлов составляет примерно от 8,27 до 29,03 ГБ. README описывает сравнительное тестирование по метрике KLD и отбор конфигураций, показавших лучшие компромиссы между размером и сохранением характеристик исходной модели. Точные сведения об архитектуре, длине контекста, поддерживаемых языках и модальностях кроме текстовой генерации не указаны. Основные преимущества — широкий выбор размеров, возможность подобрать вариант под доступную память и сохранение качества при использовании более крупных квантов; однако степень потери качества зависит от выбранной конфигурации, а наиболее компактные варианты имеют существенно более высокий KLD. Условия распространения указаны как Apache-2.0.

Qwen3.8-27B-MLX-oQ4e-mtp — квантованная MLX-версия мультимодальной модели Qwen3.8-27B, разработанной Qwen. Модель предназначена для задач генерации текста и визуального понимания, включая обработку изображений и видео, а также для локального запуска на устройствах Apple Silicon через oMLX или mlx-vlm. Модель содержит около 27 млрд параметров и занимает примерно 16 ГБ. Используется улучшенная примерно 4-битная oQ4e-квантизация с эффективной точностью около 4,9 бит на вес, размером группы 64, imatrix-калибровкой и компенсацией ошибок на основе Hessian. В состав входит vision tower для работы с изображениями и видео. Сохранён нативный MTP head с одним дополнительным скрытым слоем, что позволяет использовать Lightning-MTP для спекулятивного декодирования в oMLX. Заявлена поддержка контекстного окна до 262144 токенов при соответствующей настройке. Сильные стороны модели — сочетание мультимодальности, сниженного потребления памяти, сохранённой совместимости с MTP и высокой скорости декодирования: на M5 Max заявлены около 54 токенов в секунду и принятие черновых токенов на уровне 81%. Ограничения включают зависимость от MLX-совместимого оборудования и программного обеспечения, а также возможную потерю точности из-за квантизации; конкретные языки в README не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-MTPLX-bf16 — конвертированная в формат MLX версия плотной мультимодальной модели Qwen3.8-27B, подготовленная автором johninthepool для компьютеров Apple Silicon. Это полноточная сборка bf16 без квантизации: сохранена голова multi-token prediction (MTP), необходимая для спекулятивного декодирования через mtplx. Модель рассчитана на диалоговую генерацию текста; базовая модель также поддерживает анализ изображений и видео, программирование и многошаговые задачи. Сборка предназначена для запуска на Mac с чипом Apple M-серии. Для весов объёмом около 55 ГБ автор рекомендует не менее 64 ГБ объединённой памяти; для работы с нативным путём MTP требуется mtplx. Полноточная версия сохраняет точность исходных весов, но требует больше памяти, чем варианты с квантизацией. Лицензия — Apache-2.0.

Qwen3.8-27B-NVFP4-BUDGET-GGUF — производная версия модели Qwen3.8-27B, подготовленная автором репозитория esatapedico на основе квантованной сборки Unsloth. Это плотная модель с 27 млрд параметров, гибридной архитектурой Gated DeltaNet и Gated Attention и контекстом до 262 144 токенов. Репозиторий содержит две компактные сборки GGUF: BUDGET и STARVED; в обеих удалена голова MTP для спекулятивного декодирования, а выходная проекция и эмбеддинги токенов квантованы до малых типов. Модель предназначена для диалогов и генерации текста, а при подключении совместимого проектора mmproj-BF16.gguf также принимает изображения и видео. Сборки рассчитаны на запуск через llama.cpp на видеокартах Blackwell с 16 ГБ памяти: BUDGET занимает 14,72 ГБ, STARVED — 14,59 ГБ. Автор приводит ориентировочные результаты одного запуска на RTX 5070 Ti и предупреждает, что компактное квантование снижает точность; заявленный образный ввод требует отдельного проектора, а для работы нужны свежая версия llama.cpp и поддержка NVFP4 и sm_120. Модель распространяется по лицензии Apache-2.0. Это конверсия и дополнительное квантование/уплотнение производной сборки; веса не обучались и не дообучались автором репозитория.

Qwen3.8-27B-NVFP4-RTX5090 — оптимизированная для видеокарт GeForce RTX 5090 версия модели Qwen/Qwen3.8-27B. Сборка опубликована в gittensor-model-hub и квантизована с помощью NVIDIA Model Optimizer в формате NVFP4. Модель предназначена для развёртывания через SparkInfer, SGLang и vLLM на архитектуре NVIDIA Blackwell; Hopper может загрузить файлы, но не поддерживает выполнение NVFP4. Модель поддерживает работу с текстом, изображениями и видео через OpenAI-совместимый API. Она рассчитана на контекст до 262 144 токенов и помещается на одной RTX 5090 с 32 ГБ памяти; размер чекпойнта составляет около 17,92 ГБ в двух шардах. В сборке квантизирован также lm_head, а неиспользуемая MTP head удалена. Для ускорения генерации может использоваться спекулятивное декодирование с drafter DSpark v2. Сильные стороны модели — большой контекст, мультимодальный ввод, низкие требования к памяти и высокая скорость инференса на RTX 5090, особенно в связке SparkInfer и DSpark v2. Ограничения включают зависимость от Blackwell для полноценного выполнения NVFP4, необходимость специализированных движков и отдельные ограничения текущего API SparkInfer: видео поддерживается фактически, но не всегда корректно отражается в поле input_modalities. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-OBLITERATED-W4A16-24GB — это 4-битная GPTQ-квантизованная версия модели OBLITERATUS/Qwen3.8-27B-OBLITERATED, опубликованная пользователем quocbao747. Модель предназначена для генерации текста, диалогов, программного кода и задач рассуждения; она рассчитана на запуск через vLLM с ядром Marlin на одной видеокарте объёмом 24 ГБ, например RTX 4090. Модель содержит 27 млрд параметров и использует схему W4A16: int4-квантизация весов с симметричным group size 128 и статическим actorder. Формат — compressed-tensors/pack-quantized. Сохранены vision tower для мультимодальных возможностей и MTP head для speculative decoding, однако поддерживаемые языки и точный перечень мультимодальных сценариев в карточке не указаны. Заявлен контекст до 81 920 токенов, а в измерениях на RTX 4090 максимальный фактически помещавшийся запрос составлял 72 000 токенов с учётом служебных токенов шаблона. К сильным сторонам относятся небольшое для модели такого размера потребление памяти, высокая скорость декодирования и близкое к исходной модели качество: результат MMLU составил 81,63% против 82,3% у исходной версии в BF16. Ограничения включают снижение качества из-за квантизации, значительный рост времени обработки длинных промптов и резкое ухудшение задержек при высокой конкуренции и больших контекстах. Модель распространяется по лицензии Apache-2.0.

Chungulus/Qwen3.8-27B-Q3_K_M-GGUF — это независимая vanilla-квантизация модели Qwen3.8-27B, разработанной командой Qwen. Модель распространяется в формате GGUF и предназначена для локального запуска через llama.cpp. Квантизация Q3_K_M выполнена без дообучения, слияния, изменения выравнивания или шаблона чата. Модель поддерживает генерацию текста, нативный tool calling, обработку изображений и видео, а также режимы управления рассуждением через параметры enable_thinking, reasoning_effort и preserve_thinking. Архитектура включает гибридную структуру Hybrid Gated DeltaNet/full-attention, vision tower и проектор; в репозитории сохранены MTP-тензоры, однако ускорение speculative decoding не заявлено. Основной файл занимает около 13,5 ГБ, vision projector — в формате F16, общий размер репозитория — около 14,4 ГБ. Для запуска рекомендуется не менее примерно 18 ГБ доступной памяти, при этом KV-cache дополнительно увеличивает потребление в зависимости от контекста. К сильным сторонам относятся сохранённые возможности исходной модели, проверенная поддержка текста, инструментов, изображений и видео, а также совместимость с нативным форматом вызова инструментов Qwen. Ограничение — возможное снижение качества из-за низкобитной квантизации; заявленные проверки не позволяют делать выводы о максимальной длине контекста. Для работы требуется runtime с поддержкой архитектуры Qwen3.8, vision-компонентов, токенизатора и MTP-метаданных. Модель и её vanilla-квантизация распространяются по лицензии Apache-2.0.

Chungulus/Qwen3.8-27B-Q3_K_S-GGUF — независимая ванильная квантизация модели Qwen/Qwen3.8-27B, опубликованная Chungulus. Модель предназначена для локального запуска задач генерации текста, вызова инструментов, анализа изображений и видео. Это vision-language модель с поддержкой мультимодального ввода; для работы с изображениями используется отдельный vision projector mmproj-Qwen3.8-27B-F16.gguf. Поддерживаются нативный формат вызова инструментов Qwen и управление режимами рассуждений через enable_thinking, reasoning_effort и preserve_thinking. Основной файл имеет размер около 12,257 ГБ, полный репозиторий — около 13,197 ГБ. Используется квантизация Q3_K_S на базе llama.cpp K/IQ quantization без дополнительного обучения, слияния или изменения шаблона чата. Сохранена гибридная структура Hybrid Gated DeltaNet/full-attention, а также MTP-тензоры и метаданные, однако спекулятивное ускорение не заявлено. Текстовая генерация, вызов инструментов, обработка изображений и видео прошли проверки; на валидационном хосте зафиксирована скорость около 17,35 токена в секунду. Для запуска требуется совместимый runtime, поддерживающий граф Qwen3.8, vision tower/projector, токенизатор и MTP-метаданные; рекомендуется иметь не менее примерно 17 ГБ доступной памяти, при этом KV-кэш увеличивает потребление в зависимости от контекста. Низкая разрядность квантизации может снижать качество. Максимальный контекст в README не указан и полноценно не тестировался. Модель и квантизация распространяются по лицензии Apache-2.0.

Qwen 3.8 27B ROCmFP4 FAST — это квантизированная GGUF-версия модели Qwen 3.8 27B, разработанной командой Qwen и адаптированной пользователем julianmb. Модель предназначена для генерации текста и оптимизирована прежде всего для AMD Strix Halo с графикой Radeon 8060S, а также дискретных AMD Radeon GPU, использующих ROCm или Vulkan. Модель имеет плотную архитектуру с 27 млрд параметров и представлена в формате ROCmFP4 с эффективной точностью 4,26 бит на вес и размером файла около 13,55 GiB. Заявлены поддерживаемые языки английский и китайский. Версия ориентирована на ускоренное авторегрессионное декодирование и может использовать speculative decoding с MTP; на Ryzen AI Max+ 395 указана скорость до 36,04 токена в секунду, при устойчивом MTP-декодировании K=4 — 33,80 токена в секунду. Без спекулятивного декодирования измеренная скорость составляет 14,02 токена в секунду. Сильные стороны модели — сниженное потребление памяти, оптимизация под оборудование AMD и высокая скорость генерации при сохранении заявленного качества, близкого к исходной модели. Дополнительно описана экспериментальная гибридная NPU-акселерация AMD XDNA 2 для уменьшения задержки выдачи первого токена на длинных запросах, но она не повышает устойчивую скорость декодирования. Реальная производительность зависит от GPU, драйверов, конфигурации MTP и программного окружения, поэтому приведённые показатели нельзя считать универсальными. Модель распространяется по лицензии Apache 2.0.

Qwen3.8-27B-ROCmI4-MTP-GGUF — это конвертированная и квантизированная версия базовой модели Qwen/Qwen3.8-27B, опубликованная пользователем cafonez. Модель представлена в формате GGUF и предназначена для локального запуска через совместимые сборки ROCmFPX на оборудовании AMD, прежде всего Strix Halo с архитектурой gfx1151. Репозиторий содержит языковую модель и дополнительный мультимодальный проектор для обработки изображений и видео; для текстовых сценариев проектор не требуется. Модель имеет архитектуру qwen35, около 27,32 млрд параметров, контекст до 262 144 токенов и квантизацию весов Q4_0_ROCMI4. В основной файл встроена одноступенчатая голова NextN/MTP, поэтому отдельная draft-модель не нужна. Она ориентирована на генерацию и обработку текста, включая программирование, структурированные данные и диалоги, а при подключении mmproj также поддерживает мультимодальные входы с изображениями и видео. README не указывает перечень поддерживаемых языков. Сильными сторонами являются большой контекст, снижение требований к памяти благодаря четырёхбитной квантизации, встроенный MTP и возможность ускоренного пути W4A4 на совместимом оборудовании AMD. Ограничения связаны с экспериментальным характером ROCmI4/IU4, необходимостью специальной сборки ROCmFPX и совместимого GPU; стандартные сборки llama.cpp не ожидаются совместимыми. Путь W4A4 может быть быстрее, но добавляет потери из-за четырёхбитной квантизации активаций, а эффективность MTP зависит от характера текста. Модель распространяется по лицензии Apache-2.0.

Это текстовая сборка модели Qwen3.8-27B, подготовленная YaiLabs из Qwen/Qwen3.8-27B и опубликованная в формате GGUF v3 с весами BF16. В неё включены 851 тензор текстового декодера, эмбеддингов и выходного слоя; это не полная мультимодальная модель на 27 млрд параметров, поэтому обработка изображений и видео в этой сборке не поддерживается. Сборка предназначена для генерации текста и диалогов. README подтверждает успешную загрузку, короткий чат-ответ и выгрузку модели в YVEX на NVIDIA DGX Spark с контекстом 4096 токенов. Это ограниченная проверка совместимости конкретных файлов и конфигурации, а не оценка качества или производительности и не гарантия работы в любом GGUF-совместимом движке. Файл занимает около 53,8 ГБ. Лицензия — Apache 2.0.

Это мультимодальная диалоговая модель семейства Qwen3.5 с плотной архитектурой Qwen3_5ForConditionalGeneration и 27 млрд параметров, представленная Solstice-AI. Репозиторий содержит версию NVFP4 для оборудования NVIDIA Blackwell и упакованную конфигурацию с контекстом до 1 048 576 токенов на основе YaRN; заявлена автоматическая настройка контекста при запуске в vLLM и SGLang. Модель предназначена для диалога, следования инструкциям, творческого письма и анализа изображений. Поддерживает текстовый и визуальный ввод и выдаёт текст; в метаданных также указаны интерфейс вызова инструментов и английский и китайский языки. Это производная от дообученной модели DavidAU версия, упакованная Solstice-AI; лицензия — Apache-2.0. Заявление README о NVFP4 для Blackwell соседствует с метаданными о форматах GGUF BF16 и safetensors, поэтому точный формат конкретных файлов следует проверять в репозитории. Длина контекста 1 млн токенов заявлена в конфигурации, но практические требования к памяти и производительность зависят от оборудования и движка инференса.

Это квантизированная версия модели Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored, опубликованная esatapedico и созданная на основе модели DavidAU, которая, в свою очередь, происходит от Qwen/Qwen3.8-27B. Модель предназначена для генерации текста и развёртывания через vLLM или совместимые движки serving compressed-tensors. Настройка TWIN-TURBO ориентирована на сокращение числа токенов рассуждений при сохранении сопоставимого качества ответов. Модель использует архитектуру Qwen3_5ForCausalLM с 64 слоями, гибридной GatedDeltaNet, 16 полными attention-слоями, MTP head для speculative decoding и контекстом до 262144 токенов. Поддерживается генерация на английском языке и, согласно метаданным, мультиязычные сценарии. Контрольная точка имеет размер около 19 ГБ и поставляется в формате compressed-tensors nvfp4-pack-quantized. Квантизация выполнена по схеме W4A16 с группами размера 16, FP8 E4M3-масштабами и только для весов; калибровочные данные не использовались. Ключевые компоненты, включая lm_head, vision tower, MTP head и отдельные элементы DeltaNet, сохранены в BF16. Сильными сторонами являются существенное уменьшение размера весов, совместимость с vLLM, сохранение мультимодального vision tower и MTP-компонента, а также возможность работы с длинным контекстом. Ограничения связаны с зависимостью от поддержки compressed-tensors NVFP4 в serving-движке и особенностями конфигурации: заявлена проверка при tensor parallel 2 и контексте 2048 токенов, а FP8 KV-cache включается параметром запуска, а не хранится в контрольной точке. Модель распространяется по лицензии Apache-2.0.

MiawTeam/Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций модели Qwen3.8-27B, разработанный MiawTeam на базе Qwen/Qwen3.8-27B и предназначенный для запуска через llama.cpp. Модель ориентирована на генерацию текста, включая диалоги, работу с английским и китайским языками, а при наличии vision tower в базовой модели — обработку изображений. Доступны варианты IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, а также конфигурации со встроенной или отдельной MTP-головой для speculative decoding. Модель использует архитектуру Qwen3_5ForConditionalGeneration с 64 слоями, словарём из 248 320 токенов, контекстом до 262 144 токенов и одной MTP-головой. Веса были обработаны методом abliteration с помощью Heretic для существенного снижения отказов без дополнительного обучения и без использования новых данных; при этом базовые возможности, обучающие данные и архитектура заявлены как сохранённые. MTP-тензоры проверены после конвертации и квантизации, а imatrix рассчитана непосредственно из F16-весов. Сильные стороны — большой контекст, поддержка текстовой и потенциально визуальной модальности, несколько уровней квантизации и возможность ускорения генерации за счёт speculative decoding. Ограничения включают зависимость производительности от оборудования и настроек draft decoding, потенциальное небольшое снижение acceptance rate для черновой головы, а также то, что снижение отказов не является полным. В сравнении с базовой моделью среднее изменение результатов на указанных 0-shot тестах составило около −0,5 и находится в пределах или около стандартной ошибки измерений. Распространение указано по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-AWQ-MTP — это 4-битная AWQ-квантизованная версия модели HauhauCS/Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF, опубликованная twolven. Модель предназначена для генерации текста, рассуждений, работы с изображениями и вызова инструментов; поддерживает speculative decoding через встроенную NextN/MTP draft head при использовании vLLM. В карточке указан английский язык и мультимодальный режим image-text-to-text. Модель содержит около 27 млрд параметров и использует гибридную архитектуру Qwen3.5: 64 декодерных слоя, включая 48 слоёв с линейным вниманием Qwen3_5GatedDeltaNet и 16 слоёв с полным вниманием, а также 27-слойную vision tower. Основные линейные слои квантизованы в формате W4A16 с размером группы 128 и асимметричным квантованием; vision tower, lm_head, MTP head и отдельные компоненты сохранены в bf16. Размер модели на диске составляет около 19 ГБ. Проверки показали связное поведение, арифметическое рассуждение, распознавание форм и цветов на изображениях, работу tool calling и извлечение данных из контекстов до 229 200 токенов. К сильным сторонам относятся мультимодальность, сохранённая поддержка MTP для ускорения генерации, совместимость с vLLM, инструментами и длинным контекстом, а также отсутствие отказов в заявленных тестах uncensored-профиля. Главное ограничение — модель восстановлена из GGUF-квантизации Q8_K_P, а затем повторно квантизована до 4 бит, поэтому накопленная ошибка выше, чем у сборки, созданной непосредственно из исходных BF16-весов. Производительность MTP зависит от характера запроса и может различаться примерно на 30%; единое значение скорости генерации не приводится. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это GGUF-сборка плотной мультимодальной causal language model Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также анализа изображений и видео. Вариант Aggressive ориентирован на прямые ответы без выраженного отказного поведения и с минимальным предварительным вступлением в сложных запросах. Модель содержит 27 млрд параметров, 64 слоя, скрытый размер 5120, размер FFN 17408 и словарь из 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Поддерживаются встроенные MTP/NextN и профиль ускорения HauhauCS FastMTP 32K; заявлены ускорение генерации до 3,02 раза для документов и до 1,93 раза для рассуждений относительно варианта без MTP. Нативный контекст составляет 262 144 токена и может расширяться до 1 000 000. Для визуального ввода используется отдельный vision-проектор BF16. Заявлены английский, китайский и мультиязычный режимы. Сильными сторонами являются большой контекст, текстовые и визуальные возможности, поддержка нескольких уровней квантизации GGUF и ускорение FastMTP. Aggressive-профиль может быть удобен там, где нужны краткие прямые ответы, однако его сниженное отказное поведение может быть менее подходящим для надёжных и критичных к безопасности приложений; автор README рекомендует для таких агентских задач Balanced-вариант, если он доступен. Доступны квантизации Q2–Q8 и пользовательские K_P-кванты, оптимизированные для сохранения качества. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это модификация Qwen3.8-27B, опубликованная HauhauCS. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также обработки изображений и видео. Профиль Aggressive ориентирован на прямые ответы с минимальным вступлением и без поведения отказа; заявленные возможности базовой модели сохраняются без изменений в обучающих данных и общем назначении. Модель представляет собой плотную causal language model на 27 млрд параметров с vision encoder и поддержкой мультимодального ввода через отдельный BF16-проектор. Архитектура включает 64 слоя, скрытый размер 5120, размер FFN 17408, словарь 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000 токенов. Указана поддержка английского, китайского и других языков. Выпуск представлен в форматах GGUF с различными уровнями квантизации, включая специализированные K_P-кванты. К сильным сторонам относятся длинный контекст, мультимодальность, сохранённые встроенные механизмы MTP/NextN и ускорение HauhauCS FastMTP 32K. Заявлено ускорение генерации до 3,02 раза для документов и до 1,93 раза для задач рассуждения по сравнению с вариантами без MTP, однако эти показатели зависят от сценария и конфигурации. Агрессивный профиль может быть менее подходящим для надёжно контролируемых агентских задач, где предпочтительнее сбалансированная версия. Для работы с изображениями и видео требуется отдельный vision-проектор. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — мультимодальная модель на базе Qwen3.8-27B, разработанная HauhauCS и распространяемая в формате GGUF. Она предназначена для генерации текста, рассуждений, агентских сценариев, обработки изображений и видео, а также задач с длинным контекстом. Aggressive-профиль ориентирован на прямые ответы без выраженного поведения отказа и с минимальным вступлением в сложных запросах. Модель представляет собой плотную языковую модель на 27 млрд параметров с vision encoder: 64 слоями, скрытым размером 5120, размером FFN 17408, словарём на 248 320 токенов, 48 слоями Gated DeltaNet и 16 слоями gated attention. Поддерживаются английский, китайский и другие языки. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000 токенов. В текстовых GGUF сохранён встроенный MTP/NextN, а отдельный профиль HauhauCS FastMTP 32K предназначен для ускорения генерации; для обработки изображений и видео требуется отдельный BF16 vision projector. Сильными сторонами являются мультимодальность, большой контекст, широкий набор квантованных вариантов и потенциальное ускорение за счёт MTP. Ограничения включают необходимость значительных аппаратных ресурсов для моделей размером до 31,46 ГБ, зависимость мультимодального ввода от отдельного проектора и возможное снижение надёжности в критически важных длинноконтекстных агентских сценариях из-за Aggressive-профиля. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — квантизированная GGUF-версия модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, работы с изображениями и видео. Она ориентирована на прямые ответы с минимальным вступлением и профилем без отказов, поэтому подходит для задач, где требуется снизить склонность модели к отказу от ответа. Заявлены поддержка английского, китайского и других языков, а также мультимодальный режим с отдельным vision-проектором BF16 для обработки изображений и видео. Модель представляет собой плотную causal language model на 27 млрд параметров с 64 слоями, размером скрытого представления 5120, размером FFN 17408 и словарём на 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000 токенов. Встроенный MTP/NextN сохранён, а дополнительный профиль HauhauCS FastMTP 32K предназначен для ускорения спекулятивного декодирования; заявлено ускорение до 3,02 раза для документов и до 1,93 раза для рассуждений по сравнению с режимом без MTP. Доступны варианты квантизации от Q8_K_P до IQ2_M, что позволяет выбирать баланс между качеством, размером и требованиями к памяти; размер текстовых файлов составляет примерно от 10,32 до 31,46 ГБ. К сильным сторонам относятся большой контекст, мультимодальность, поддержка длинных документов и ускорение генерации. Ограничение Aggressive-профиля — намеренное отсутствие отказного поведения, из-за чего он может быть менее подходящим для надёжно контролируемых и критически важных агентских сценариев; для них автор рекомендует Balanced-вариант, если он доступен. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-int4-AutoRound — локально обслуживаемая INT4-квантизированная версия плотной модели Qwen3.8 с 27 млрд параметров, опубликованная под идентификатором johannrplaster. Модель предназначена для быстрого инференса через Transformers и vLLM XPU, прежде всего на видеокартах Intel Arc Pro B70. Она сохраняет MTP (multi-token prediction) head, поэтому поддерживает speculative decoding без отдельной draft-модели, а проекции linear attention in_proj_a и in_proj_b оставлены в FP16 для снижения потерь качества. Квантизация выполнена с помощью AutoRound 0.14.2 в формате W4A16 с симметричными группами размера 128 и упаковкой auto_gptq. Квантизированы декодерные слои и MTP head; нормы, MTP-слой fc, vision tower и указанные проекции сохраняются в FP16 или BF16. Размер модели на диске составляет около 18 ГБ. В комплект входит шаблон чата Qwen3.8 с поддержкой reasoning и tool-call блоков. Заявлена работа с контекстом до 128K при использовании FP8 KV-кэша, тогда как пример конфигурации задаёт 8192 токена. Сильные стороны модели — уменьшенный размер, высокая скорость декодирования на Intel Arc Pro B70, поддержка speculative decoding и сохранение качества на заявленных проверках арифметики, кода, JSON-схем, длинного контекста и стабильности повторных ответов. Ограничения включают возможные потери качества и отличия от BF16-версии из-за INT4-квантизации, а также зависимость производительности и эффективности speculative decoding от нагрузки. Модель является uncensored и может отвечать на запросы, которые обычно отклоняют модели с настройкой безопасности; ответственность за применение и проверку контента несёт пользователь. Лицензия — Apache-2.0.

TheDrainFlorist/Qwen3.8-27B-VQ-4.5bpw — векторно-квантизированная сборка базовой модели Qwen/Qwen3.8-27B, разработанной Qwen. Модель предназначена для генерации текста и, при использовании совместимого mlx-vlm, обработки изображений. Сборка ориентирована на локальный запуск на устройствах Apple Silicon через MLX и сохраняет совместимость со стандартным mlx-lm без патчей. Модель содержит 27 млрд параметров и использует векторное квантование с эффективностью около 4,5 бит на вес; размер чекпойнта составляет примерно 14,45 GiB, включая vision tower в формате bf16. В метаданных указан английский язык, однако полный набор поддерживаемых языков и размер контекстного окна не приведены. Для загрузки требуется версия mlx-lm с поддержкой параметра model_file, а для работы с изображениями — mlx-vlm версии 0.6.16 или новее. Главное преимущество сборки — заметно меньший размер при качестве, близком к bf16 и немного лучшем, чем у указанной локальной 4-битной affine-квантизации: согласие по наиболее вероятному токену составляет 90,1%, а расхождение с bf16-версией — 40,3 millinats на токен. Ограничения включают зависимость от Apple Silicon и совместимых версий MLX, необходимость корректной загрузки встроенного runtime, а также снижение точности по сравнению с bf16 и более качественными 6- и 8-битными вариантами. Лицензия — Apache-2.0.

Qwen3.8-27B-W4A16-AutoRound — квантизированная версия мультимодальной модели Qwen/Qwen3.8-27B, подготовленная dbirks с использованием Intel AutoRound и упакованная в формат compressed-tensors для запуска через vLLM. Модель предназначена для генерации текста и обработки изображений с применением на NVIDIA GPU поколения Ampere и новее, включая сценарии инференса на видеокартах без поддержки Blackwell. В основе лежит гибридная архитектура GatedDeltaNet с линейным вниманием и полноформатным attention: 64 слоя, из которых 48 используют линейное внимание, а 16 — полное; также присутствует vision tower. Заявлен контекст до 262 тысяч токенов. Квантизация W4A16 хранит веса языкового декодера в формате int4 с размером группы 128, тогда как активации остаются в BF16. В BF16 сохранены отдельные проекции управления рекуррентностью, vision tower, MTP-head и lm_head. Размер модели на диске составляет около 19,5 ГБ против примерно 52 ГБ для версии BF16; логический объём — около 27,78 млрд параметров. Основное преимущество — существенное сокращение размера при сохранении качества, близкого к BF16-версии: на заявленных тестах GSM8K, HumanEval и MMLU-Pro результаты находятся в пределах доверительных интервалов базовой модели. Ограничение W4A16 заключается в отсутствии ускорения за счёт квантизации активаций, поскольку они остаются BF16; для видеокарт Blackwell автор рекомендует родственную версию NVFP4. Указанная лицензия — Apache-2.0.

MIRALABS/Qwen3.8-27B-W4A16-AutoRound — 4-битная квантованная версия модели Qwen/Qwen3.8-27B, разработанная MIRALABS на основе базовой модели Qwen. Модель предназначена для генерации текста и обработки изображений с текстом; заявлены английский и китайский языки. Поддерживает рассуждения, вызов инструментов и работу в режиме image-text-to-text. Модель использует INT4-квантизацию весов при BF16-активациях (W4A16), алгоритм AutoRound 0.14.2 с размером группы 128 и формат compressed-tensors для ядер Marlin в vLLM. Размер файлов составляет около 19,5 ГБ. Нативный контекст — 262 144 токена, а с YaRN заявлена поддержка до 1 000 000 токенов. Квантование заметно снижает требования к памяти по сравнению с версией BF16, при этом запуск рассчитан на видеокарты Ampere и новее, включая RTX 3090, RTX 4090 и A100. Сильными сторонами являются большой контекст, поддержка мультимодального ввода, режима рассуждений и эффективный запуск через vLLM на распространённых GPU. Ограничения связаны с требованиями к видеопамяти: на одной RTX 3090 веса помещаются, но полный контекст 262 144 токена недоступен; для длинного контекста рекомендуется несколько GPU или другой формат. Модель использует AutoRound, а не AWQ, GGUF или NVFP4. Распространяется по лицензии Apache 2.0, как и базовая модель.

Sohailhosseini/Qwen3.8-9B-Distill-AWQ-W4A16 — квантизированная версия модели empero-ai/Qwen3.8-9B-Distill, подготовленная пользователем Sohailhosseini. Модель предназначена для генерации текста и диалогового взаимодействия, а заявленный pipeline_tag указывает на поддержку сценариев image-text-to-text. В README также отмечена пригодность для instruction-тuned и многоязычных моделей, однако конкретный набор поддерживаемых языков не указан. Модель содержит 9,7 млрд параметров и использует схему AWQ-W4A16 с 4-битными весами в формате compressed-tensors. Размер на диске составляет около 8,6 ГБ — примерно в 2,24 раза меньше исходных 19,3 ГБ. Квантизация выполнена на GPU A40 с использованием 256 образцов из набора HuggingFaceH4/ultrachat_200k. Слои lm_head и компоненты, связанные с visual, vision_tower, vision_model, multi_modal_projector и merger, оставлены без квантизации, что соответствует мультимодальной конфигурации. Основные преимущества — сниженные требования к хранению и потенциально более эффективный запуск при сохранении качества исходной модели; README отдельно отмечает быструю калибровку и обычно более высокую устойчивость на instruction-тuned и многоязычных моделях. Для запуска рекомендуется vLLM с максимальной длиной контекста 32768 токенов. Ограничение схемы заключается в её асимметричности: некоторые старые ядра vLLM могут лучше работать с симметричным W4A16. Лицензия — Apache-2.0, унаследованная от исходной модели.

Это квантованная сборка Qwen3.8-9B-Distill-uncensored-heretic в формате GGUF, подготовленная Atomic-Germ на основе репозитория petruhonk/Qwen3.8-9B-Distill-uncensored-heretic. Модель предназначена для диалоговой генерации текста и запуска через llama.cpp; в метаданных также отмечены рассуждения и вызов функций как характеристики исходной модели. Сборка подходит для локального инференса через CLI или сервер llama.cpp. Размер модели — 9 млрд параметров; применяется квантование Q4_K_M. Для базовой модели в каталоге указаны диалог, рассуждения, математика, код и вызов инструментов. Репозиторий распространяется по лицензии Apache-2.0. Карточка этой сборки отсылает за подробностями о поведении и ограничениях к карточке исходной модели.

PrimeIntellect/Qwen3-8B — копия модели Qwen/Qwen3-8B с шаблоном чата, поддерживающим многоходовые диалоги и вызовы инструментов. Это плотная авторегрессионная языковая модель семейства Qwen3 с 7,6 млрд параметров, предназначенная для генерации текста в формате диалога. Модель принимает текст и выдаёт текст; её контекстное окно составляет 40 960 токенов. Модель основана на Qwen/Qwen3-8B-Base и адаптирована для использования с совместимым с вызовом инструментов шаблоном чата. Репозиторий распространяется в формате Safetensors; библиотека для работы — Transformers. Лицензия — Apache-2.0.

DavidAU/Qwen3-8B-64k-Context-2X-Josiefied-Uncensored — текстовая генеративная модель на архитектуре Qwen3ForCausalLM с 7,6 млрд параметров, подготовленная DavidAU на основе Goekdeniz-Guelmez/Josiefied-Qwen3-8B-abliterated-v1. Автор указывает, что контекст увеличен с 32 768 до 65 536 токенов с помощью метода YaRN. Модель рассчитана на диалоговую генерацию и рассуждения; в репозитории доступны веса safetensors для прямого использования или подготовки квантованных вариантов. Модель подходит для продолжительных диалогов, работы с длинными текстовыми запросами и ролевых сценариев. Для «мышления» и генерации ответа автор рекомендует выделять 8–16 тысяч токенов контекста. Указаны шаблоны Jinja и ChatML. В метаданных заявлен интерфейс вызова инструментов, однако README не описывает его настройку. Сведения о лицензии в предоставленных данных отсутствуют.