/ Модель

Характеристики

Лицензия
Apache 2.0
Базовая модель
Qwen3.8-Queen-27B
Библиотека
transformers
Опубликована
15 авг 2026

Qwen3.8-Queen-27B-i1-GGUF

Генерация текстаТекст → текст3 профессии

mradermacher/Qwen3.8-Queen-27B-i1-GGUF — квантизированная версия модели aifeifei798/Qwen3.8-Queen-27B, подготовленная mradermacher в формате GGUF.

4 842скачиваний за 30 дней11лайковвеса обновлены15 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель относится к семейству Qwen, имеет размер 27 млрд параметров и ориентирована на генерацию текста, ролевые сценарии, творческое письмо, сторителлинг и работу с character card в приложениях вроде SillyTavern. В README также указано, что это vision-модель, однако подробности о поддерживаемых типах изображений и мультимодальном использовании не приведены.

Доступны варианты квантизации от i1-Q2_K до i1-Q6_K с размером файлов примерно от 11,0 до 22,5 ГБ, включая IQ-квантизации и imatrix-вариант для создания собственных квантов. Разные варианты предлагают компромисс между размером, скоростью и качеством; i1-Q4_K_M обозначен как рекомендуемый для быстрого использования, а i1-Q4_0 — как быстрый, но низкокачественный. README не содержит сведений о длине контекста, архитектурных деталях, системных требованиях, результатах тестирования или качестве по языкам; явно указан только английский язык.

Модель может быть полезна для локального запуска текстовой генерации и творческих диалогов при наличии совместимого ПО для GGUF. Ограничения связаны с потерями качества из-за квантизации, различиями между вариантами и отсутствием подробных оценок производительности. Модель распространяется по лицензии Apache-2.0.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

About

weighted/imatrix quants of https://huggingface.co/aifeifei798/Qwen3.8-Queen-27B

For a convenient overview and download list, visit our model page for this model.

static quants are available at https://huggingface.co/mradermacher/Qwen3.8-Queen-27B-GGUF

This is a vision model - mmproj files (if any) will be in the static repository.

Usage

If you are unsure how to use GGUF files, refer to one of TheBloke's READMEs for more details, including on how to concatenate multi-part files.

Provided Quants

(sorted by size, not necessarily quality. IQ-quants are often preferable over similar sized non-IQ quants)

LinkTypeSize/GBNotes
GGUFimatrix0.1imatrix file (for creating your own quants)
GGUFi1-Q2_K11.0IQ3_XXS probably better
GGUFi1-Q3_K_S12.4IQ3_XS probably better
GGUFi1-IQ3_S12.7beats Q3_K*
GGUFi1-IQ3_M12.9
GGUFi1-Q3_K_M13.6IQ3_S probably better
GGUFi1-Q3_K_L14.7IQ3_M probably better
GGUFi1-IQ4_XS15.4
GGUFi1-Q4_015.9fast, low quality
GGUFi1-Q4_K_S15.9optimal size/speed/quality
GGUFi1-Q4_K_M16.9fast, recommended
GGUFi1-Q4_117.4
GGUFi1-Q5_K_S19.1
GGUFi1-Q5_K_M19.6
GGUFi1-Q6_K22.5practically like static Q6_K

Here is a handy graph by ikawrakow comparing some lower-quality quant types (lower is better):

image.png

And here are Artefact2's thoughts on the matter: https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

FAQ / Model Request

See https://huggingface.co/mradermacher/model_requests for some answers to questions you might have and/or if you want some other model quantized.

Thanks

I thank my company, nethype GmbH, for letting me use its servers and providing upgrades to my workstation to enable this work in my free time. Additional thanks to @nicoboss for giving me access to his private supercomputer, enabling me to provide many more imatrix quants, at much higher quality, than I would otherwise be able to.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов
f5a8d65

0 моделей