/ Модель

Характеристики

Лицензия
Apache 2.0
Базовая модель
Qwen3.8-Whittle-MoE-27B-A17.8B
Библиотека
gguf
Опубликована
23 авг 2026

Qwen3.8-Whittle-MoE-27B-A17.8B-GGUF-all-quants

Генерация текстаТекст → текст10 профессий

scima/Qwen3.8-Whittle-MoE-27B-A17.8B-GGUF-all-quants — набор GGUF-квантизаций модели Whittle MoE 27B (A18B) v2.1, разработанной Logic65 на основе Qwen3.8-27B.

1 724скачиваний за 30 дней5лайковвеса обновлены24 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель представляет собой постфактум созданную смесь экспертов (MoE), обученную также определять момент завершения ответа, и предназначена для генерации текста, включая диалоговые, аналитические и структурированные сценарии.

Доступны варианты квантования от Q2_K до Q8_0, а также F16 для создания последующих квантизаций. Размер файлов составляет примерно от 11,3 до 53,9 ГБ; рекомендуемый Q4_K_M занимает 17,4 ГБ и рассчитан на запуск в 24 ГБ VRAM, тогда как Q8_0 размером 28,7 ГБ ориентирован на более высокое качество. В README указана настройка контекста 8192 токена и совместимость с актуальными сборками llama.cpp с поддержкой Qwen3.5 MoE. Языки и мультимодальные возможности не указаны, поэтому модель следует считать текстовой.

Заявленные результаты версии v2.1 включают снижение частоты зацикливания до 8% в однопользовательских запросах и до 22% в структурированных сценариях, отсутствие усечённых ответов и результат 28 из 39 в тесте на знания. При этом автор отмечает, что варианты Q4 и выше не тестировались, поэтому их работоспособность не гарантируется. Распространение указано по лицензии Apache-2.0.

Для каких профессий подходит10

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ORIGINAL MODEL BY LOGIC65, QUANTIZED FROM Whittle MoE 27B (A18B) v2.1

Models available here (go to logic65's official repo for Q4_K_M and Q8_0):

filesizeuse
Whittle-MoE-27B-A18B-v2.1-Q2_K.gguf11.3 GBsmallest usable file
Whittle-MoE-27B-A18B-v2.1-Q3_K_S.gguf12.7 GB
Whittle-MoE-27B-A18B-v2.1-Q3_K_M.gguf13.9 GBlikely best quality possible for 16GB VRAM, if not Q3_K_S
Whittle-MoE-27B-A18B-v2.1-Q3_K_L.gguf14.7 GB
Whittle-MoE-27B-A18B-v2.1-Q4_K_S.gguf16.1 GB
Whittle-MoE-27B-A18B-v2.1-Q4_K_M.gguf17.4 GBrecommended; fits 24 GB VRAM, splits across two 12 GB cards
Whittle-MoE-27B-A18B-v2.1-Q5_K_S.gguf19.0 GBtry using if spare headroom is available
Whittle-MoE-27B-A18B-v2.1-Q5_K_M.gguf19.9 GB
Whittle-MoE-27B-A18B-v2.1-Q6_K.gguf23.1 GB
Whittle-MoE-27B-A18B-v2.1-Q8_0.gguf28.7 GBhigher quality reference
Whittle-MoE-27B-A18B-v2.1-F16.gguf53.9 GBuse for creating future quantizations

(note i have not tested any quantizations that are Q4 or above, let me know if one of the files don't work)


MODEL CARD FETCHED FROM: Whittle MoE 27B (A18B) v2.1 GGUF

Support this work

Every donation goes directly to GPU hours, and every GPU hour gets reported, including the failures: ko-fi.com/davida81328

Recommend using q8 for less looping and higher quality

Quantized builds of Whittle MoE 27B (A18B), the post hoc mixture of experts carved from Qwen3.8-27B and taught when to stop talking. v2.1 passed every release bar: 8 percent single turn loop rate (from 69 at first release), 22 percent structured (from 75), zero truncated answers, knowledge battery 28 of 39. All measurements, method, and failure history live on the main model card.

filesizeuse
Whittle-MoE-27B-A18B-v2.1-Q4_K_M.gguf17.4 GBrecommended; fits 24 GB VRAM, splits across two 12 GB cards
Whittle-MoE-27B-A18B-v2.1-Q8_0.gguf28.7 GBhigher quality reference
llama-server -m Whittle-MoE-27B-A18B-v2.1-Q4_K_M.gguf -ngl 99 -c 8192 -fa on --jinja

Any recent llama.cpp build with Qwen3.5 MoE support works. No fork, no patches.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов
8b0973c

0 моделей