/ Модель
Каталог

Характеристики

Лицензия
Apache 2.0
Базовая модель
Qwen3.8-27B
Библиотека
gguf
Опубликована
15 авг 2026

Ссылки

Hugging Face

Qwen3.8-27B-MTP-TQ3_4S

jajmangold
Генерация текстаТекст → текст7 профессий

Квантованная GGUF-сборка Qwen3.8-27B с MTP-головой для диалоговой генерации текста и ускорения декодирования.

48скачиваний за 30 дней1лайквеса обновлены15 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Qwen3.8-27B-MTP-TQ3_4S — сборка Qwen/Qwen3.8-27B в формате GGUF с квантизацией TurboQuant TQ3_4S и встроенной черновой головой MTP для speculative decoding. Разработчик сборки — jajmangold; в README также отмечен вклад Y Tan в путь квантизации и поддержку формата в форке llama.cpp.

Модель предназначена для диалоговой генерации текста. Архитектура указана как qwen35: 64 слоя, гибрид Gated DeltaNet и Gated Attention, один блок MTP; нативный контекст — 262 144 токена. Файл занимает 13,68 ГБ. Для запуска требуется совместимый форк TurboQuant runtime: обычная сборка llama.cpp не поддерживает тип тензоров TQ3_4S. Метаданные указывают английский язык и лицензию Apache-2.0.

Сценарии применения

  • диалоговые ответы на английском языке
  • генерация и продолжение текста
  • обработка длинных текстовых запросов в пределах контекста модели
  • локальный запуск языковой модели в TurboQuant runtime

Ограничения

Для загрузки требуется форк TurboQuant runtime; стандартная сборка llama.cpp несовместима с типом тензоров TQ3_4S. Указание на мультимодальные возможности базовой модели относится к исходной модели и в README этой сборки не подтверждено.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейI.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.8-27B-MTP-TQ3_4S

TurboQuant TQ3_4S GGUF build of Qwen/Qwen3.8-27B with native MTP (Multi-Token Prediction) draft heads for speculative decoding.

This file was quantized with the TurboQuant toolchain and is intended for the public TurboQuant runtime fork maintained by Y Tan (GitHub: turbo-tan):

Credit goes to Y Tan for the TQ3_4S quantization path and the llama.cpp runtime support this model depends on. See the Qwen3.5-27B-TQ3_4S reference card for the format's published quality and speed characteristics.

Required Runtime

This model requires the TurboQuant runtime fork — stock llama.cpp builds cannot load the TQ3_4S tensor type.

This is an MTP model: the GGUF includes the trained MTP draft block, so serve it with draft-MTP speculative decoding for full decode speed.

git clone https://github.com/turbo-tan/llama.cpp-tq3.git
cd llama.cpp-tq3

cmake -B build -DGGML_CUDA=ON -DCMAKE_BUILD_TYPE=Release
cmake --build build -j

File

  • File: Qwen3.8-27B-MTP-TQ3_4S.gguf
  • Size: 13.68 GB (12.74 GiB)
  • SHA256: b734f643665a9d1f356cfcca0ef65572eb08ab9ab25c29b1ddf4ac602548e2cb
  • Quantization: TQ3_4S (3.5-bit Walsh-Hadamard transform format)
  • Architecture: qwen35 — 64 layers, hybrid Gated DeltaNet + Gated Attention, 1 MTP draft block
  • Context: 262,144 tokens native

Recommended Launch

./build/bin/llama-server \
  -m Qwen3.8-27B-MTP-TQ3_4S.gguf \
  --host 127.0.0.1 --port 8080 \
  -c 32768 -np 1 -ngl 99 -fa on \
  -ctk q8_0 -ctv tq3_0 \
  --spec-type draft-mtp \
  --spec-draft-n-min 1 \
  --spec-draft-n-max 2 \
  --spec-draft-p-min 0.0 \
  --no-spec-draft-backend-sampling \
  --reasoning off --jinja

Settings notes:

  • --spec-draft-n-max 2 is optimal for the 3.8 MTP head (measured)
  • --no-spec-draft-backend-sampling keeps CUDA graph reuse high
  • The model supports thinking mode via --reasoning-format deepseek --reasoning-budget N

License

Subject to the Qwen3.8-27B base model license (Apache 2.0) and the license terms of the runtime components used to run the GGUF.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Можно запустить

Подбираем GPU…

Ревизия весов
187b146

0 моделей

    Создать бенчмарк