/ Модель

Характеристики

Лицензия
Apache 2.0
Базовая модель
Qwen3.8-27B
Библиотека
llama.cpp
Опубликована
14 авг 2026

Qwen3.8-27B-GGUF-Tater-NoThink

Изображение и текст → текст15 профессий

TaterTotterson/Qwen3.8-27B-GGUF-Tater-NoThink — это упаковка официальной модели Qwen3.8-27B в формате GGUF для работы с llama.cpp.

2 139скачиваний за 30 дней1лайквеса обновлены14 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Базовую модель разработала команда Qwen, а автор репозитория изменил только метаданные chat template, добавив режим Tater NoThink. Тензоры, квантизация, vision projector и MTP draft model не изменялись.

Модель представляет собой плотную vision-language модель с 27 млрд параметров. Она предназначена для понимания текста, изображений и видео, поддерживает вызов инструментов, контекстное окно размером 262K токенов и Multi-Token Prediction (MTP) для speculative decoding. В комплект входят основная модель Q4_K_M, vision projector Q8_0 и MTP draft model Q8_0. Для использования мультимодальных возможностей требуется vision projector, а для speculative decoding — отдельная MTP-модель; эффективность ускорения зависит от аппаратного обеспечения, бэкенда, промпта и длины контекста.

Главная особенность варианта NoThink — принудительное отключение режима рассуждений: генерация начинается с пустого блока <think></think> и сразу переходит к ответу, даже если клиент запрашивает thinking mode. Это может быть удобно для получения более прямых ответов и сокращения служебного вывода, но ограничивает использование явного режима рассуждений. Модель распространяется по лицензии Apache License 2.0.

Для каких профессий подходит15

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.8-27B GGUF — Tater NoThink

This repository packages the official Qwen3.8-27B llama.cpp artifacts with a Tater NoThink chat-template patch.

Qwen3.8-27B is a dense 27B vision-language model. It supports text, image, and video understanding, tool calling, a native 262K context window, and Multi-Token Prediction (MTP).

What changed

Only the chat-template metadata in the main GGUF was changed. The template forces enable_thinking = false, including when a client requests thinking mode. Generation begins with an empty <think></think> block and proceeds directly to the answer.

The model tensors and quantization were not modified. The vision projector and MTP draft model are unchanged files from the pinned ggml-org conversion.

Files

FilePurpose
Qwen3.8-27B-Tater-NoThink-Q4_K_M.ggufMain Q4_K_M NoThink model
mmproj-Qwen3.8-27B-Q8_0.ggufOfficial Q8_0 vision projector
mtp-Qwen3.8-27B-Q8_0.ggufOfficial Q8_0 MTP draft model for speculative decoding
chat_template.jinjaPatched template embedded in the main GGUF

Tater

Download the main GGUF. Tater will also offer the vision projector with it.

For speculative decoding, enable Speculative Decoding, select MTP, and choose mtp-Qwen3.8-27B-Q8_0.gguf as the draft model.

llama.cpp example

llama-server \
  --model Qwen3.8-27B-Tater-NoThink-Q4_K_M.gguf \
  --mmproj mmproj-Qwen3.8-27B-Q8_0.gguf \
  --spec-draft-model mtp-Qwen3.8-27B-Q8_0.gguf \
  --spec-type draft-mtp \
  --spec-draft-n-max 6

MTP performance depends on the backend, prompt, context length, and hardware. Compare it with ordinary generation on your own workload.

Sources

The official conversion currently supplies MTP sidecars. No DFlash or DSpark draft model is included here because there is no corresponding official artifact in the pinned source repository.

Integrity

SHA-256:

  • Main NoThink GGUF: 4c844893d312b740f189c84f007e6dc015a84837f4031f59156ad758941d312c
  • Vision projector: 2e968a6af97ce35d8971890b257b9b7edabf20ad91450501fa53162a19ee33eb
  • MTP draft model: cbf60a0c48b431bb61f1d49b8948dc88ac29c398d6dbdbbb2e6e89ef77eacc9a

The combined tensor-data SHA-256 is also checked before publishing to confirm that the main model's tensor payload is identical to the official Q4_K_M source.

License

Qwen3.8-27B is provided under the Apache License 2.0. The upstream license is included as LICENSE.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · llama.cpp

Нельзя запустить

GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).

Ревизия весов
fa1df8a

0 моделей