Характеристики

Контекст: 262 144 токена
Размер весов: 849 МБ
Лицензия: Apache 2.0
Архитектура: qwen3_5_mtp · dense
Библиотека: mlx
Опубликована: 14 авг 2026

Ссылки

Hugging Face

Qwen3.8-27B-MTP-bf16-MLX

lukaskremla

Генерация текстаТекст → текст3 профессии

Преобразованный в MLX MTP-компонент для ускорения генерации текста Qwen3.8-27B с помощью speculative decoding.

222скачиваний за 30 дней1лайквеса обновлены1 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это набор тензоров Multi-Token Prediction (MTP), извлечённых из Qwen/Qwen3.8-27B и преобразованных разработчиком в автономный формат draft-модели MLX для mlx-vlm. Это не самостоятельная языковая модель: компонент загружается вместе с совместимой целевой моделью Qwen3.8-27B и помогает ускорять генерацию посредством speculative decoding. BF16-drafter совместим с целевыми моделями MLX в вариантах квантования от 2 до 8 бит; совпадение разрядности не требуется.

Репозиторий предназначен для сценариев ускоренной генерации текста и диалога на совместимых моделях Qwen3.8-27B в MLX. Веса представлены в safetensors и преобразованы из Qwen/Qwen3.8-27B с помощью mlx-vlm версии 0.6.13. Лицензия — Apache-2.0.

Сценарии применения

ускорение генерации текста на совместимой Qwen3.8-27B
ускорение диалоговой генерации в MLX
использование draft-модели для speculative decoding
подключение BF16 MTP-drafter к квантованной целевой модели Qwen3.8-27B

Ограничения

Не является самостоятельной языковой моделью и требует совместимую целевую Qwen3.8-27B с загрузкой через mlx-vlm. Совместимость с другими семействами моделей не заявлена.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

lukaskremla/Qwen3.8-27B-MTP-bf16-MLX

This repository contains the native Multi-Token Prediction (MTP) tensors extracted from Qwen/Qwen3.8-27B and converted into the standalone MLX drafter format expected by mlx-vlm.

This is not a standalone language model. It must be loaded as the draft model alongside a compatible Qwen3.8-27B target model.

The same BF16 drafter can be used with the 2-bit, 3-bit, 4-bit, 5-bit, 6-bit and 8-bit MLX target models. Quantizations don't need to match.

You can download the vision capable or text-only Qwen 3.8 27B weights in a variety of MLX quantizations from this collection Qwen 3.8 27B MLX-Quants (Vision, Text-Only & MTP).

Hugging Face might render incorrect parameter counts for this model, it is a common display bug for MLX quants.

Credits

Converted to MLX format from Qwen/Qwen3.8-27B using mlx-vlm version 0.6.13.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Ревизия весов: bb6ef81