Характеристики

Архитектура: qwen3_5_mtp · dense
Базовая модель: Qwen3.8-27B
Библиотека: mlx
Опубликована: 14 авг 2026

Ссылки

Hugging Face

Qwen3.8-27B-MTP-MLX

inferencerlabs

Изображение и текст → текст3 профессии

Извлечённые MTP-слои Qwen3.8-27B для ускорения генерации этой модели методом speculative decoding в MLX.

185скачиваний за 30 дней1лайквеса обновлены16 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Inferencer Labs публикует Qwen3.8-27B MTP — извлечённые слои Multi-Token Prediction (MTP) модели Qwen/Qwen3.8-27B для ускорения генерации методом speculative decoding. Чекпойнт предназначен для совместного использования с Qwen3.8-27B-MLX и служит черновой моделью, предлагающей токены для основной модели. Репозиторий использует библиотеку MLX и содержит веса в формате safetensors.

В README сообщается, что квантование Q4.5-bit обычно повышает пропускную способность и снижает потребление памяти без потери качества относительно исходных MTP-слоёв. Модель испытывали на M3 Ultra в приложении Inferencer. Это вспомогательный компонент для ускорения вывода, а не самостоятельная разговорная модель; заявленная совместимость привязана к Qwen3.8-27B-MLX. Лицензия в предоставленных данных не указана.

Сценарии применения

Ускорение генерации текста с Qwen3.8-27B-MLX
Снижение задержки вывода на системах Apple Silicon с MLX
Проверка speculative decoding для семейства Qwen3.8

Ограничения

Это вспомогательные MTP-слои, требующие совместимой основной модели Qwen3.8-27B-MLX; самостоятельное использование как полноценной модели не заявлено. Совместимость и результаты тестирования описаны для Inferencer на M3 Ultra.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.7Разработка и данныеDevOps, облако и эксплуатация IT-системAI помогает развёртывать, наблюдать и оптимизировать цифровые системы и облачную инфраструктуру.20 задач7 196моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.8-27B MTP

See Qwen3.8-27B with MTP in action: demonstration videos

This draft model contains the extracted Multi-Token Prediction (MTP) layers from Qwen/Qwen3.8-27B for use alongside the Qwen3.8-27B-MLX model as a speculative decoder for improved performance.

Q4.5-bit quant typically achieves higher throughput with less RAM usage and no loss in quality compared to the base MTP layers.

Tested on a M3 Ultra using Inferencer app

Disclaimer

We are not the creator, originator, or owner of any model listed. Each model is created and provided by third parties. Models may not always be accurate or contextually appropriate. You are responsible for verifying the information before making important decisions. We are not liable for any damages, losses, or issues arising from its use, including data loss or inaccuracies in AI-generated content.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Ревизия весов: 1342778