Характеристики

Лицензия: Apache 2.0
Архитектура: splash-packed-q8 · dense
Опубликована: 20 сен 2026

Ссылки

Qwen3.8-27B-Splash-HQ

Генерация текстаТекст → текст7 профессий

Qwen3.8-27B в native 8-bit формате для генерации текста с ускорением speculative decoding на Apple Silicon через совместимый Splash Metal runtime.

370скачиваний за 30 дней8лайковвеса обновлены25 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Репозиторий содержит веса Qwen3.8-27B в формате native 8-bit tiled, упакованные для запуска через Splash и ускорения генерации с помощью Multi-Token Prediction и speculative decoding. В README заявлены 27 млрд параметров, 64 слоя и оптимизация для Apple Silicon с Metal; состав файлов также включает черновую модель, vision-модель, токенизатор и manifest. Метаданные классифицируют модель как плотную causal language model семейства splash-packed-q8 с архитектурой Qwen38ForCausalLM и задачей text-generation.

Модель предназначена для генерации текста и высокопроизводительного вывода на Apple Silicon. README сообщает о проверенной полноте файлов и приводит результаты бенчмарка для Apple M-series с 64 ГиБ памяти, но эти цифры зависят от оборудования и указанной реализации Splash. Для запуска требуется совместимая Q8-версия Metal runtime: upstream Splash 1.0, по заявлению карточки, поддерживает только форматы Q4 и не принимает этот пакет. Лицензия репозитория — Apache-2.0.

Сценарии применения

генерация текста на компьютерах Apple Silicon
запуск Qwen3.8-27B с 8-битными весами
ускорение авторегрессивной генерации через speculative decoding
подключение модели к OpenAI-совместимому API на локальном устройстве

Ограничения

Для запуска требуется Q8-совместимая версия Splash Metal runtime; upstream Splash 1.0, согласно README, этот формат не поддерживает. Заявленная производительность зависит от оборудования Apple Silicon и конкретной реализации runtime.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.8-27B-Splash-HQ (Native 8-bit)

[!IMPORTANT]

⚠️ Runtime Package Compatibility Notice

This model is packed in the splash-packed-q8 (schema_version 5) format developed for high-precision Apple Silicon evaluation.

Official upstream Splash 1.0 (incoai/splash) only recognizes 4-bit formats (splash-packed-q4, schema 3/4) and will reject Q8 packages with repository is not a supported Splash runtime package.

To run this model, use the Q8-enabled Metal runtime fork available at: 👉 https://github.com/npanj/splash/tree/q8

All 81 model files (target layers, embedding, head, draft model, vision model, tokenizer, and manifest) are 100% complete and verified.

Overview

This repository contains the uncompressed native 8-bit weights of Qwen3.8-27B with built-in Multi-Token Prediction (MTP) heads, optimized for high-throughput speculative decoding on Apple Silicon.

All 64 layers are packed with true uncompressed 8-bit tiled weights (MDFL0008), preserving exact associative reasoning while running speculative verification via Splash's compiled Metal kernel pipeline.

Performance Benchmark vs Other Engines (Apple M-Series, 64 GiB)

Model / Engine	Format	Speculative Scheme	Decode Speed (tok/s)	Speedup vs Stock AR
Qwen3.8-27B-Splash-HQ	Native 8-bit	Splash Metal MTP	36.9 t/s (peak 54.8)	3.73x
Splash-Q8	Transcoded 8-bit	Splash Metal MTP	36.5 t/s (peak 52.7)	3.69x
Splash-Q4	4-bit	Splash Metal MTP	60.7 t/s (peak 83.3)	6.13x
MTPLX-Optimized-Quality	8-bit	MTPLX DraftCore D3	26.5 t/s (peak 28.8)	2.68x
MLX-Community 8bit	8-bit	None (Autoregressive)	9.9 t/s	1.00x
llama.cpp Q8_0 GGUF	Q8_0	None (Autoregressive)	9.9 t/s	1.00x

Step-by-Step Setup Recipe

1. Clone the Q8 Splash Engine Fork

git clone https://github.com/npanj/splash.git -b q8
cd splash

2. Build the Metal Kernels

make -j4

3. Serve the Model

./splash serve --model nitinpanj/Qwen3.8-27B-Splash-HQ --port 8000

(On first launch, this automatically verifies and downloads the model into install/models/nitinpanj/Qwen3.8-27B-Splash-HQ and starts the OpenAI-compatible API on http://127.0.0.1:8000).

4. Connect Coding Agents

# Connect with Oh My Pi (OMP)
omp --model splash/nitinpanj/Qwen3.8-27B-Splash-HQ

# Or connect with any OpenAI-compatible client at http://127.0.0.1:8000/v1

For the complete benchmark report, evaluation scripts, and raw JSON logs: 👉 https://github.com/npanj/splash-plus

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура splash-packed-q8 неизвестна transformers в образе рантайма.

Класс архитектуры: Qwen38ForCausalLM
Ревизия весов: 3a40867