Характеристики

Лицензия: Apache 2.0
Базовая модель: gemma-4-31B-it
Библиотека: mtplx
Опубликована: 6 мая 2026

Ссылки

Hugging Face

Gemma4-MTPLX-Optimized-Quality

Youssofal

Генерация текстаТекст → текст

Комплект из Gemma 4 31B IT и модели-помощника для спекулятивной генерации текста на Apple Silicon с MLX и MTPLX.

0скачиваний за 30 дней5лайковвеса обновлены24 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Youssofal/Gemma4-MTPLX-Optimized-Quality — комплект из двух моделей для спекулятивного декодирования Gemma 4 31B на компьютерах Apple с MLX. В комплект входят целевая Gemma 4 31B IT и официальная модель-помощник Gemma 4 31B assistant; обе представлены в формате MLX с 8-битной аффинной квантизацией и размером группы 64. Репозиторий объединяет артефакты на основе google/gemma-4-31B-it и google/gemma-4-31B-it-assistant.

Комплект предназначен для генерации текста с MTPLX, когда важны точность целевой модели и высокая доля принятых спекулятивных токенов. Он поддерживает сценарии Gemma 4 31B IT, включая диалог, анализ изображений и генерацию текста в длинном контексте. По README, это не вариант с максимальной скоростью генерации; для приоритета скорости автор предлагает отдельный комплект. В метаданных указана лицензия Apache 2.0, тогда как README ссылается на лицензионные условия Gemma 4; перед использованием следует учитывать условия базовых моделей Google.

Сценарии применения

ускорение генерации текста Gemma 4 31B на Apple Silicon
диалоговая генерация с использованием MTPLX
генерация программного кода с Gemma 4 31B
анализ изображений базовой мультимодальной моделью Gemma 4

Ограничения

Комплект рассчитан на Apple Silicon и использование с MTPLX; он не оптимизирован для максимальной скорости генерации. Для базовой модели Gemma 4 README указывает поддержку анализа изображений, но карточка комплекта описывает пару как предназначенную для генерации текста.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Gemma4 MTPLX Optimized Quality

This is an MTPLX pair bundle for Gemma 4 31B speculative decoding on Apple Silicon.

It is not a single vanilla Transformers model directory. The repository contains two MLX-format artifacts:

target/ - Gemma 4 31B IT target, MLX Q8 affine group-size 64
assistant/ - official Gemma 4 31B assistant drafter, MLX Q8 affine group-size 64

Use this pair when target precision and high acceptance are the priority.

Source

Target source: google/gemma-4-31B-it
Target revision: 145dc2508c480a64b47242f160d286cff94a2343
Assistant source: google/gemma-4-31B-it-assistant
Assistant revision: cffbbd2cea41ea56a0fa5b0487e0d445121fd204

Both artifacts were converted locally to MLX format.

Quantization

Target:

bits: 8
group_size: 64
mode: affine

Assistant:

bits: 8
group_size: 64
mode: affine

MTPLX Usage

MTPLX loads the pair straight from this repository:

pip install mtplx
mtplx serve --model Youssofal/Gemma4-MTPLX-Optimized-Quality

To find the best draft block size for your Mac, run mtplx tune --model Youssofal/Gemma4-MTPLX-Optimized-Quality.

The Gemma 4 assistant is a separate drafter model. MTPLX uses exact speculative sampling with target verification and residual correction.

Local Benchmark

Prompt: single-file HTML5 Canvas Flappy Bird game, capped at 1000 generated tokens.

Sampler:

temperature: 1.0
top_p: 0.95
top_k: 64
seed: 0

Best observed block size:

block_size: 6
acceptance: 833 / 835 = 99.76%
speedup_vs_ar: 2.49x

Observed MTPLX throughput samples:

34.22 tok/s
32.88 tok/s
33.12 tok/s

The bundled benchmark JSON file is in benchmarks/.

Notes

This release is optimized for target precision and high acceptance. It is not the fastest absolute-TPS pair; for speed, use Youssofal/Gemma4-MTPLX-Optimized-Speed.

Gemma 4 is released by Google under the Gemma 4 license terms linked above.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mtplx

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Ревизия весов: a66514e