/ Модель
Каталог

Характеристики

Лицензия
Apache 2.0
Библиотека
mtplx
Опубликована
6 мая 2026

Ссылки

Hugging Face

Gemma4-MTPLX-Optimized-Speed

Youssofal
Генерация текстаТекст → текст

Пара квантованных моделей Gemma 4 31B в формате MLX ускоряет генерацию текста методом speculative decoding через MTPLX на Apple Silicon.

0скачиваний за 30 дней4лайкавеса обновлены24 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Репозиторий Youssofal содержит пару артефактов MLX для ускоренной генерации текста с помощью speculative decoding на устройствах Apple Silicon: целевую модель Gemma 4 31B IT и модель-черновик Gemma 4 31B assistant, используемые вместе через MTPLX. Целевая модель квантована до 4 бит с affine-квантованием и размером группы 64, черновик — до 6 бит с тем же размером группы. Обе модели получены локальной конвертацией исходных моделей Google в формат MLX.

Пара предназначена для сценариев, где важна высокая скорость генерации, включая запуск чат-модели и создание программного кода. В README приведён пример локального бенчмарка генерации HTML5 Canvas игры. Репозиторий — это связка двух моделей для MTPLX, а не единый каталог стандартной модели Transformers; заявлена оптимизация для экспериментов со скоростью. Лицензия метаданных — Apache 2.0, тогда как README ссылается на условия лицензии Gemma 4 от Google.

Сценарии применения

  • ускоренная генерация ответов чат-моделью на Mac с Apple Silicon
  • генерация программного кода локально
  • создание HTML5 Canvas игр по текстовому запросу
  • эксперименты со скоростью speculative decoding

Ограничения

Пара предназначена для MTPLX и требует совместимого окружения MLX на Apple Silicon; репозиторий не является единым стандартным каталогом Transformers. Низкая точность квантования целевой модели до 4 бит может влиять на качество.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Gemma4 MTPLX Optimized Speed

This is an MTPLX pair bundle for Gemma 4 31B speculative decoding on Apple Silicon.

It is not a single vanilla Transformers model directory. The repository contains two MLX-format artifacts:

  • target/ - Gemma 4 31B IT target, MLX Q4 affine group-size 64
  • assistant/ - official Gemma 4 31B assistant drafter, MLX Q6 affine group-size 64

Use this pair when absolute throughput is the priority.

Source

  • Target source: google/gemma-4-31B-it
  • Target revision: 145dc2508c480a64b47242f160d286cff94a2343
  • Assistant source: google/gemma-4-31B-it-assistant
  • Assistant revision: cffbbd2cea41ea56a0fa5b0487e0d445121fd204

Both artifacts were converted locally to MLX format.

Quantization

Target:

bits: 4
group_size: 64
mode: affine

Assistant:

bits: 6
group_size: 64
mode: affine

MTPLX Usage

MTPLX loads the pair straight from this repository:

pip install mtplx
mtplx serve --model Youssofal/Gemma4-MTPLX-Optimized-Speed

In the Mac app, pick "Gemma 4 31B Optimized Speed". To find the best draft block size for your Mac, run mtplx tune --model Youssofal/Gemma4-MTPLX-Optimized-Speed.

The Gemma 4 assistant is a separate drafter model. MTPLX uses exact speculative sampling with target verification and residual correction.

Local Benchmark

Prompt: single-file HTML5 Canvas Flappy Bird game, capped at 1000 generated tokens.

Sampler:

temperature: 1.0
top_p: 0.95
top_k: 64
seed: 0

Best observed block size:

block_size: 6
acceptance: 830 / 846 = 98.11%

Observed MTPLX throughput samples:

43.56 tok/s
44.46 tok/s
44.07 tok/s

The bundled benchmark JSON files are in benchmarks/.

Notes

This release is optimized for MTPLX speed experiments. For a higher-precision target, use Youssofal/Gemma4-MTPLX-Optimized-Quality.

Gemma 4 is released by Google under the Gemma 4 license terms linked above.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mtplx

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Ревизия весов
3d76877

0 моделей

    Создать бенчмарк