/ Модель

Характеристики

Архитектура
gemma4_assistant · dense
Базовая модель
gemma-4-26B-A4B-it
Библиотека
mlx
Опубликована
24 мая 2026

gemma-4-26B-A4B-MTP-MLX

Генерация текстаТекст → текст3 профессии

Вспомогательные MTP-слои Gemma 4 для ускорения генерации основной MLX-модели посредством спекулятивного декодирования.

220скачиваний за 30 дней1лайквеса обновлены27 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

inferencerlabs выпустила MLX-версию вспомогательной модели Gemma 4 26B A4B MTP. Она содержит слои Multi-Token Prediction из google/gemma-4-26B-A4B-it-assistant и предназначена для совместной работы с Gemma-4-26B-A4B-MLX в режиме спекулятивного декодирования, чтобы ускорять генерацию. Это черновая модель, а не самостоятельный диалоговый чекпойнт.

Модель рассчитана на запуск через MLX на компьютерах Apple с соответствующей основной моделью. В README сообщается о тестировании на M3 Ultra с 512 ГБ оперативной памяти; также приводится оценка, что квантование Q4.5 может повысить пропускную способность и снизить расход памяти без потери качества в тесте программирования. Репозиторий содержит веса safetensors. Базовая модель Gemma 4 поддерживает диалог, рассуждения, программирование и анализ изображений с выдачей текста, однако эта MTP-модель используется как компонент ускорения, а не как отдельная мультимодальная модель. Условия лицензии в предоставленных данных не описаны.

Сценарии применения

  • ускорение генерации текста в Gemma 4 на MLX
  • ускорение программирования с Gemma 4 на компьютерах Apple
  • снижение задержки при спекулятивном декодировании Gemma 4

Ограничения

Требует совместимой основной модели Gemma-4-26B-A4B-MLX и среды MLX; не предназначена для самостоятельного использования. Заявление о скорости и качестве основано на тестировании и не гарантирует такой же результат на других конфигурациях.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Gemma-4-26B-A4B MTP

See Gemma-4-26B-A4B in action: demonstration videos

This draft model contains the Multi-Token Prediction (MTP) layers from google/gemma-4-26B-A4B-it-assistant for use alongside the Gemma-4-26B-A4B-MLX model as a speculative decoder for improved performance.

Q4.5-bit quant typically achieves higher throughput with less RAM usage at no loss in quality in our coding test.

Tested on a M3 Ultra 512GB RAM using Inferencer app v1.11.5

Disclaimer

We are not the creator, originator, or owner of any model listed. Each model is created and provided by third parties. Models may not always be accurate or contextually appropriate. You are responsible for verifying the information before making important decisions. We are not liable for any damages, losses, or issues arising from its use, including data loss or inaccuracies in AI-generated content.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Класс архитектуры
Gemma4AssistantForCausalLM
Ревизия весов
672f83c

0 моделей