Конвертированная в MLX вспомогательная модель Gemma 4 12B IT предлагает токены для speculative decoding и ускорения генерации целевой моделью.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Это конвертированная в формат MLX модель Gemma 4 12B IT Assistant, основанная на чекпойнте Google Gemma 4 12B IT Assistant. Конверсию выполнило сообщество mlx-community с помощью mlx-vlm 0.6.0; веса представлены в формате safetensors и имеют точность bf16.
Модель предназначена для ускорения генерации текста в режиме speculative decoding: она предлагает токены, которые проверяет целевая модель. Для запуска в MLX можно использовать библиотеку mlx-vlm. В метаданных указана лицензия Apache 2.0.
Это плотная модель семейства Gemma 4 Unified Assistant с архитектурой Gemma4UnifiedAssistantForCausalLM и размером 12 млрд параметров. Карточка рекомендует обращаться к исходной модели за дополнительными сведениями о возможностях и ограничениях; поэтому языки, контекст и дополнительные модальности здесь не уточняются.
Для использования модель предназначена как помощник при speculative decoding, а не как самостоятельная целевая модель. Подробности о языках, контексте и других ограничениях следует сверять с карточкой исходной модели.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model was converted to MLX format from google/gemma-4-12B-it-assistant
using mlx-vlm version 0.6.0.
Refer to the original model card for more details on the model.
pip install -U mlx-vlm
python -m mlx_vlm.generate --model mlx-community/gemma-4-12B-it-assistant-bf16 --max-tokens 100 --temperature 0.0 --prompt "Describe this image." --image <path_to_image>
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · mlx
MLX-модели работают только на Apple Silicon.