DiffusionGemma-26B-A4B-it-4bit — это 4-битная модель в формате MLX, преобразованная сообществом mlx-community из google/diffusiongemma-26B-A4B-it с использованием mlx-vlm 0.6.3.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель предназначена для задач image-text-to-text: она принимает изображение и текстовый запрос и генерирует текстовый ответ, например описание изображения.
Из доступных данных известно, что базовая модель относится к семейству DiffusionGemma и имеет обозначение 26B-A4B. Поддерживается запуск через библиотеку mlx-vlm, что ориентировано на выполнение моделей в экосистеме MLX. Другие характеристики, включая архитектуру, точное число активируемых параметров, языки, размер контекста и дополнительные модальности, в карточке не указаны.
Ключевое преимущество модели — 4-битное квантование и формат MLX, потенциально упрощающие локальный запуск на совместимом оборудовании. Ограничения и результаты сравнительных оценок в README не приведены, поэтому качество, производительность и аппаратные требования нельзя достоверно оценить. Модель распространяется по лицензии Apache-2.0; для полного описания условий следует учитывать лицензию Gemma, на которую ссылается карточка.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model was converted to MLX format from google/diffusiongemma-26B-A4B-it
using mlx-vlm version 0.6.3.
Refer to the original model card for more details on the model.
pip install -U mlx-vlm
python -m mlx_vlm.generate --model mlx-community/diffusiongemma-26B-A4B-it-4bit --max-tokens 100 --temperature 0.0 --prompt "Describe this image." --image <path_to_image>
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · mlx
MLX-модели работают только на Apple Silicon, на GPU NVIDIA они не запускаются.