Шестибитная MLX-конверсия мультимодальной Llama 4 Maverick для диалогов и анализа изображений.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Это конверсия модели Llama 4 Maverick от Meta в формат MLX с 6-битным представлением весов, подготовленная сообществом mlx-community. Модель предназначена для диалогов с текстом и изображениями: она отвечает на вопросы о визуальном содержимом, описывает изображения и поддерживает интерфейс вызова инструментов.
Репозиторий указывает исходную модель meta-llama/Llama-4-Maverick-17B-128E-Instruct; конверсия выполнена с помощью mlx-vlm версии 0.1.21. Поддерживаются арабский, немецкий, английский, испанский, французский, хинди, индонезийский, итальянский, португальский, тайский, тагальский и вьетнамский языки. В метаданных архитектура обозначена как Llama4ForConditionalGeneration; численные параметры контекста и размер модели не приведены.
Модель рассчитана на запуск с mlx-vlm в экосистеме MLX. Лицензия обозначена как other; условия следует сверять с карточкой исходной модели Meta. README рекомендует обращаться к исходной карточке за подробностями о модели.
Это конверсия в формат MLX с 6-битными весами, предназначенная для запуска с mlx-vlm; качество и совместимость могут отличаться от исходной модели. Для подробностей об ограничениях и лицензии требуется свериться с карточкой исходной модели.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model was converted to MLX format from meta-llama/Llama-4-Maverick-17B-128E-Instruct using mlx-vlm version 0.1.21.
Refer to the original model card for more details on the model.
pip install -U mlx-vlm
python -m mlx_vlm.generate --model mlx-community/Llama-4-Maverick-17B-128E-Instruct-6bit --max-tokens 100 --temperature 0.0 --prompt "Describe this image." --image <path_to_image>
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
MLX-модели работают только на Apple Silicon.