6-битная конверсия Qwen2.5-VL-72B-Instruct в формат MLX для диалогового анализа изображений и генерации текстовых ответов.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Это 6-битная версия Qwen2.5-VL-72B-Instruct, подготовленная mlx-community конвертацией исходной модели в формат MLX с помощью mlx-vlm 0.1.11. Модель с плотной архитектурой Qwen2.5-VL содержит 71,5 млрд параметров и предназначена для диалогового анализа изображений и генерации текстовых ответов; также поддерживает интерфейс вызова инструментов. Метаданные указывают контекст длиной до 128 000 токенов.
Модель принимает текст и изображения и выдаёт текст. Карточка ссылается на описание исходной модели для подробностей о возможностях; в качестве лицензии в метаданных указано «other», поэтому конкретные условия следует сверять с карточкой базовой модели и файлами лицензии репозитория. Версия рассчитана на запуск в экосистеме MLX.
Это 6-битная конверсия, поэтому характеристики могут отличаться от исходной модели. README не описывает подробно возможности и ограничения; лицензия обозначена как «other», условия следует уточнить в исходной карточке.
README от автора на Hugging Face, как он его опубликовал
This model was converted to MLX format from Qwen/Qwen2.5-VL-72B-Instruct using mlx-vlm version 0.1.11.
Refer to the original model card for more details on the model.
pip install -U mlx-vlm
python -m mlx_vlm.generate --model mlx-community/Qwen2.5-VL-72B-Instruct-6bit --max-tokens 100 --temp 0.0 --prompt "Describe this image." --image <path_to_image>
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
MLX-модели работают только на Apple Silicon.