Четырёхбитная MLX-конверсия мультимодальной чат-модели Dolphin Vision на базе Qwen2-72B для диалога и ответов по изображениям.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
mlx-community/dolphin-vision-72b-4bit — 71,5-миллиардная мультимодальная чат-модель семейства LLaVA-Qwen2, преобразованная сообщественным проектом mlx-community в формат MLX из cognitivecomputations/dolphin-vision-72b. Она принимает текст и изображения и генерирует текст; подходит для диалога, ответов на вопросы по изображениям и общих задач генерации текста. Модель основана на Qwen/Qwen2-72B, дообученной на инструкционных и диалоговых данных, включая Dolphin, OpenHermes, наборы для программирования, математики и вызова функций. Заявленная длина контекста — 131 072 токена.
Репозиторий предназначен для использования с mlx-vlm на устройствах Apple, а веса представлены в 4-битном варианте. README ссылается на исходную карточку для подробностей; метаданные указывают лицензию как other, поэтому конкретные условия следует уточнять в исходной карточке и файлах лицензии. Качество ответов по изображениям и поддержка отдельных возможностей зависят от исходной модели и реализации; это крупная модель, требующая значительных ресурсов.
Для запуска требуется совместимая среда MLX и значительные вычислительные ресурсы; 4-битное представление может влиять на точность. Подробные ограничения исходной модели в предоставленном README не раскрыты.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model was converted to MLX format from cognitivecomputations/dolphin-vision-72b using mlx-vlm version 0.0.11.
Refer to the original model card for more details on the model.
pip install -U mlx-vlm
python -m mlx_vlm.generate --model mlx-community/dolphin-vision-72b-4bit --max-tokens 100 --temp 0.0
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
MLX-модели работают только на Apple Silicon.