Четырёхбитная MLX-версия дообученной Qwen2.5-VL-3B для диалогового анализа изображений и видео.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Это четырёхбитная версия Qwen2.5-VL-3B-Instruct-abliterated, преобразованная сообществом mlx-community в формат MLX из huihui-ai/Qwen2.5-VL-3B-Instruct-abliterated с помощью mlx-vlm 0.1.13. В основе лежит дообученная Qwen/Qwen2.5-VL-3B-Instruct — компактная плотная мультимодальная модель Alibaba с 3,1 млрд параметров и контекстом до 128 000 токенов.
Модель предназначена для диалогового анализа изображений и видео с ответами на естественном языке; также поддерживает интерфейс вызова инструментов. Формат MLX и 4-битное представление рассчитаны на запуск на устройствах Apple с MLX. Метаданные указывают английский язык. Лицензия в предоставленных данных не указана.
Карточка отсылает за подробностями к исходной модели, поэтому её конкретные ограничения здесь не описаны. Версия преобразована для MLX и представлена в 4-битном формате.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model was converted to MLX format from huihui-ai/Qwen2.5-VL-3B-Instruct-abliterated using mlx-vlm version 0.1.13.
Refer to the original model card for more details on the model.
pip install -U mlx-vlm
python -m mlx_vlm.generate --model mlx-community/Qwen2.5-VL-3B-Instruct-abliterated-4bit --max-tokens 100 --temp 0.0 --prompt "Describe this image." --image <path_to_image>
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
MLX-модели работают только на Apple Silicon.