Компактная визуально-языковая модель на основе Qwen 2.5 0.5B для ответов на текстовые запросы по изображениям и дальнейшего дообучения.
529скачиваний за 30 дней9лайковвеса обновлены12 дек 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Prism — визуально-языковая модель Stanford ILIAD на основе Qwen 2.5 0.5B, совместимая с Prismatic. Она обучена на наборе Llava-1.5-Instruct и предназначена для задач, где нужно передать изображение и текстовый запрос и получить текстовый ответ. Модель можно использовать как основу для последующего обучения и дообучения в сценариях робототехники и визуального понимания.
Репозиторий содержит веса PyTorch и использует библиотеку Transformers. Модель поддерживает английский язык и визуальный ввод; размер контекста и дополнительные характеристики в доступных данных не приводятся. Лицензия — MIT.
Сценарии применения
ответы на вопросы о содержимом изображения
описание сцен и объектов для робототехнических систем
подготовка визуально-языковой модели к дообучению
обработка инструкций с визуальным контекстом
Ограничения
Модель обучена на Llava-1.5-Instruct и для специализированных сценариев может потребовать дополнительного дообучения. В карточке не приведены результаты оценивания качества.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Prism with Qwen 2.5 0.5B backbone (Prismatic-Compatible Version)
This model is trained on the Llava-1.5-Instruct dataset.
Usage Instructions
See the MiniVLA GitHub README for instructions on how to use this checkpoint for downstream training and finetuning.
Citation
BibTeX:
@article{belkhale24minivla,
title={MiniVLA: A Better VLA with a Smaller Footprint},
author={Suneel Belkhale and Dorsa Sadigh},
url={https://github.com/Stanford-ILIAD/openvla-mini}
year={2024}
}
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
СпособСтатусЦена
GPU в ailist
Универсальный рантайм · transformers
Нельзя запустить
Архитектура ? неизвестна transformers в образе рантайма.