/ Модель

Характеристики

Размер весов
7,9 ГБ
Лицензия
MIT
Библиотека
transformers
Опубликована
12 дек 2024

prism-qwen25-extra-dinosiglip-224px-0_5b

Изображение и текст → текст3 профессии

Компактная визуально-языковая модель на основе Qwen 2.5 0.5B для ответов на текстовые запросы по изображениям и дальнейшего дообучения.

529скачиваний за 30 дней9лайковвеса обновлены12 дек 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Prism — визуально-языковая модель Stanford ILIAD на основе Qwen 2.5 0.5B, совместимая с Prismatic. Она обучена на наборе Llava-1.5-Instruct и предназначена для задач, где нужно передать изображение и текстовый запрос и получить текстовый ответ. Модель можно использовать как основу для последующего обучения и дообучения в сценариях робототехники и визуального понимания.

Репозиторий содержит веса PyTorch и использует библиотеку Transformers. Модель поддерживает английский язык и визуальный ввод; размер контекста и дополнительные характеристики в доступных данных не приводятся. Лицензия — MIT.

Сценарии применения

  • ответы на вопросы о содержимом изображения
  • описание сцен и объектов для робототехнических систем
  • подготовка визуально-языковой модели к дообучению
  • обработка инструкций с визуальным контекстом

Ограничения

Модель обучена на Llava-1.5-Instruct и для специализированных сценариев может потребовать дополнительного дообучения. В карточке не приведены результаты оценивания качества.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Prism with Qwen 2.5 0.5B backbone (Prismatic-Compatible Version)

This model is trained on the Llava-1.5-Instruct dataset.

Usage Instructions

See the MiniVLA GitHub README for instructions on how to use this checkpoint for downstream training and finetuning.

Citation

BibTeX:

@article{belkhale24minivla,
    title={MiniVLA: A Better VLA with a Smaller Footprint},
    author={Suneel Belkhale and Dorsa Sadigh},
    url={https://github.com/Stanford-ILIAD/openvla-mini}
    year={2024}
} 

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Архитектура ? неизвестна transformers в образе рантайма.

Ревизия весов
5cfd2cc

0 моделей