/ Модель

Характеристики

Контекст
2 048 токенов
Параметры
2,6 млрд
Лицензия
Apache 2.0
Архитектура
mobilevlm · dense
Опубликована
6 фев 2024

MobileVLM_V2-3B

Генерация текстаТекст → текст3 профессии

Компактная зрительно-языковая модель для ответов на вопросы об изображениях и других задач понимания изображений по текстовому запросу.

235скачиваний за 30 дней7лайковвеса обновлены7 фев 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MobileVLM_V2-3B — зрительно-языковая модель семейства MobileVLM V2, разработанная авторами проекта MobileVLM. Она построена на базе MobileLLaMA-2.7B-Chat и предназначена для совместного понимания изображений и текста с возможностью развёртывания на мобильных устройствах. В метаданных указаны плотная архитектура MobileLlamaForCausalLM, 2,6 млрд параметров, контекст 2048 токенов и формат PyTorch.

Модель ориентирована на визуальные вопросы и ответы, а также другие сценарии, где нужно связать изображение с текстовым запросом. Авторы сообщают, что версия 3B превосходит ряд моделей крупнее 7B на визуально-языковых бенчмарках; README не приводит численные результаты или подробности о мобильном оборудовании. Лицензия — Apache-2.0.

Сценарии применения

  • ответы на вопросы по изображению
  • описание содержимого изображения
  • визуальный диалог с изображением
  • извлечение сведений с изображения по текстовому запросу

Ограничения

README не уточняет языковое покрытие и не приводит количественных результатов бенчмарков; заявленные сравнения производительности не сопровождаются таблицами или условиями оценки.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Summery

MobileVLM V2 is a family of significantly improved vision language models upon MobileVLM, which proves that a delicate orchestration of novel architectural design, an improved training scheme tailored for mobile VLMs, and rich high-quality dataset curation can substantially benefit VLMs’ performance. Specifically, MobileVLM V2 1.7B achieves better or on-par performance on standard VLM benchmarks compared with much larger VLMs at the 3B scale. Notably, MobileVLM_V2-3B model outperforms a large variety of VLMs at the 7B+ scale.

The MobileVLM_V2-3B was built on our MobileLLaMA-2.7B-Chat to facilitate the off-the-shelf deployment.

Model Sources

How to Get Started with the Model

Inference examples can be found at Github.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура mobilevlm неизвестна transformers в образе рантайма.

Класс архитектуры
MobileLlamaForCausalLM
Ревизия весов
a985787

0 моделей