Характеристики
- Контекст
- 512 токенов
- Параметры
- 137 млн
- Архитектура
- visual_bert · dense
Ссылки
visualbert-vqa
Мультимодальная модель VisualBERT от UCLA NLP для ответов на вопросы о содержимом изображений.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
uclanlp/visualbert-vqa — мультимодальная модель VisualBERT, разработанная UCLA NLP для ответов на вопросы по изображениям. Она объединяет текстовый вопрос с визуальными признаками изображения и предназначена прежде всего для задач visual question answering и других сценариев мультимодального вопросно-ответного анализа.
Модель построена на архитектуре VisualBERT с BERT-подобным мультимодальным энкодером; для изображения используются визуальные эмбеддинги, обычно полученные из областей изображения и признаков детектора объектов. В метаданных указаны 136,7 млн параметров, максимальный контекст 512 токенов, библиотека Transformers и фреймворк PyTorch. В карточке Hugging Face модель обозначена как question-answering и visual_bert.
Сильная сторона модели — совместная обработка текста и визуальной информации для вопросов о содержимом изображения. Для работы требуется подготовить визуальные эмбеддинги изображения, поэтому модель не является автономной системой анализа необработанных файлов изображений. Язык модели в карточке не подтверждён. Модель распространяется по лицензии Apache 2.0.
Сценарии применения
- ответы на вопросы по изображениям
- определение объектов и их свойств по вопросу
- анализ сцен на фотографиях
- извлечение визуальной информации по текстовому запросу
Ограничения
Для работы нужны визуальные эмбеддинги изображения, обычно извлечённые отдельным детектором объектов или визуальным энкодером. Модель может воспроизводить стереотипы и ошибки, а её языковая поддержка в карточке не подтверждена.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Автор не опубликовал карточку модели.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · question-answering
Для архитектуры visual_bert нет загрузчика под задачу question-answering.
- Класс архитектуры
- VisualBertForQuestionAnswering
- Ревизия весов
- e3da2db