This repository contains the model of the paper VITA-1.5: Towards GPT-4o Level Real-Time Vision and Speech Interaction.
Характеристики
- Контекст
- 32 768 токенов
- Параметры
- 7,1 млрд
- Размер весов
- 16,6 ГБ
- Архитектура
- vita-Qwen2 · dense
- Опубликована
- 18 дек 2024
Ссылки
VITA-1.5
VITA-1.5 — мультимодальная диалоговая модель для взаимодействия с видео и речевыми данными в реальном времени.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
VITA-1.5 — мультимодальная модель семейства VITA-Qwen2, представленная авторами исследования «VITA-1.5: Towards GPT-4o Level Real-Time Vision and Speech Interaction». Репозиторий содержит веса модели в формате safetensors; размер модели — 7,1 млрд параметров, длина контекста — 32 768 токенов.
Модель предназначена для диалогового взаимодействия с визуальными и речевыми данными в реальном времени. Она может принимать видео и текст и формировать текстовые ответы; карточка также указывает на чат и интерфейс вызова инструментов. README не приводит подробных сведений о поддерживаемых языках, качестве на отдельных задачах или условиях лицензирования, поэтому эти характеристики нельзя уточнить.
Сценарии применения
- ответы на вопросы по видео
- диалог по визуальным данным
- анализ видеосцен в ходе общения
- речевое взаимодействие с ассистентом
- вызов инструментов в диалоговом сценарии
Ограничения
README не уточняет поддерживаемые языки, показатели качества и лицензионные условия. Заявленная ориентация на взаимодействие в реальном времени не сопровождается в предоставленных материалах техническими показателями задержки.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Архитектура vita-Qwen2 неизвестна transformers в образе рантайма.
- Класс архитектуры
- VITAQwen2ForCausalLM
- Ревизия весов
- e42b47f