/ Модель

Характеристики

Контекст
32 768 токенов
Параметры
7,1 млрд
Размер весов
16,6 ГБ
Архитектура
vita-Qwen2 · dense
Опубликована
18 дек 2024

VITA-1.5

Генерация текстаТекст → текст3 профессии

VITA-1.5 — мультимодальная диалоговая модель для взаимодействия с видео и речевыми данными в реальном времени.

248скачиваний за 30 дней50лайковвеса обновлены16 янв 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

VITA-1.5 — мультимодальная модель семейства VITA-Qwen2, представленная авторами исследования «VITA-1.5: Towards GPT-4o Level Real-Time Vision and Speech Interaction». Репозиторий содержит веса модели в формате safetensors; размер модели — 7,1 млрд параметров, длина контекста — 32 768 токенов.

Модель предназначена для диалогового взаимодействия с визуальными и речевыми данными в реальном времени. Она может принимать видео и текст и формировать текстовые ответы; карточка также указывает на чат и интерфейс вызова инструментов. README не приводит подробных сведений о поддерживаемых языках, качестве на отдельных задачах или условиях лицензирования, поэтому эти характеристики нельзя уточнить.

Сценарии применения

  • ответы на вопросы по видео
  • диалог по визуальным данным
  • анализ видеосцен в ходе общения
  • речевое взаимодействие с ассистентом
  • вызов инструментов в диалоговом сценарии

Ограничения

README не уточняет поддерживаемые языки, показатели качества и лицензионные условия. Заявленная ориентация на взаимодействие в реальном времени не сопровождается в предоставленных материалах техническими показателями задержки.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура vita-Qwen2 неизвестна transformers в образе рантайма.

Класс архитектуры
VITAQwen2ForCausalLM
Ревизия весов
e42b47f

0 моделей