Характеристики

Контекст: 4 096 токенов
Параметры: 3,7 млрд
Размер весов: 10,3 ГБ
Лицензия: Apache 2.0
Архитектура: llava_phi · dense
Базовая модель: LLaVA-Phi-3-mini-4k-instruct
Опубликована: 25 ноя 2024

Ссылки

Hugging Face arXiv 2409.19603

VideoLISA-3.8B

ZechenBai

Генерация текстаТекст → текст3 профессии

VideoLISA-3.8B — дообученная мультимодальная модель для сегментации объектов в видео по текстовым инструкциям.

203скачиваний за 30 дней6лайковвеса обновлены25 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

VideoLISA-3.8B — модель для сегментации объектов в видео по текстовым инструкциям, представленная Zechen Bai и соавторами из Show Lab Национального университета Сингапура и Amazon. Работа описана на NeurIPS 2024 под названием «One Token to Seg Them All: Language Instructed Reasoning Segmentation in Videos».

Модель основана на LLaVA-Phi-3-mini-4k-instruct и дообучена для языково-инструктируемой сегментации. Она содержит 3,7 млрд параметров, использует архитектуру LLaVA-Phi и принимает контекст до 4096 токенов. Предназначена для понимания текстовых запросов о содержимом видео и сегментации соответствующих объектов; в каталоге также отмечена поддержка генерации текста и чата.

Модель принимает изображения и текстовые инструкции и выдаёт текст и маски сегментации. В карточке указана лицензия Apache-2.0. README не содержит дополнительных сведений о качестве, поддерживаемых языках или практических ограничениях; метаданные указывают английский язык.