Характеристики

Параметры: 28,3 млн
Архитектура: videomt · dense
Библиотека: transformers
Опубликована: 25 фев 2026

Ссылки

videomt-dinov2-small-ytvis2019

Сегментация изображенийИзображение → mask3 профессии

VidEoMT-S — конверсия модели на базе DINOv2 для сегментации экземпляров объектов в видео, обученная для YouTube-VIS 2019.

11 335скачиваний за 30 дней0лайковвеса обновлены27 мар 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

VidEoMT-S — модель сегментации видео, подготовленная исследовательской группой Tübingen Machine Perception для датасета YouTube-VIS 2019. Репозиторий содержит конверсию официального чекпойнта `yt_2019_vit_small_52.8.pth` из `tue-mps/VidEoMT` в формат Hugging Face Transformers.

Модель выполняет сегментацию отдельных объектов по кадрам видео. В основе — VidEoMT с бэкбоном DINOv2 ViT-S/14 и четырьмя register-токенами; чекпойнт настроен на входное разрешение 640 × 640 и обработку двух кадров. Авторы сообщают AP 52,8, AR@10 62,2 и скорость 294 кадра в секунду на условиях их модельного зоопарка.

Модель предназначена для выделения и отслеживания экземпляров объектов в видео, в частности в сценариях, похожих на YouTube-VIS 2019. Карточка не приводит отдельной лицензии; условия использования следует сверить с исходным репозиторием и датасетом. Показатели производительности приведены авторами и могут отличаться на другом оборудовании и с другими настройками.

Сценарии применения

сегментация отдельных объектов в видео
построение покадровых масок экземпляров объектов
анализ видеоклипов с несколькими объектами
оценка качества систем сегментации видео на YouTube-VIS 2019

Ограничения

Чекпойнт рассчитан на YouTube-VIS 2019, обрабатывает два кадра с разрешением 640 × 640; качество на других наборах данных не подтверждено в карточке. Лицензия в предоставленных данных не указана.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей IV.1Отраслевые задачиРитейл, электронная коммерция и fashion-techAI помогает управлять ассортиментом, покупательским опытом и эффективностью торговых операций.29 задач5 934модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

VidEoMT-S on YouTube-VIS 2019

This repository contains the Hugging Face Transformers conversion of the official VidEoMT checkpoint yt_2019_vit_small_52.8.pth from tue-mps/VidEoMT.

Model details

Architecture: VidEoMT with a DINOv2 ViT-S/14 with 4 register tokens backbone
Task: video instance segmentation
Dataset: YouTube-VIS 2019
Input resolution: 640 x 640
Number of frames: 2
Paper: Your ViT is Secretly Also a Video Segmentation Model

Reported metrics

Metric	Value
AP	52.8
AR@10	62.2
FPS	294

The metrics above are the numbers reported by the authors in the official model zoo.

Usage

from transformers import AutoModelForUniversalSegmentation, AutoVideoProcessor

model_id = "tue-mps/videomt-dinov2-small-ytvis2019"
processor = AutoVideoProcessor.from_pretrained(model_id)
model = AutoModelForUniversalSegmentation.from_pretrained(model_id)

Use processor.post_process_instance_segmentation, processor.post_process_panoptic_segmentation, or processor.post_process_semantic_segmentation depending on the target task.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · image-segmentation

Можно запустить

Подбираем GPU…

Класс архитектуры: VideomtForUniversalSegmentation
Ревизия весов: a8c9855