Характеристики

Библиотека: pytorch
Опубликована: 12 окт 2026

Ссылки

Hugging Face

DanceRAE

onkarsus13

Языковая модельВидео, текст → видео

DanceRAE — набор PyTorch-чекпойнтов для реконструкции видео с энкодерами DINOv3 или SigLIP2.

0скачиваний за 30 дней0лайковвеса обновлены13 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

DanceRAE — набор предварительно обученных чекпойнтов реконструкции видео, опубликованный пользователем onkarsus13. Репозиторий содержит варианты с замороженными визуальными энкодерами DINOv3 ViT-L/16 и SigLIP2 ViT-L/16; веса сохранены в формате PyTorch вместе с EMA-весами, конфигурацией архитектуры и метаданными обучения.

Модель предназначена для реконструкции видео. Для запуска каждому чекпойнту требуются соответствующие веса замороженного энкодера и исходный код проекта PLAN-Lab/DanceRAE. Текущий загрузчик инференса DanceRAE использует вариант SigLIP2; вариант DINOv3 поставляется отдельно и требует его нативных весов и исходников среды выполнения.

Это пользовательские файлы чекпойнтов PyTorch, а не каталог модели Transformers для загрузки через from_pretrained. Лицензия и длина контекста в предоставленных источниках не указаны.

Сценарии применения

реконструкция входного видео
восстановление видеопоследовательностей по признакам DINOv3
восстановление видеопоследовательностей по признакам SigLIP2

Ограничения

Для каждого чекпойнта нужны соответствующие веса замороженного энкодера и код PLAN-Lab/DanceRAE; файлы не загружаются как Transformers-модель через from_pretrained. Текущий загрузчик инференса выбирает вариант SigLIP2, а DINOv3 требует отдельной нативной среды выполнения.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

DanceRAE

Pretrained reconstruction checkpoints for DanceRAE,

Code and inference instructions: PLAN-Lab/DanceRAE.

File	Frozen encoder
`DanceRAE_dinov3.pt`	DINOv3 ViT-L/16
`DanceRAE_siglip2.pt`	SigLIP2 ViT-L/16

Download

hf download onkarsus13/DanceRAE DanceRAE_siglip2.pt --local-dir /data/onkar2/DanceRAE
hf download onkarsus13/DanceRAE DanceRAE_dinov3.pt --local-dir /data/onkar2/DanceRAE

Each checkpoint requires its matching frozen encoder weights. These custom PyTorch checkpoints contain model state, EMA weights, architecture configuration, and training metadata; they are not Transformers from_pretrained model directories.

The current DanceRAE command-line inference loader uses the SigLIP2 checkpoint. Download its encoder separately:

hf download google/siglip2-large-patch16-256 \
  config.json model.safetensors preprocessor_config.json \
  --local-dir /data/onkar2/DanceRAE/pretrained/encoders/siglip2

The DINOv3 checkpoint is also distributed here. It requires the corresponding native DINOv3 encoder weights and runtime sources; the current SigLIP2 inference loader does not select this variant.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pytorch

Нельзя запустить

Модели «видео → видео» пока не запускаются.

Ревизия весов: a1959aa