/ Модель

Характеристики

Лицензия
Apache 2.0
Библиотека
odeworld
Опубликована
22 сен 2026

DART-PT-Flow-LIBERO

Видео из изображенияИзображение, текст → видео3 профессии

Контрольная точка ODEWorld, предсказывающая развитие изображения по начальному кадру и целевому изображению на демонстрациях LIBERO.

28скачиваний за 30 дней0лайковвеса обновлены22 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

DART-PT-Flow-LIBERO — контрольная точка ODEWorld для предсказания последовательности кадров по исходному кадру и целевому изображению, дообученная с помощью DART на демонстрациях LIBERO. Разработчики заморозили кодировщик DINOv2, декодер RAE и предиктор цели, а дообучили только flow-компонент с supervision по пути декодирования. Модель распространяется в формате safetensors под лицензией Apache-2.0.

Модель предназначена для офлайн-предсказания открытой последовательности кадров в сценариях image-goal на демонстрациях LIBERO. В README приведены результаты 64-шаговых прогнозов размером 256×256: по сравнению с родительской моделью улучшены средняя и медианная L1-ошибка и показатели движения на сложной подвыборке. Это предиктор кадров, а не политика управления роботом: он не исполняет действия и для него не измерялась успешность выполнения задач.

Сценарии применения

  • офлайн-прогнозирование последовательности кадров по изображению цели
  • моделирование визуальной динамики демонстраций LIBERO
  • сравнение методов предсказания движения в сценариях image-goal

Ограничения

Проверена как офлайн-предиктор открытой последовательности кадров на демонстрациях LIBERO; выполнение действий роботом и успешность задач не оценивались. Результаты README ограничены прогнозами на 64 шага с разрешением 256×256.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

DART-PT-Flow-LIBERO

ODEWorld image-goal PT-Flow checkpoint retrained with DART (Decode-Augmented Rollout Training) on official LIBERO demonstrations, starting from ldxxx/ODEWorld-PT-Flow-LIBERO. DART keeps the representation frozen (DINOv2 encoder, RAE decoder, goal predictor) and retrains only the flow with decode-path supervision, repairing the motion collapse of the pretrained and latent-only-retrained flows. The checkpoint includes the frozen DINOv2 backbone.

Training configuration

  • Window 5, decode-path supervision weight 0.5, DINOv2 region loss weight 0.5, 4 clusters
  • 26,000 steps, batch size 2, learning rate 1e-5, seed 20260910
  • Selected by lowest validation loss over the task-balanced 130-task Scale-M split

Results (offline open-loop, 64-step image-goal rollouts at 256×256)

ProtocolMetricLatent-only parentDART (this checkpoint)
100-demo full protocolmean / median L1 ↓10.311 / 9.649.944 / 9.30
hard-5 subsetmotion concentration conc3 ↓ (GT 0.099)0.236–0.4470.145
hard-5 subsettotal motion ↑21–5869
650-demo splitPSNR ↑ / LPIPS ↓19.24–19.45 / 0.196–0.21219.67–19.77 / 0.190–0.195

Usage

Load with the release code:

from models import Dinov2PTflowImgoal

flow = Dinov2PTflowImgoal.from_pretrained("pzr114514/DART-PT-Flow-LIBERO")

Training, evaluation, and inference scripts: github.com/Mangkhut160/icassp2027

Scope

This checkpoint is trained and evaluated purely as an offline open-loop predictor on LIBERO demonstration frames. It is not a robot policy: no LIBERO/MuJoCo environment is started, no actions are executed, and no task success rate is measured.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · odeworld

Нельзя запустить

Модели «картинка → видео» пока не запускаются.

Ревизия весов
d600fff

0 моделей