/ Модель

Характеристики

Библиотека
pytorch
Опубликована
23 мар 2026

fastwam

Языковая модельИзображение, текст → action

Контрольные точки Fast-WAM для исследования управления роботом по визуальным наблюдениям на бенчмарках LIBERO и RoboTwin.

0скачиваний за 30 дней8лайковвеса обновлены19 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

yuanty/fastwam содержит официальные контрольные точки Fast-WAM для исследования World Action Models и вариант Optional IDM. Модели предназначены для управления роботом по визуальным наблюдениям в задачах имитационного обучения на бенчмарках LIBERO и RoboTwin; README приводит результаты Optional IDM на 40 задачах LIBERO и описывает два режима вывода: прогноз действий после воображения будущего видео и непосредственный прогноз по текущему наблюдению.

В репозитории представлены веса PyTorch для LIBERO с двумя камерами и разрешением 224, а также для RoboTwin с тремя камерами и разрешением 384. Для проверки предусмотрены файлы статистики соответствующих наборов данных. README не сообщает лицензию, размер модели, языки или точные характеристики архитектуры; контрольные точки рассчитаны на оценку и запуск в кодовой базе FastWAM.

Сценарии применения

  • управление роботом в задачах бенчмарка LIBERO
  • управление роботом в сценариях RoboTwin
  • сравнение прогноза действий с воображением будущего видео и без него
  • оценка моделей имитационного обучения для робототехники

Ограничения

Репозиторий содержит контрольные точки для конкретных конфигураций LIBERO и RoboTwin, поэтому результаты за их пределами не подтверждены. Для запуска и оценки требуется кодовая база FastWAM; лицензия в README не указана.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

FastWAM Checkpoints

Official checkpoints for Fast-WAM: Do World Action Models Need Test-time Future Imagination?

This repository includes the original FastWAM checkpoints and the new Optional IDM variant: one model with two inference modes for studying when test-time future imagination helps.

Files

README.md
libero_uncond_2cam224.pt
libero_uncond_2cam224_dataset_stats.json
libero_optional_idm_2cam224.pt
libero_optional_idm_2cam224_dataset_stats.json
robotwin_uncond_3cam_384.pt
robotwin_uncond_3cam_384_dataset_stats.json

Included checkpoints

  • libero_uncond_2cam224.pt: FastWAM Base for task=libero_uncond_2cam224_1e-4.
  • libero_optional_idm_2cam224.pt: Optional IDM for task=libero_optional_idm_2cam224_1e-4.
  • robotwin_uncond_3cam_384.pt: FastWAM Base for task=robotwin_uncond_3cam_384_1e-4.
  • Each checkpoint has a matching *_dataset_stats.json file for evaluation.

Optional IDM: one model, two thinking modes

The Optional IDM checkpoint supports two action-inference paths without retraining:

  • idm: imagine the future video first, then predict actions.
  • first_frame: predict actions directly from the current observation without test-time future imagination.

Evaluate either mode with the FastWAM repository:

python experiments/libero/run_libero_manager.py \
  task=libero_optional_idm_2cam224_1e-4 \
  ckpt=./checkpoints/fastwam_release/libero_optional_idm_2cam224.pt \
  EVALUATION.dataset_stats_path=./checkpoints/fastwam_release/libero_optional_idm_2cam224_dataset_stats.json \
  EVALUATION.sigma_shift=1.0 \
  +EVALUATION.action_infer_mode=idm \
  MULTIRUN.num_gpus=8

Replace idm with first_frame to use the Fast-WAM inference mode. The released checkpoint uses an action scheduler shift of 1.0 for training and evaluation.

On the full LIBERO benchmark (40 tasks, 50 episodes per task), this checkpoint achieves:

Inference modeSpatialGoalObjectLongAverage
IDM99.0%98.6%99.6%97.0%98.55%
First frame (Fast-WAM)98.2%97.8%99.2%95.8%97.75%

Project

Citation

@misc{yuan2026fastwam,
  title={Fast-WAM: Do World Action Models Need Test-time Future Imagination?},
  author={Tianyuan Yuan and Zibin Dong and Yicheng Liu and Hang Zhao},
  year={2026},
  note={arXiv preprint arXiv:2603.16666}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pytorch

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов
8eaceeb

0 моделей