/ Модель

Характеристики

Лицензия
MIT
Опубликована
23 июл 2026

dvla-act-can-250hz-delta-trim-50k

Языковая модельИзображение, текст → action

Политика ACT для управления роботом, которая перехватывает катящуюся банку и помещает её в миску, используя RGB-изображения и события DVS при частоте управления 250 Гц.

0скачиваний за 30 дней0лайковвеса обновлены23 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это контрольная точка политики ACT, разработанной и опубликованной Mickey Kang для динамической задачи с роботом: перехватить катящуюся банку и поместить её в миску. Модель обучена на наборе `mickeykang/dvla-can-250hz-events-250fps-delta-trim`; она рассчитана на управление с частотой 250 Гц и использует RGB-изображения и столбцы событийной камеры DVS. В репозитории сохранены веса и конфигурация для инференса, а также состояние оптимизатора для продолжения обучения.

По результатам оценки на 20 скорректированных внутридоменных сценах контрольная точка 50 тыс. шагов достигла успеха в 12 эпизодах из 20 (60%); авторы отмечают разброс повторных оценок ±2–3 успеха и ухудшение у более поздних контрольных точек. Результат зависит от соответствия сцены и условий рендеринга обучающим данным: README рекомендует исходную простую сцену, OSMesa, тайм-аут эпизода 240 секунд и обработку действий delta с удержанием trim. Для загрузки требуется модифицированный LeRobot из указанной ветки DynamicVLA. Лицензия — MIT.

Сценарии применения

  • перехват катящейся банки роботом
  • перемещение банки в миску в динамичной сцене
  • эксперименты с манипуляцией объектов на основе событийной камеры
  • оценка политик ACT для управления роботом с частотой 250 Гц

Ограничения

На 20 тестовых сценах точность успеха составила 60%, с разбросом повторных оценок ±2–3 эпизода; результат чувствителен к сцене, рендереру и настройкам управления. Для воспроизведения требуются заданные параметры оценки и модифицированный LeRobot из ветки DynamicVLA `mujoco`.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ACT · dvla-can 250 Hz (delta + trim) — checkpoint 50k

Best-performing 250 Hz policy on the dvla-can dynamic place task (rolling can → bowl, intercept-while-moving). ACT trained on mickeykang/dvla-can-250hz-events-250fps-delta-trim (s20 scene distribution, 250 Hz control, RGB + DVS event columns).

Results (clean in-domain scene set, n=20)

checkpointsuccess
50k (this repo)12/20 = 60%
100k/150k/200kworse (long-training collapse measured)
  • Repeat variance on the same checkpoint is ±2–3/20 (n=20 eval) — treat 60% as a point estimate.
  • Scene set = the corrected in-domain 20 scenes (post contamination fix; membership-checked against the training meta/camera.jsonl).

Contents

050000/pretrained_model/   # lerobot ACT weights + config (inference)
050000/training_state/     # optimizer state (resume)

Eval protocol (matters — measured pitfalls)

  • Scene flags OFF: this model predates the mo5 textured scene. Evaluate on the ORIGINAL plain scene (BASKET_SCENE/TEXTURED_OBJS/CAN_TEXTURE all unset) or renders will not match training pixels (policies are render-sensitive: 5% vs 33% across GL backends).
  • Eval server on OSMesa with 240 s episode timeout (EGL aborts when GPUs are busy).
  • control_freq 250, delta actions, trim-hold preprocessing — as in the dataset name.
  • Loader: the DynamicVLA_mujoco patched lerobot (temporal-fusion + n_obs guard patches); see github.com/mickeykang16/DynamicVLA branch mujoco.

Provenance

Training/eval code: github.com/mickeykang16/DynamicVLA (branch mujoco). Run name: act_tf250_s20_dlt_tr. Uploaded 2026-07-23.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов
d209bf6

0 моделей