Характеристики

Лицензия: CC BY-NC 4.0
Библиотека: lerobot
Опубликована: 14 июл 2026

Ссылки

Hugging Face

act_banana_in_pot_ee

Bigenlight

Языковая модельИзображение, текст → action3 профессии

ACT-модель для управления UR7e, обученная класть правый банан в горшок по видеодемонстрациям.

10скачиваний за 30 дней0лайковвеса обновлены14 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Bigenlight/act_banana_in_pot_ee — модель Action Chunking Transformer (ACT), обученная для управления роботом-манипулятором UR7e в задаче «положить правый банан в горшок». Модель предназначена для имитационного обучения на демонстрациях, записанных телеоператором с помощью GELLO, и выдаёт последовательности действий в пространстве концевого эффектора.

На вход подаются RGB-изображения с двух камер и состояние робота; на выходе — 10-мерные действия: абсолютная поза TCP следующего кадра (координаты и 6D-представление вращения) и положение захвата. Архитектура включает ResNet18 и VAE, размер чанка действий — 100, около 51,6 млн параметров. Чекпойнт на 40 тысячах шагов выбран по открытому тесту с минимальной средней абсолютной ошибкой позы; точность предсказания состояния захвата составила 0,914.

Модель рассчитана на конкретную роботизированную установку и сценарий манипуляции, поэтому её результаты не следует переносить на другие роботы или задачи без дополнительного обучения и проверки. Распространяется по лицензии CC-BY-NC-4.0, которая ограничивает коммерческое использование.

Сценарии применения

имитационное обучение манипуляции объектами на UR7e
управление концевым эффектором робота по изображениям с камер
воспроизведение задачи помещения банана в горшок
эксперименты с предсказанием чанков действий робота

Ограничения

Модель обучена для одной конкретной задачи и установки UR7e; перенос на другие роботы и сценарии не установлен. Лицензия CC-BY-NC-4.0 запрещает коммерческое использование.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей IV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ACT · banana-in-pot · EEF (10-D) — checkpoint 40k

Action Chunking Transformer (ACT) trained on the end-effector (EEF) action space for the task "put the right banana in the pot" (UR7e arm, GELLO teleoperation, LeRobot v3.0). This is the 40k-step checkpoint, selected as best by open-loop MAE.

This is the EEF counterpart of the joint-space model Bigenlight/act_banana_in_pot.

Action / observation space

observation.state / action: 10-D = [x, y, z, r1..r6 (Zhou 6D rotation), gripper] — absolute next-frame TCP pose (xyz in metres) + gripper. (The joint model uses 7-D [q1..q6, gripper].)
Cameras: observation.images.cam1, observation.images.cam2 (RGB, resized 360×640).
Backbone: ResNet18 + VAE, chunk_size=100, ~51.6M params. Normalization: MEAN_STD.

Training

Recipe identical to the joint baseline train_act_valdiag.sh except dataset + steps: --dataset.eval_split=0.117 (held-out episodes 45–50), batch 8, seed 1000, 50k steps.
Dataset: banana_in_pot_ee_action (51 eps / 21,524 frames, 30 fps), built from the raw Bigenlight/banana_in_pot_raw via recorded tcp_pose (no FK needed).
Hardware: single RTX A4000, ~2h43m. No overfitting (held-out eval_loss monotone to 0.4594@50k).

Held-out results (open-loop, eps 45–50)

checkpoint	pose MAE (m + 6D)	gripper acc
40k (this)	0.05564	0.914
50k	0.05564	0.911

Selected by open-loop MAE (repo convention), not by eval_loss.

⚠️ Note: EEF pose MAE mixes metres (xyz) and unitless 6D-rotation and is not directly comparable to the joint model's radian MAE. See the comparison writeup.

Usage

from lerobot.policies.act.modeling_act import ACTPolicy
policy = ACTPolicy.from_pretrained("Bigenlight/act_banana_in_pot_ee")

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · lerobot

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов: 29b165c