Характеристики

Библиотека: lerobot
Опубликована: 1 авг 2026

Ссылки

LW-Bench-ACT

Языковая модельИзображение, текст → action

Политика ACT для робота X7s предсказывает действия по изображениям с трёх камер и состоянию робота, в том числе для офлайн-оценки на композиционных задачах.

16скачиваний за 30 дней0лайковвеса обновлены1 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

LW-Bench ACT 5K for X7s — модель политики ACT, разработанная Stevenshuqing и обученная с нуля на датасете LightwheelAI/Lightwheel-Tasks-X7S для робота X7s. Она принимает изображения с трёх RGB-камер и 25-мерное состояние робота, а выдаёт 21-мерные абсолютные действия в родном формате X7s. Чекпойнт содержит 5 000 шагов оптимизации и предназначен для оценки на строгом композиционном разбиении бенчмарка LW-Compositional-Bench: при обучении использовались 91 задача, а задачи 7, 119 и 149 были отложены.

В офлайн-оценке первых 16 допустимых шагов указаны MAE 0,077566, RMSE 0,163998 и сбалансированная точность предсказания состояния захвата 94,73%. Эти результаты описывают ошибку предсказания действий на трёх отложенных задачах и не подтверждают успешность замкнутого управления роботом. Для загрузки требуется LeRobot 0.4.3 и файлы предобработки и постобработки из репозитория. Модель привязана к схеме наблюдений и действий X7s; границы переходов в бенчмарке определяются по прокси-сигналам действий, а не по человеческой семантической разметке. Лицензия в предоставленных данных не указана.

Сценарии применения

предсказание действий робота X7s по изображениям с камер и состоянию робота
офлайн-оценка политики ACT на отложенных композиционных задачах
сравнение ошибки предсказания действий и команд захвата
эксперименты по имитационному обучению для манипулятора X7s

Ограничения

Модель рассчитана на схему наблюдений и действий X7s; приведённые офлайн-метрики не заменяют оценку успешности замкнутого управления. Переходы в бенчмарке размечены прокси-сигналами в пространстве действий, а не человеческими семантическими аннотациями.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

LW-Bench ACT 5K for X7s

LeRobot ACT policy trained from scratch on the audited X7s strict compositional split in LW-Compositional-Bench.

Training contract

Dataset: LightwheelAI/Lightwheel-Tasks-X7S
Train split: 91 clean tasks; tasks 7, 119, and 149 held out
Inputs: three RGB cameras plus 25D robot state
Output: native 21D X7s absolute action
Hardware: 4 GPUs
Seed: 1000
Effective global batch: 64
Checkpoint: 5,000 global optimizer updates
Evaluation horizon: first 16 valid action steps

Offline 5K results

Metric	Value
H16 MAE	0.077566
H16 RMSE	0.163998
Gripper balanced accuracy	94.73%
Boundary-proxy MAE	0.109228
Interior MAE	0.071501
Boundary / interior MAE	1.528x

These results cover three strict held-out tasks and are descriptive. Offline action error does not replace closed-loop success evaluation.

Load with LeRobot

from lerobot.policies.act.modeling_act import ACTPolicy

policy = ACTPolicy.from_pretrained("Stevenshuqing/LW-Bench-ACT")
policy.eval()

Use LeRobot 0.4.3 and the included preprocessor/postprocessor files. The repository contains the complete pretrained_model directory produced by LeRobot.

Provenance

Code and protocol: https://github.com/stevenqing/LW-Compositional-Bench
Full report: https://github.com/stevenqing/LW-Compositional-Bench/blob/main/artifacts/model-eval/x7s/rotation-v0/budget-5k/report.md
Code revision: 2d0e26dd2fe2e91046f416bd65bc369f8568d7f0
model.safetensors SHA256: dffc7c1801b77a53c18fe3f78627aa742ec0d158e0ece5b78737ca4edab6dfa4

Limitations

This checkpoint is specific to the X7s observation/action schema. The benchmark is offline because the available A100 GPUs cannot provide Isaac Sim RT camera rendering. Transition boundaries are action-space proxies based on gripper sign changes and robust continuous-action peaks, not human semantic annotations.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · lerobot

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов: 8f5dfd0