/ Модель

Характеристики

Библиотека
lerobot
Опубликована
29 сен 2026

hungryhusky-act

Языковая модельИзображение, текст → action3 профессии

Политика ACT для управления роботом SO-101 в задаче манипуляции кубами и цилиндром по данным трёх RGB-камер.

13скачиваний за 30 дней0лайковвеса обновлены29 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Hungryhusky ACT — политика управления роботом для задачи с кубами и цилиндром на платформе SO-101, разработанная командой hungryhusky, участниками которой являются Parker Cai и Aleksei Anisimov. Модель использует архитектуру Action Chunking Transformer (ACT) с визуальной основой ResNet-18 и обучена на наборе BrutalCaesar/phi_so101_cubes_cylinder_v1. Контрольная точка содержит 60 000 базовых шагов обучения и 2 000 шагов дообучения без аугментации.

На вход подаются три RGB-изображения с камер на запястье, спереди и сверху, а также шестимерное состояние робота. Модель выдаёт последовательность из 50 шестимерных действий для суставов плеча, локтя, запястья и захвата. Предназначена для управления SO-101 в задаче манипуляции кубами и цилиндром; для работы нужны соответствующие этапы предобработки наблюдений и обратного преобразования нормализованных действий из LeRobot.

Выбранная версия показала на многократно использованной исходной отложенной выборке нормализованную ошибку L1 действий 0,25951 — примерно на 0,33% ниже базовой версии. Это небольшой офлайн-результат на примерах белого куба и белого контейнера, а не свидетельство успешности управления роботом. Испытаний на реальном роботе не проводилось. Лицензия в предоставленных данных не указана.

Сценарии применения

  • предсказание действий SO-101 по изображениям с трёх камер
  • манипуляция кубами и цилиндром роботом SO-101
  • воспроизведение обучающих демонстраций в LeRobot
  • офлайн-оценка политики управления манипулятором

Ограничения

Испытаний на реальном роботе не проводилось, а офлайн-ошибка действий не измеряет успех замкнутого управления; отложенная выборка ограничена примерами белого куба и белого контейнера и многократно использовалась для выбора контрольной точки. Для корректного инференса требуются согласованные процессоры предобработки и обратной нормализации LeRobot.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Hungryhusky ACT: cubes and cylinder

Team: hungryhusky
Members: Parker Cai and Aleksei Anisimov

An ACT policy for the SO-101 cubes/cylinder task, using wrist, front, and top cameras.

Selected checkpoint

60,000 baseline updates followed by 2,000 fine-tuning updates without augmentation. Seed: 1000.

We selected the seed-1000 ACT checkpoint after 60,000 baseline updates plus 2,000 fine-tuning updates without augmentation because it achieved the lowest full original-holdout normalized action L1 (0.25951); this is an offline selection result, not a measured real-robot success rate.

Offline evaluation

All scores below use the same original holdout: episodes 102–119, 8,427 frames. Lower normalized action L1 is better.

CandidateFull-holdout normalized action L1
Baseline, 60,000 updates0.2603762545
Selected: baseline + 2,000 updates, no augmentation0.2595101075
Baseline + 2,000 updates, mild brightness/contrast augmentation0.2596074125

The selected checkpoint improves this error by about 0.33% relative to baseline. This is a small development-holdout difference, not a demonstrated improvement in robot success or a claim of statistical significance. The holdout contains only white-cube/white-bin examples and was used repeatedly for checkpoint selection. Scores from the separate balanced-split experiment are not directly comparable.

Training

  • Dataset: BrutalCaesar/phi_so101_cubes_cylinder_v1
  • Dataset revision: 014a212f6a30d68b39015546a9590c0927b8b9fa
  • Architecture: ACT with ResNet-18 visual backbone
  • Seed: 1000; batch size: 8
  • Chunk size: 50; deployment n_action_steps: 50
  • Original train episodes: 0–101; validation episodes: 102–119
  • Fine-tuning: learning rate 3e-6 for both parameter groups, fresh AdamW optimizer, no augmentation
  • LeRobot 0.6.0; PyTorch 2.11.0+cu128; torchvision 0.26.0+cu128
  • Source code: physical-hardware-intelligence/phi

Inputs and outputs

Three RGB inputs, float values in [0, 1], each shaped [3, 480, 640]: observation.images.wrist, observation.images.front, observation.images.top.

observation.state and output actions each have six dimensions: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos.

Dataset rate: 30 Hz. Use the included preprocessing and postprocessing files for normalization and action unnormalization.

Loading

The repository root contains the complete inference checkpoint:

from lerobot.policies.act.modeling_act import ACTPolicy

policy = ACTPolicy.from_pretrained("parkercai/hungryhusky-act")
policy.eval()

Use LeRobot's matching processor pipeline to preprocess observations and unnormalize actions; loading the policy alone does not apply those processors.

The portable export removes machine-specific pretrained paths and disables redundant pretrained-backbone downloading. Learned weights and normalization tensors are unchanged. Export predictions matched the source checkpoint exactly on samples from episodes 102, 110, and 119. A separate offline process with empty model caches loaded the export and produced finite actions.

Limitations

No real-robot trials have been performed for this checkpoint. Offline action error does not measure closed-loop task success. Organizers' deployment settings, deadline, and final submission acceptance must be confirmed separately. Publishing this repository does not establish competition acceptance.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · lerobot

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов
948ce35

0 моделей