Характеристики

Библиотека: lerobot
Опубликована: 24 июл 2026

Ссылки

patchpol-so-follower-multiview

Языковая модельИзображение, текст → action

Экспорт Patch Policy для управления роботом so_follower по изображениям с двух камер с прогнозом последовательности действий.

10скачиваний за 30 дней0лайковвеса обновлены24 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это экспорт контрольной точки Patch Policy для робота so_follower, подготовленный для использования с LeRobot. Модель принимает изображения с фронтальной камеры и камеры на конце манипулятора; использует контекст из двух кадров и предсказывает последовательность из пяти шагов действий. В качестве визуального компонента во время выполнения используется замороженный DINOv2 ViT-S/14.

Модель предназначена для управления совместимым роботом через стандартный сценарий LeRobot rollout. Обучение проводилось на 16 эпизодах и 10 342 кадрах с частотой 30 кадров/с; выходы соответствуют шести координатам суставных действий. В репозитории находится экспорт на шаге 15 000 из запланированных 50 000 шагов оптимизации. Для работы нужны обе камеры с ожидаемыми именами признаков, установленный плагин политики и локально доступная зависимость DINOv2. Лицензия в предоставленных данных не указана.

Сценарии применения

управление роботом so_follower по двум камерам
предсказание последовательности суставных действий по наблюдениям робота
запуск политики робота через LeRobot rollout

Ограничения

Экспорт сделан на шаге 15 000 из запланированных 50 000, а обучение основано на 16 эпизодах. Для работы требуются обе камеры с заданными ключами признаков, плагин LeRobot и DINOv2 ViT-S/14.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Patch Policy — real robot, two views

This private model repository contains a LeRobot-compatible export of the latest completed two-view Patch Policy checkpoint. It uses observation.images.front and observation.images.ee, with a two-frame observation context and five-action prediction horizon.

Training data: 16 episodes, 10,342 frames, 30 FPS, six joint-position actions and the so_follower robot schema. The intended training run is 50,000 optimizer steps; the latest exported snapshot in this repository is step 15,000. Raw training checkpoints are preserved under backups/.

LeRobot rollout

The root files are in LeRobot's pretrained-policy layout: config.json, model.safetensors, policy_preprocessor.json, and policy_postprocessor.json.

The custom policy must be installed once in the LeRobot environment so the standard lerobot-rollout plugin discovery can register patchpol:

uv pip install -e /path/to/this/repository/lerobot_plugin
lerobot-rollout --policy.path=atharva-pantheon/patchpol-so-follower-multiview \
  --robot.type=so100_follower

Supply the robot's normal port/calibration/camera arguments. The robot must provide both camera feature keys with the names above. DINOv2 ViT-S/14 is a frozen runtime dependency and is loaded from the local Torch Hub cache (the first run may download it).

The action postprocessor restores the recorded six-dimensional action scale using the dataset statistics included in the processor state files.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · lerobot

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов: 334865b