Характеристики

Лицензия: Apache 2.0
Библиотека: data4robotics
Опубликована: 22 июл 2026

Ссылки

dg5f_bluecable60_sparsh_ac90

Языковая модельИзображение, текст → action

Политика Transformer для имитационного обучения манипуляции синим кабелем с помощью руки DG-5F и робота UR5e по RGB- и тактильным наблюдениям.

0скачиваний за 30 дней0лайковвеса обновлены22 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель Kaz55/dg5f_bluecable60_sparsh_ac90 — политика имитационного обучения DexWild для манипуляции синим кабелем роботизированной рукой DG-5F и манипулятором UR5e. Это чекпойнт Transformer с разбиением действий на чанки, обученный на 60 эпизодах; опубликованы веса после 50 000 итераций. Для тактильных изображений используются два датчика GelSight с замороженным энкодером SPARSH, а два RGB-потока камер RealSense обрабатываются backbone vit_base.

Модель принимает 26-мерное состояние робота и изображения с четырёх камер, а выдаёт 26-мерные абсолютные команды суставов чанками по 90 действий. Архитектура Transformer имеет размерность 768, 8 голов внимания, 4 слоя энкодера и 6 слоёв декодера. Модель предназначена для исследовательских экспериментов и как базовый вариант обучения по демонстрациям в конкретной задаче с кабелем; она не является универсальной политикой для роботов. Лицензия — Apache-2.0. Для запуска одного файла весов недостаточно: требуются конфигурация агента и статистики нормализации.

Сценарии применения

воспроизведение демонстраций манипуляции синим кабелем
управление рукой DG-5F и манипулятором UR5e в задаче с кабелем
предсказание чанков суставных команд по данным камер и состояния робота

Ограничения

Модель обучена для конкретной задачи с синим кабелем и не предназначена для общего управления роботами. Для запуска вместе с весами нужны agent_config.yaml и статистики нормализации *_norm.json.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

dg5f_bluecable60_sparsh_ac90

DexWild (dit_policy) action-chunking Transformer for a DG-5F dexterous hand + UR5e arm blue-cable manipulation task. The two GelSight tactile cameras are encoded by a frozen SPARSH (facebook/sparsh-dino-base) tactile encoder; the two RealSense RGB cameras use a vit_base backbone.

Trained on Kaz55/dg5f_ur5e_bluecable60ep_h5 (60 episodes). This repo contains the final checkpoint at 50,000 iterations.

Files

File	Description
`dg5f_bluecable60_sparsh_ac90_50000.pth`	Model weights @ 50k iters (≈3.5 GB)
`agent_config.yaml`	Agent architecture config (needed to rebuild the model)
`exp_config.yaml`	Full experiment config
`hydra/config.yaml`, `hydra/overrides.yaml`	Resolved Hydra config + CLI overrides
`combined_ac_norm.json`, `combined_state_norm.json`	Action / state normalization stats (required for inference)
`train_data_bluecable60_ac_norm.json`, `train_data_bluecable60_state_norm.json`	Per-dataset norm stats

The .pth alone is not enough to run the policy — you also need agent_config.yaml and the *_norm.json normalization statistics.

Model / task specs

Observations: state 26-d (UR5e 6 + DG-5F 20), 4 cameras (realsense, realsense2 → RGB vit_base; gelsight1, gelsight2 → SPARSH, cam indices [2, 3]).
Actions: 26-d (UR5e gello 6 + DG-5F cmd 20), joint-absolute.
Action chunk (ac_chunk): 90
Transformer: d_model 768, nhead 8, enc 4 / dec 6 layers, ffn 3200, gelu, dropout 0.1.
SPARSH: sparsh-dino-base, in_chans=6 (2 bg-subtracted frames), pooling=register, frozen.

Training


Framework	DexWild `dit_policy` (`data4robotics`), `accelerate` bf16, single GPU
Agent / task	`agent=transformer_sparsh`, `task=rdm_dg5f_sparsh`
Iterations	50,000 (`save_freq`/`keep_freq`=10,000)
Batch size	32
LR / sched	1e-4, `trainer=bc_cos_sched` (cosine)
RGB backbone	`vit_base` (`SOUP_1M_DH.pth`)
`use_lang` / `use_tactile` (uSkin)	false / false (GelSight routed through SPARSH, not uSkin)

Intended use

Research / imitation-learning baseline for the DG-5F + UR5e blue-cable task. Not a general-purpose robot policy.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · data4robotics

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов: 7b8e8ee