Характеристики

Библиотека: data4robotics
Опубликована: 23 июл 2026

Ссылки

Hugging Face

dg5f_speedtorque_sparsh_ac90

Kaz55

Языковая модельИзображение, текст → action

Модель DexWild на Transformer предсказывает блоки действий для управления роботом по RGB- и тактильным наблюдениям.

0скачиваний за 30 дней0лайковвеса обновлены23 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

dg5fspeedtorquesparshac90 — модель DexWild для управления роботом, обученная на данных DG-5F + UR5e набора bluecablespeedtorque. Она использует Transformer с формированием последовательностей действий (action chunking) и предсказывает блоки из 90 действий для задачи rdm_dg5f_sparsh с наблюдениями и действиями размерности 26 в пространстве абсолютных суставных координат. Для обработки изображений применяются RGB-бэкбон RealSense на основе ViT-Base и замороженный тактильный кодировщик SPARSH на базе facebook/sparsh-dino-base.

Модель предназначена для управления роботом UR5e в сценариях, соответствующих обучающему набору и конфигурации DG-5F. Чекпойнт сохранён в формате PyTorch; для инференса дополнительно требуются пакет tactile_ssl, код адаптера SPARSH и веса facebook/sparsh-dino-base. Для RGB-бэкбона в конфигурации также упомянуты веса SOUP_1M_DH.pth. Лицензия и условия распространения в предоставленных данных не описаны.

Сценарии применения

управление манипулятором UR5e по RGB- и тактильным данным
предсказание последовательностей суставных команд для робота
воспроизведение задач манипуляции из набора bluecablespeedtorque

Ограничения

Для инференса нужны внешние веса тактильного энкодера SPARSH и RGB-бэкбона, а также пакет tactile_ssl и дополнительный код адаптера. Область применения связана с конфигурацией DG-5F и обучающим набором bluecablespeedtorque.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

dg5f_speedtorque_sparsh_ac90

DexWild action-chunking Transformer trained on the DG-5F + UR5e bluecablespeedtorque dataset.

Task: rdm_dg5f_sparsh (obs=26, act=26, joint_abs)
Action chunk: 90
Training steps: 100000
Backbone: RealSense = RGB vit_base, GelSight = frozen SPARSH (sparsh-dino-base)

Files: final checkpoint dg5f_speedtorque_sparsh_ac90_100000.pth, agent_config.yaml, exp_config.yaml, norm-stats JSONs, and hydra/ config.

Inference dependency (SPARSH)

The two GelSight cameras are encoded by a frozen facebook/sparsh-dino-base tactile encoder. The saved .pth does not contain the SPARSH weights, so to run this checkpoint you also need: (1) the tactile_ssl package + this fork's data4robotics/models/sparsh.py; (2) the SPARSH weights facebook/sparsh-dino-base (dino_vitbase.ckpt); (3) XFORMERS_DISABLED=1. See the RealSense RGB backbone (SOUP_1M_DH.pth) note in the agent config.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · data4robotics

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов: 1c1f616