Характеристики

Библиотека: lerobot
Опубликована: 17 июл 2026

Ссылки

SmolVLA-DexHand-Tactile-Checkpoints

Языковая модельИзображение, текст → action

Контрольная точка SmolVLA с визуальной и тактильной обратной связью для экспериментов по управлению роботом RM65 с кистью Gaia в MuJoCo.

0скачиваний за 30 дней0лайковвеса обновлены18 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это контрольная точка SmolVLA DexHand Tactile из проекта SCUT-Turing для управления RM65 — шестью осями роботизированной рукой с пяти пальцевой кистью Gaia в симуляторе MuJoCo. Модель использует зрение и тактильные сигналы; опубликованный вариант S2V обучался с полным визуальным энкодером SigLIP и интеграцией тактильных данных через остаточную связь state-token и общую MLP для кончиков пальцев.

Контрольная точка предназначена для воспроизводимых экспериментов и проверки управления роботом в замкнутом цикле в MuJoCo. В README приведён результат 17 успешных сцен из 30 на наборе разработки, использованном при отборе контрольной точки, поэтому это не независимая итоговая оценка. Проверка управления на реальном роботе не проводилась. Для использования необходимо учитывать лицензии SmolVLA, базовой модели и кода и ресурсов проекта; конкретные условия в предоставленных данных не приведены.

Сценарии применения

проверка управления пяти пальцевой кистью Gaia в симуляторе MuJoCo
эксперименты по тактильной обратной связи при манипуляциях робота
воспроизведение закрытых циклов управления RM65 в сценах MuJoCo

Ограничения

Результат 17/30 получен на наборе разработки, который использовался для отбора контрольной точки, поэтому он не является независимой оценкой. Работа на реальном роботе не проверялась; следует учитывать лицензии базовой модели, кода и ресурсов проекта.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SmolVLA DexHand Tactile Checkpoints

本仓库存放 SmolVLA DexHand Tactile 项目的可复现实验权重。目标系统为 MuJoCo 中的 RM65 六轴机械臂与 Gaia 五指灵巧手。

发布模型

apple_S2_tactile_regularized_residual_full_vision_300_best_step3000：当前主模型 S2V，普通 300 条数据、共享指尖 MLP、state-token 残差触觉、完整 SigLIP 视觉编码器参与训练。

为了避免团队误用，本仓库只发布当前闭环成功率最高的代表权重；冻结视觉、局部解冻、 prefix-token、纠错数据、无触觉和 800 条数据消融 checkpoint 仍保留在项目归档中，不上传 Hub。

模型结构不能只依据 checkpoint 内的 config.json 判断；触觉融合、视觉训练范围、数据来源、 SHA256 和闭环结果以代码仓库的 configs/artifacts.json 为准。

使用

git clone git@github.com:SCUT-Turing/SmolVLA_Dexhand_tactile.git
cd SmolVLA_Dexhand_tactile
uv sync --locked --python 3.10
./.venv/bin/python scripts/download_hf_artifacts.py \
  --model-id apple_S2_tactile_regularized_residual_full_vision_300_best_step3000
HF_HUB_OFFLINE=1 TRANSFORMERS_OFFLINE=1 ./run infer S2V --scene-index 9 --viewer

仓库已公开，无需 Hugging Face 登录。下载脚本使用 manifest 固定的 Hugging Face commit，避免 main 后续变化破坏复现。

评测边界

当前最好记录为 S2V 在同一份 30 场景开发集上的 17/30；这些场景已经参与 checkpoint 筛选，不能视为无偏最终测试。项目尚未验证真机下发，权重仅用于研究与 MuJoCo 验证。

上游

本项目基于 LeRobot SmolVLA 和 HuggingFaceTB/SmolVLM2-500M-Video-Instruct。使用时还需遵守上游模型、代码与资产各自的许可条件。

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · lerobot

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов: e20297a