Характеристики

Лицензия: Apache 2.0
Библиотека: diffusers
Опубликована: 30 сен 2026

Ссылки

VTAM_hard_wipe_noforce_ablation

Языковая модельИзображение, текст → action

Экспериментальный эксперт действий VTAM для управления роботом при протирании, предсказывающий 7-мерные действия без выходных измерений силы.

14скачиваний за 30 дней0лайковвеса обновлены30 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

JensenYuan/VTAM_hard_wipe_noforce_ablation — экспериментальная версия эксперта действий модели VTAM (Video-Tactile-Action Model), подготовленная для выполнения роботом задачи интенсивного протирания. Модель обучена без регрессии силы в выходе: она предсказывает 7-мерное действие, включающее координаты xyz, ориентацию rpy и положение захвата. Это абляция полной модели VTAM с силой в действиях.

Эксперт обучен на этапе II в течение 30 000 шагов и использует замороженную модель видео и мира этапа I, а также те же данные и статистики нормализации, что и полная версия. Веса опубликованы в формате safetensors; для запуска требуется кодовая база VTAM и настройка action_dim=7 в MVActor. Модель принимает состояние и представление видеотактильного взаимодействия и выдаёт действия робота; в метаданных указаны библиотека diffusers и задача robotics.

Модель опубликована под лицензией Apache-2.0. Удаление измерений силы означает, что выход не содержит команд регулирования силы; применимость ограничена описанной задачей Hard Wipe и совместимой средой VTAM.

Сценарии применения

управление роботом при интенсивном протирании поверхности
предсказание координат и ориентации движения робота
управление положением захвата при протирании
исследование влияния исключения силы из выходов политики

Ограничения

Модель не предсказывает силовые измерения и рассчитана на задачу Hard Wipe в кодовой базе VTAM с размерностью действия 7. README не описывает автономную работу вне этой конфигурации.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

VTAM Hard Wipe: no-force-output ablation (action expert, step 30000)

Stage-II action expert of VTAM (Video-Tactile-Action Model) for the real-robot Hard Wipe task, trained without force in the action output. It is the force-regression ablation of the full VTAM model for this task.

What differs from the full model

The action target is sliced to the first 7 dimensions (valid_act_dim: 7: xyz, rpy, gripper); the force dimensions of the 10-D absolute action are dropped. The expert's input/output width is 23 (7 action + 16 state).
There is no force loss. A test suite (tests/test_force_ablation.py, 30 tests) checked that only 7 action dimensions are predicted and supervised before launch.
Same dataset, normalization statistics and frozen Stage-I video/world model as the full-force model.

Training

30,000 steps, 4x A100, global batch 64, learning rate 5e-5, seed 42.

Files

diffusion_pytorch_model.safetensors, config.json: action-expert weights (step 30000).
action_model_task_hard_wipe_force_in_action_action_full_gelsight_noforce.yaml: training config.
task_hard_wipe_force_in_action_stats.json: action/state normalization statistics.

Usage

Load with the VTAM codebase and set action_dim=7 in MVActor; the policy outputs 7-D actions (no force).

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · diffusers

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов: cbb188b