Характеристики

Лицензия: CC BY-NC 4.0
Библиотека: pytorch
Опубликована: 21 июл 2026

Ссылки

SafeVLA-Bench

Языковая модельИзображение, текст → action

SafeVLA-Bench — набор моделей поведенческого клонирования и базовых контрольных точек для исследования безопасного управления манипулятором в симуляторе ManiSkill.

0скачиваний за 30 дней0лайковвеса обновлены21 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SafeVLA-Bench — набор исследовательских контрольных точек для изучения безопасного управления роботом, опубликованный jatshi. Модели предназначены для экспериментов и обучения в симуляторе ManiSkill на задаче PickCube-v1, включая выбор между выполнением действия, запросом уточнения и остановкой. В набор входят контрольные точки поведенческого клонирования по состоянию с фрагментами управления длиной 16 шагов, RGB-D базовые модели с длиной 8 и 16 шагов, а также условная диффузионная модель DDPM.

Модели обучены на демонстрациях планирования движения ManiSkill с управлением pd_ee_delta_pos. В пяти независимых запусках модель поведенческого клонирования по состоянию достигла средней успешности 88% на physx_cpu и 53% на physx_cuda; RGB-D и диффузионные контрольные точки не достигли успеха при замкнутом цикле. Модель по состоянию использует привилегированное состояние симулятора. Результаты зависят от симулятора и его настроек, а разница между CPU- и CUDA-бэкендами заметна. Контрольные точки не предназначены для непосредственного управления физическими роботами. Веса распространяются по лицензии CC BY-NC 4.0.

Сценарии применения

эксперименты с выбором между выполнением действия и остановкой робота
проверка поведенческого клонирования на задаче PickCube-v1
сравнение управления по состоянию и RGB-D-наблюдениям в симуляторе
воспроизведение анализа отказов RGB-D и диффузионных базовых моделей

Ограничения

Контрольная точка по состоянию использует привилегированное состояние симулятора и не предназначена для непосредственного применения на физическом роботе. Результаты зависят от симуляционной геометрии и порогов безопасности; успешность заметно различается между CPU- и CUDA-бэкендами.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SafeVLA-Bench model card

Code, exact commands, tests, and result tables: https://github.com/Jatshi/SafeVLA-Bench.

Released checkpoints

state_bc_h16_full1000_holdout_seed{11,23,37,53,71}.pt: strict deterministic state behavior-cloning checkpoints with 16-step chunks.
rgbd_bc_h8_seed11_300ep.pt and rgbd_bc_h16_seed11_300ep.pt: compact RGB-D behavior-cloning negative baselines.
diffusion_h16_seed11_500ep.pt: conditional DDPM baseline retained with its negative closed-loop result.

Intended use

Research and education on selective execution, clarification, and stop decisions in ManiSkill simulation. These checkpoints are not suitable for direct physical-robot deployment.

Training data

Official ManiSkill PickCube-v1 motion-planning demonstrations replayed under pd_ee_delta_pos. Dataset hashes and conversion scripts are included in the repository and dataset card.

Evaluation

Across independent training initializations 11, 23, 37, 53, and 71, state BC reached 88% mean success (95% bootstrap CI 72%–100%, standard deviation 17.9 pp) on physx_cpu and 53% (39%–60%, standard deviation 15.7 pp) on physx_cuda. Training removed every episode whose metadata seed matched the evaluation set. The RGB-D and diffusion checkpoints did not achieve closed-loop success; they are published to make the failure analysis reproducible, not as high-performing models.

Limitations

The state checkpoint consumes privileged simulator state. GPU replay ignores some initial-state options, causing a measurable backend gap. Safety results are specific to the simulated geometry and thresholds documented in the repository.

The repository source code is Apache-2.0. Released weights are conservatively marked CC BY-NC 4.0 because training and evaluation use ManiSkill assets carrying that license; ManiSkill's third-party notices remain applicable.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pytorch

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов: d05e05e