/ Модель

Характеристики

Лицензия
Своя лицензия
Базовая модель
smolvla_base
Библиотека
lerobot
Опубликована
5 авг 2026

radeonvla_reflex_smolvla_2k_200k

Языковая модельИзображение, текст → action

Дообученная VLA-модель для сортировки фруктов роботом Franka по изображениям, состоянию суставов и языковым инструкциям в симуляторе Genesis.

12скачиваний за 30 дней0лайковвеса обновлены5 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

RadeonVLA-Reflex SmolVLA Physical-2K cumulative-200K — дообученный чекпойнт компактной VLA-модели LeRobot на базе lerobot/smolvla_base. Он предназначен для сортировки фруктов манипулятором Franka по языковой инструкции в сцене симулятора Genesis. Модель принимает изображения с двух RGB-камер 320×240, состояние робота из 9 суставных координат и текстовую инструкцию, а выдаёт последовательности абсолютных позиций суставов; управление рассчитано на частоту 20 Гц.

Чекпойнт обучался в два этапа на данных Physical-1K и Physical-2K. В заявленной проверке в симуляции успешны 36 из 100 первых попыток модели. При включении отдельной системы Precision-Reflex общий результат составил 91 из 100, однако восстановление опирается на геометрию симулятора и не является показателем самостоятельного визуального восстановления модели. Лицензия указана как other; конкретные условия в предоставленных данных не раскрыты.

Сценарии применения

  • сортировка яблок, бананов и других фруктов манипулятором Franka в симуляции
  • управление роботом по естественно-языковой инструкции
  • проверка поведения робота на задачах захвата и размещения объектов в Genesis

Ограничения

Обучение и оценка ограничены симулятором Genesis, зарегистрированным набором задач, двумя RGB-камерами 320×240 и действиями в виде 9-мерных абсолютных позиций суставов; перенос на реального робота не оценивался. Успешность первой попытки составила 36%, а восстановление Precision-Reflex использует геометрию симулятора и не подтверждает способность модели к визуальному восстановлению.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

RadeonVLA-Reflex SmolVLA Physical-2K cumulative-200K Model Card

Release status: cumulative-200K checkpoint complete, locally hash-verified, and evaluated on 100 disjoint-seed strict-physics rollouts. The learned first attempt succeeds on 36/100; the explicitly enabled Precision-Reflex system finishes 91/100.

Model

Intended use

Language-conditioned Franka fruit sorting in the project Genesis scene.

Inputs and outputs

  • Image inputs: observation.images.world + observation.images.wrist (320×240 RGB); renamed to camera1/camera2 for SmolVLA
  • State shape and ordering: 9-D qpos — panda_joint1..7, panda_finger_joint1..2
  • Language input: natural-language task instruction
  • Action type, shape, and ordering: 9-D absolute joint positions (same order as state)
  • Control frequency: 20 Hz
  • Action chunk size: determined by SmolVLA checkpoint config

Training

ItemValue
Radeon GPUAMD Radeon Graphics, gfx1100, 51.5 GB VRAM
ROCm7.2.1 / HIP runtime 7.2.53211
PyTorch2.9.1+rocm7.2.1
PrecisionFP32 (use_amp=false)
Batch size4
Gradient accumulationNot configured; one optimizer update per batch
Cumulative training stepsapproximately 200,000
Final continuation100,000 steps / 400,000 sampled frames
Final continuation time3h 45m 32s
Final throughput30 samples/s / 7.41 optimizer steps/s
Peak training memory reported by LeRobot2.22 GB
Final logged minibatch loss0.058

Evaluation

The formal benchmark covers 20 L1 tasks × 5 disjoint seeds (100 total, seeds 52000–52099) using the exact language stored during collection. first_attempt_success measures learned SmolVLA execution. When explicitly enabled, Precision Reflex handles terminal failures with the strict-physics geometry controller under forbid_rigid_pose_writes() and allow_kinematic_assist=False; no fruit pose reset, teleport, grasp glue, or placement nudge is permitted.

MetricResult
Learned first-attempt success36/100 (36.0%; Wilson 95% CI 27.3–45.8%)
Precision-recovery attempts63
Precision-recovery success55/63 (87.3%)
Precision-recovery contribution55/100 (55.0 points)
Final system success91/100 (91.0%; Wilson 95% CI 83.8–95.2%)
Inference latency P50 / P954.54 ms / 37.27 ms

The nine retained failures are eight empty_grasp events and one wrong_object event. Final success by fruit is apple 20/20, banana 19/20, lemon 19/20, orange 17/20, and plum 16/20. The latency values were recorded while five disjoint evaluation partitions shared one Radeon GPU and therefore include concurrent-evaluation contention.

Limitations

Training and evaluation are limited to Genesis simulation. Coverage includes the registered language and task suite, dual RGB cameras at 320×240, and 9-D absolute joint actions. Precision recovery uses simulator geometry and is not evidence of learned visual recovery. Real-robot transfer is outside the current evaluation scope. The published card lists failure modes observed in the final evaluation run.

License note

The upstream lerobot/smolvla_base repository did not declare license metadata when the base revision above was frozen. This model card therefore uses Hugging Face's other marker instead of inventing a permissive license. The Physical-2K training dataset is CC BY 4.0 and its attribution requirements remain applicable to the dataset and rendered examples. Users must review the upstream base-model terms before redistribution or commercial use.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · lerobot

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов
1ea32da

0 моделей