Характеристики

Лицензия: Apache 2.0
Базовая модель: smolvla_base
Библиотека: lerobot
Опубликована: 15 июл 2026

Ссылки

smolvla-raise2026-ripeness-ref

Языковая модельИзображение, текст → action

Дообученная SmolVLA управляет роботом UR5e по изображению с камеры, состоянию суставов и языковой инструкции, выдавая целевые действия.

7скачиваний за 30 дней0лайковвеса обновлены15 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

scalexi/smolvla-raise2026-ripeness-ref — дообученная модель SmolVLA, опубликованная под именем автора Prof. Anis Koubaa. Она предназначена для управления UR5e в симуляции: получает изображение с камеры на запястье, состояние суставов и языковую инструкцию, затем выдаёт целевые значения суставов и положение захвата. Модель обучена в LeRobot на 49 автоматически записанных демонстрационных эпизодах: 4228 кадров с частотой 10 Гц и изображениями 224×224. В репозитории указаны веса safetensors; базовая модель — lerobot/smolvla_base.

В приведённом тесте в симуляции модель выполнила 8 из 8 чередующихся захватов объектов нужного цвета, не захватила неверные объекты и показала максимальную задержку 167 мс на ноутбуке с RTX 4090. Эти результаты относятся к указанному тесту и не подтверждают качество в других сценариях. Для инференса README рекомендует использовать штатные процессоры LeRobot, включая нормализацию датасета. Лицензия — Apache-2.0.

Сценарии применения

захват заданного объекта в симуляции по цвету
управление захватом UR5e по изображению с камеры на запястье
выполнение языковых инструкций для манипуляции объектами
воспроизведение демонстраций робота в LeRobot

Ограничения

Оценка приведена только для 8 испытаний в указанной симуляции и не устанавливает качество в других условиях. Для инференса требуются совместимые входы и штатные процессоры LeRobot с нормировочной статистикой датасета.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SmolVLA — RAISE 2026 greenhouse ripeness-sorting (reference model)

Fine-tuned SmolVLA-450M for the RAISE 2026 Summer School (ENET'Com Sfax, July 2026) Day-2 lab: a UR5e + Robotiq 2F-85 on a Husky base, parked at a tomato plant row in Gazebo Harmonic, executing "pick the red tomato" among green distractors from a single wrist camera.

The policy learned an active-perception scan: look above the left grasp spot — if the tomato there is red, descend and pick; if green, pan right and pick there.

Results (Lab-2.2 evaluator, live sim rollouts)

Metric	Score
Correct-color picks (red L/R alternating, 8 trials)	8/8
Wrong-object grabs	0
Max decision latency (RTX 4090 laptop)	167 ms
Rubric total	100/100

Training

Data: 49 auto-demonstrated scan episodes (4228 frames @ 10 Hz, 224×224 wrist RGB + 7-float state/action), recorded under a deterministic base-parking protocol. Dataset + full pipeline: aniskoubaa/raise2026-student
Recipe: lerobot-train, 6000 steps, batch 64, ~1.5 h on a 16 GB RTX 4090 laptop, wrist camera mapped to observation.images.camera1 via --rename_map

Use

from lerobot.policies.smolvla.modeling_smolvla import SmolVLAPolicy
policy = SmolVLAPolicy.from_pretrained("scalexi/smolvla-raise2026-ripeness-ref")

Inputs: observation.images.camera1 (224×224 RGB), observation.state (6 UR5e joint angles + gripper 0..0.5), a language instruction. Output: 7-float action (6 joint targets + gripper). Use the bundled pre/post processors (make_pre_post_processors(policy.config, pretrained_path=...)) — they hold the tokenizer and the dataset normalization stats.

Author: Prof. Anis Koubaa anis.koubaa@gmail.com

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · lerobot

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов: 66624ba