/ Модель

Характеристики

Лицензия
Apache 2.0
Базовая модель
lingbot-va-base
Библиотека
diffusers
Опубликована
17 июл 2026

lingbot-va-galaxea-a1-fruit-placement-eef-step-1000

Языковая модельИзображение, текст → action

Дообученная LingBot-VA для управления манипулятором Galaxea A1 при размещении фруктов в миску или на тарелку по визуальным наблюдениям.

0скачиваний за 30 дней0лайковвеса обновлены16 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

LingBot-VA Galaxea A1 Fruit Placement EEF Step 1000 — модель управления роботом, полученная дообучением LingBot-VA для размещения фруктов в миску или на тарелку манипулятором Galaxea A1. Модель прогнозирует действия робота и видео-латенты по визуальным наблюдениям. В репозитории находятся веса трансформера шага 1000, а также базовые токенизатор, текстовый энкодер и VAE; для отображения действий EEF используется конфигурация с соответствующим сопоставлением и нормализацией.

Обучение проводилось на демонстрациях: 130 эпизодов, 44 824 кадра при 30 кадрах в секунду и пять задач. В карточке приведены качественные примеры выполнения, включая один сценарий размещения лимона в миску, обозначенный как выходящий за распределение обучающих данных; численные показатели успеха и анализ ошибок в предоставленном описании отсутствуют. Модель распространяется по лицензии Apache-2.0.

Сценарии применения

  • размещение фруктов в миску роботом Galaxea A1
  • выкладка фруктов на тарелку роботизированным манипулятором
  • прогнозирование действий EEF по визуальным наблюдениям
  • эксперименты с видео-действиями для манипуляции фруктами

Ограничения

Модель настроена для размещения фруктов манипулятором Galaxea A1 и основана на 130 обучающих эпизодах. Приведённые результаты являются качественными примерами, а численные показатели успеха и анализ ошибок в описании отсутствуют.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

LingBot-VA — Galaxea A1 Fruit Placement EEF — Step 1000

Galaxea A1 fruit-placement scene

LingBot-VA fine-tuned for fruit placement into a bowl or plate with a Galaxea A1 arm. The model predicts robot actions and video latents.

Data

Training demonstrations.

FieldValue
Episodes130
Frames44,824 at 30 FPS
Tasks5
Camerasfront 480×480 RGB; wrist 640×480 RGB
ActionEpisode-relative EEF pose + continuous normalized gripper

Training epochs

Approximately 123.08 equivalent fine-tuning epochs, calculated as 1,000 optimizer updates × 16 effective global batch size / 130 training segments. Each selected episode contributes one latent training segment; the denominator is the segment count, not the raw video-frame count. This estimate assumes all selected segments have valid latent caches and excludes base-model pretraining. See training_summary.json.

Evaluation

The following qualitative rollouts evaluate fruit placement into a bowl or a plate. The lemon-to-bowl task is out-of-distribution (OOD); all other shown fruit–receptacle combinations are in-distribution (ID). Videos are trimmed after task completion and shown at 6× speed.

These evaluation rollouts were run with pengyue-polaron/galaxea-a1-runtime at commit 423c53a.

FruitBowlPlate
BananaIDBanana placed into a bowlIDBanana placed onto a plate
LemonOODLemon placed into a bowlIDLemon placed onto a plate
MangoIDMango placed into a bowlIDMango placed onto a plate

These GIFs are qualitative examples. See the full real-robot evaluation for success rates and failure analysis.

Files and configuration

transformer/ contains the step-1000 weights. The base tokenizer, text encoder, and VAE are included. Use configs/va_a1_cfg.py for the EEF action mapping and normalization.

Training details · Training summary

License

Apache License 2.0. See LICENSE.txt.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · diffusers

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов
320a234

0 моделей