/ Модель

Характеристики

Лицензия
Apache 2.0
Базовая модель
lingbot-va-base
Библиотека
diffusers
Опубликована
5 авг 2026

lingbot-va-galaxea-a1-plug-insertion-eef-step-500

Языковая модельИзображение, текст → action

Дообученная LingBot-VA предсказывает видео-латенты и действия Galaxea A1 для захвата зарядного устройства и его вставки в сетевой фильтр.

0скачиваний за 30 дней0лайковвеса обновлены16 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

LingBot-VA Galaxea A1 Plug Insertion EEF Step 500 — контрольная точка дообучения модели LingBot-VA, созданная для робота-манипулятора Galaxea A1. Она предназначена для захвата зарядного устройства и его вставки в крайнее левое гнездо сетевого фильтра. Модель предсказывает действия робота и видео-латенты по визуальному наблюдению; для управления используется EEF-картирование действий и нормализация из конфигурации проекта.

Дообучение выполнено на 26 демонстрационных эпизодах из 31. В README указаны 500 обновлений оптимизатора и оценка на реальном роботе: успешна 1 вставка из 12 попыток; ещё пять запусков остановились при начальном захвате и не вошли в оценку. Это указывает на низкую подтверждённую надёжность выполнения задачи. Репозиторий содержит веса в формате safetensors, а также базовые tokenizer, text encoder и VAE. Модель основана на robbyant/lingbot-va-base и распространяется по лицензии Apache-2.0.

Сценарии применения

  • управление Galaxea A1 при захвате зарядного устройства
  • вставка вилки зарядного устройства в крайнее левое гнездо сетевого фильтра
  • исследование предсказания действий робота по визуальному наблюдению
  • оценка роботизированного выполнения задачи подключения зарядного устройства

Ограничения

В описанной оценке на реальном роботе успешна 1 из 12 попыток вставки; пять запусков остановились на этапе захвата и исключены из этой оценки. Модель обучена на ограниченном наборе из 26 демонстрационных эпизодов.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

LingBot-VA — Galaxea A1 Plug Insertion EEF — Step 500

LingBot-VA fine-tuned for picking up a charger and inserting it into the leftmost socket of a power strip with a Galaxea A1 arm. The model predicts robot actions and video latents.

Data

Training demonstrations.

FieldValue
Available demonstrations31 episodes / 24,638 frames at 30 FPS
Training split26 episodes / 20,109 frames
Reserved splitEpisodes 0, 7, 15, 23, 30 / 4,529 frames
Camerasfront 480×480 RGB; wrist 640×480 RGB
ActionEpisode-relative EEF position + quaternion + normalized gripper

Training epochs

Approximately 307.69 equivalent fine-tuning epochs, calculated as 500 optimizer updates × 16 effective global batch size / 26 training segments. Each selected episode contributes one latent training segment; the denominator is the segment count, not the raw video-frame count. This estimate assumes all selected segments have valid latent caches and excludes base-model pretraining. See training_summary.json.

Only the 26 training episodes are counted; the five reserved episodes are excluded. Random crops of at most 64 latent frames mean this is a segment-sampling epoch count, not a count of complete passes over every raw frame.

Evaluation

Real-robot evaluation on August 8, 2026: 1/12 successful insertions (8.3%). Five additional runs stopped during the initial grasp and were excluded. See the rollouts and failure analysis.

Files and configuration

transformer/ contains the step-500 weights. The base tokenizer, text encoder, and VAE are included. Use configs/va_a1_cfg.py for the EEF action mapping and normalization.

Training details · Training summary

The saved training code is in training/; this is an inference checkpoint without optimizer state.

License

Apache License 2.0. See LICENSE.txt.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · diffusers

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов
69bb446

0 моделей