/ Модель

Характеристики

Лицензия
MIT
Библиотека
prismatic
Опубликована
27 июл 2026

ecot-libero90

Языковая модельИзображение, текст → action

VLA-модель для управления роботом в задачах LIBERO-90, которая сначала генерирует явную цепочку embodied-рассуждений, а затем выдаёт действия.

71скачиваний за 30 дней0лайковвеса обновлены27 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

RHYu2233/ecot-libero90 — модель vision-language-action (VLA) для управления роботом, представленная как воспроизведение рецепта Full ECoT из проекта ECoT-Lite. Она основана на MiniVLA-1B: языковая часть Qwen2.5-0.5B сочетается с визуальными компонентами DINOv2 и SigLIP с разрешением 224 пикселя. Модель обучена на LIBERO-90 с аннотациями embodied chain-of-thought.

На каждом решении модель формирует структурированную цепочку рассуждений о плане, видимых объектах, подзадаче, движении и положении захвата, а затем выдаёт коды действий. Один фрагмент кодирует 10 шагов управления семью VQ-кодами; генерация рассуждения занимает около 250 токенов и трёх секунд на решение. В README приведён результат 87,0% на 900 испытаниях LIBERO-90 для лучшего чекпойнта.

Модель предназначена для выполнения задач манипуляции в среде LIBERO-90 по изображению и текстовой инструкции. Для запуска требуется кодовая база latent-ecot. Репозиторий содержит веса PyTorch и распространяется по лицензии MIT.

Сценарии применения

  • выполнение задач манипуляции в LIBERO-90 по изображению и инструкции
  • планирование действий робота с учётом видимых объектов
  • генерация последовательностей движений и команд захвату
  • исследование влияния явных рассуждений на управление роботом

Ограничения

Модель ориентирована на задачи и данные LIBERO-90; README указывает, что для запуска требуется кодовая база latent-ecot. Генерация рассуждения занимает около трёх секунд на решение.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Explicit ECoT — MiniVLA-1B on LIBERO-90

Explicit embodied chain-of-thought VLA policy (reproduction of the ECoT-Lite "Full ECoT" recipe, arXiv:2505.08243): generates a structured reasoning chain (PLAN / VISIBLE OBJECTS / SUBTASK REASONING / SUBTASK / MOVE REASONING / MOVE / GRIPPER POSITION, ~250 tokens, ~3 s/decision) before emitting VQ action tokens.

  • Base: MiniVLA-1B (Qwen2.5-0.5B + DINOv2/SigLIP 224px), VQ action chunking (10 steps -> 7 codes)
  • Trained on LIBERO-90 with the Embodied-CoT reasoning annotations (batch 128, lr 2e-5)

Checkpoints

FileStepsLIBERO-90 (90 tasks x 10 trials)
checkpoints/step-100000-epoch-22-loss=0.0261.pt100k87.0% (783/900) -- best
checkpoints/step-140000-epoch-31-loss=0.0289.pt140k (from scratch)85.2% (767/900) -- matched-step vs. latent

References: no-CoT Standard-VLA baseline 82.0% and Full ECoT 90.8% (200k steps, 50 trials/task) as reported in ECoT-Lite Table 1. Companion latent-CoT model (89.1% at 140k, ~9x faster): see the latent-ecot-coconut-libero90 repo.

Usage

Requires the latent-ecot codebase. Place the vq/ folder from this repo at the working directory root, then:

from prismatic.models import load_vla
vla = load_vla("<repo_dir>/checkpoints/step-100000-epoch-22-loss=0.0261.pt",
               hf_token="", load_for_training=False)
action_chunk, info = vla.predict_action(
    image, instruction, unnorm_key="libero_lm_90",
    use_ecot=True, return_action_chunk=True, return_info=True)  # info["reasoning_text"]

Citation

Please cite ECoT-Lite (arXiv:2505.08243), ECoT (arXiv:2407.08693), MiniVLA, and LIBERO alongside this artifact.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · prismatic

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов
657430a

0 моделей