Характеристики

Лицензия: MIT
Опубликована: 2 авг 2026

Ссылки

Stereo-CoRE

Языковая модельИзображение, текст → action

Децентрализованная политика для совместного управления несколькими роботами при выполнении задач манипуляции по локальным RGB-D наблюдениям и положениям суставов.

0скачиваний за 30 дней0лайковвеса обновлены6 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Stereo-CoRE — исследовательская политика управления роботами, представленная как официальный пакет воспроизводимости. Она предназначена для децентрализованного совместного управления несколькими роботами при выполнении пяти задач манипуляции: LiftBarrier, CameraAlignment, ThreeRobotsStackCube, LongPipelineDelivery и TakePhoto. Каждый робот использует только собственное изображение RGB-D с камеры на запястье и значения положения суставов; идентификаторы задачи и агента, языковые команды, связь между роботами, глобальная камера и наблюдения других роботов не используются.

Визуальные входы обрабатывают замороженные энкодеры DINOv3-B/16 для RGB и DeFM-S/14 для глубины. Политика ACT использует 4-слойный латентный энкодер, 7-слойный декодер и формирует фрагменты действий длиной 100. Маршрутизатор выбирает эксперта на основе его способности предсказывать текущий фрагмент действий. Вход включает RGB-D кадр 640×480 с метрической глубиной и qpos; выход — действия робота. Репозиторий распространяется по лицензии MIT.

Сценарии применения

управление несколькими роботами при подъёме объектов через препятствие
выравнивание камеры робота
складывание кубов тремя роботами
передача объектов между роботами по длинной производственной линии
управление роботами для фотосъёмки объекта

Ограничения

Политика использует локальные наблюдения с камеры на запястье и qpos; она не принимает языковые команды, идентификаторы задачи или агента и не использует связь между роботами либо глобальные и чужие камеры. Описание указывает на пять конкретных задач манипуляции.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Stereo-CoRE

Official reproducibility package for Stereo-CoRE, a strictly decentralized shared policy for multi-task, multi-robot manipulation. Each robot receives only its own panda_hand wrist RGB-D observation and qpos. Deployment uses no task/agent ID, language, communication, global camera, peer observation, right camera, or FastFS.

Observation and policy contract

wrist RGB-D: 640x480
native metric depth decoded from millimetres
frozen DINOv3-B/16 RGB and DeFM-S/14 depth encoders
aligned 30x40 RGB/depth patch grids with learned 2-D relative-bias RGB-to-depth attention
ACT: 4-layer latent encoder, 7-layer decoder, chunk length 100
shared policy across LiftBarrier (2), CameraAlignment (3), ThreeRobotsStackCube (3), LongPipelineDelivery (4), and TakePhoto (4)

Main method

Stereo-CoRE couples the local action-query router to counterfactual expert capability. At a scheduled update, every expert predicts the same ground-truth action chunk; its true action error defines a soft capability target, and KL(q_capability || p_router) trains the router to select experts that are actually competent for the current local action role. The released main run uses capability_weight=0.05 and disables relation, specialization, and anchor auxiliaries.

Repositories

Code: https://github.com/YananZHOU5555/Stereo-CoRE
Dataset: https://huggingface.co/datasets/B111ue/RoboFactory-5Task-RGBD-Decentralized
Models: https://huggingface.co/B111ue/Stereo-CoRE
Upstream RoboFactory commit: 5868242322414a91454e22f1dd9641f613ba1bcf

See docs/REPRODUCE.md, docs/METHOD.md, and docs/RESULTS.md.

MODEL_REGISTRY.json binds every All-5 paper row to one public checkpoint, its SHA-256, embedded normalization statistics, exact config, frozen-seed results and evaluation protocol.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов: a4776c8