/ Модель

Характеристики

Лицензия
Apache 2.0
Опубликована
22 июл 2026

gen2act-c35-diffuse-gripper

Языковая модельИзображение, текст → action

Исследовательская политика Gen2Act предсказывает короткие последовательности действий робота и состояние захвата по видео демонстрации и текущим наблюдениям.

0скачиваний за 30 дней0лайковвеса обновлены22 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Gen2Act C35 Diffused Gripper — исследовательский чекпойнт политики управления роботом, обученный на демонстрациях, производных от DROID. Модель предсказывает последовательность из 8 шагов дельта-действий в системе координат камеры по исходному видео демонстрации и текущим наблюдениям робота.

Архитектура модели — DiT с flow matching и объединёнными запросами; визуальная основа использует DINOv2 ViT-B/14. Вход включает 8 кадров источника, истории из трёх кадров с фронтальной и кистевой камер, геометрию фронтальных патчей и проприоцепцию с проекцией камеры. Выход — 9-мерная дельта-поза и диффузионное бинарное измерение состояния захвата.

Чекпойнт ep9 обучался 10 эпох; приведённые в карточке MAE и RMSE относятся к нормализованной оценке действий и не являются метриками успешности замкнутого управления роботом. Для загрузки нужны соответствующие код и конфигурация Gen2Act. Модель требует совместимой калибровки и наблюдений в стиле DROID; это не сертифицированный контроллер безопасности, поэтому перед физическим применением необходимы испытания в симуляции или соответствующие аппаратные меры безопасности. Лицензия — Apache-2.0.

Сценарии применения

  • предсказание движений манипулятора по демонстрационному видео
  • генерация 8-шаговых последовательностей дельта-позы
  • управление захватом робота по визуальным наблюдениям
  • эксперименты по имитационному обучению на данных DROID
  • оценка политик управления роботом в симуляции

Ограничения

Требуются соответствующие калибровка, наблюдения в стиле DROID и код с конфигурацией Gen2Act. Чекпойнт не сертифицирован для безопасности; значения ошибок валидации не отражают успешность управления роботом в замкнутом цикле.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Gen2Act C35 Diffused Gripper

This repository contains the ep9 slim checkpoint for a Gen2Act policy trained on DROID-derived robot demonstrations. The policy predicts an 8-step camera- frame delta-action chunk from a source demonstration video and current robot observations.

Model

  • Architecture: fused-query flow-matching DiT
  • Visual backbone: DINOv2 ViT-B/14
  • Action: 9D delta pose plus a diffused binary gripper dimension
  • Inputs: 8 source frames, three-frame front and wrist observation histories, current front patch geometry, and camera-projection proprioception
  • Checkpoint: c35_diffuse_gripper_fulltrain_ep9_latest_slim.pt

The checkpoint is slim: it contains model weights, config, epoch, and metrics, but no optimizer state. Load it with the matching Gen2Act codebase and config.

Training Notes

The model was trained for 10 epochs; this uploaded checkpoint is ep9. Its training-side validation pose MAE was 0.03150 and pose RMSE was 0.06031 in the normalized action-evaluation logging pipeline. These are not closed-loop robot success metrics.

Intended Use and Limitations

This is a research checkpoint, not a safety-certified robot controller. It requires calibration-compatible DROID-style observations and should be tested in simulation or with appropriate hardware safety controls before any physical deployment.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов
1d7c9f1

0 моделей