/ Модель

Характеристики

Контекст
131 072 токена
Размер весов
21,8 ГБ
Архитектура
molmoact2 · dense
Базовая модель
MolmoAct2
Библиотека
transformers
Опубликована
28 авг 2026

MolmoAct2-NEXTAGE-Forceps

Изображение и текст → текст3 профессии

Дообученная MolmoAct2 для управления бимануальным роботом NEXTAGE при передаче хирургического зажима между руками.

15скачиваний за 30 дней0лайковвеса обновлены29 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MolmoAct2 NEXTAGE Forceps — полноценно дообученная модель Michi-Tsubaki на базе Allen Institute for AI (Ai2) MolmoAct2 для бимануального робота NEXTAGE. Она предназначена для передачи хирургического зажима из руки в руку по визуальным наблюдениям и языковому запросу.

Модель обрабатывает изображения с верхней и правой запястной камер, состояние робота и выдаёт непрерывные действия в виде абсолютных положений суставов. Горизонт действия составляет 30 шагов; для специфичной конфигурации робота используются отдельные метаданные нормализации. Чекпойнт включает эксперт действий и требует загрузки с trust_remote_code=True.

Модель рассчитана на исследования с описанной конфигурацией NEXTAGE и соглашением управления, а не на универсальное управление роботами. Перед использованием на физическом роботе следует проверять выходы офлайн и в симуляции, применять ограничения контроллера и обеспечивать надзор человека. Сведения о лицензии в карточке не приведены.

Сценарии применения

  • передача хирургического зажима между руками робота NEXTAGE
  • генерация суставных команд по изображениям с камер робота
  • исследования визуально-языкового управления бимануальными роботами
  • проверка политики передачи инструмента в симуляции

Ограничения

Модель специализирована для конкретной конфигурации NEXTAGE и задачи передачи зажима, поэтому не является универсальной политикой управления. Перед применением на оборудовании требуется проверка в офлайн-режиме и симуляции, ограничения контроллера и надзор человека; сведения о лицензии не приведены.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

MolmoAct2 NEXTAGE Forceps

This is a full fine-tune of allenai/MolmoAct2 for a bimanual NEXTAGE robot performing a surgical forceps handover task.

Training

  • Dataset: Michi-Tsubaki/hand_over_the_forceps_to_the_hand
  • Training steps: 3,000
  • Global batch size: 64
  • Observation cameras: observation.images.top, observation.images.right_wrist
  • Robot state: observation.state
  • Control mode: absolute joint position
  • Action horizon / executed steps: 30 / 30
  • Normalization tag: nextage_forceps

The repository contains the continuous action expert and the embodiment-specific normalization metadata in norm_stats.json. Loading the model requires trust_remote_code=True because the MolmoAct2 Transformers implementation is included with the checkpoint.

Intended use and safety

This checkpoint is intended for research on the NEXTAGE setup and action convention described above. It is not a general-purpose robot policy. Validate outputs offline and in simulation before hardware use. Apply controller-side joint, velocity, workspace, torque, and contact-force limits; keep an emergency stop available; and operate under human supervision.

References

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры
MolmoAct2ForConditionalGeneration
Ревизия весов
5067a1a

0 моделей