/ Модель

Характеристики

Контекст
1 010 000 токенов
Размер весов
21,8 ГБ
Архитектура
molmoact2 · dense
Библиотека
transformers
Опубликована
4 мая 2026

MolmoAct2

Изображение и текст → текст3 профессии

MolmoAct2 — открытая vision-language-action модель Ai2, предназначенная для дообучения под управление конкретными роботами по визуальным наблюдениям и языковым инструкциям.

20 216скачиваний за 30 дней26лайковвеса обновлены23 мая 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Изображение → текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MolmoAct2 — открытая модель vision-language-action для управления роботами, разработанная Allen Institute for AI (Ai2). Эта постобученная модель для нескольких типов роботов объединяет визуально-языковую основу Molmo2-ER с непрерывным экспертом действий на основе flow matching; языковая модель передаёт ему контекст через KV-conditioning на каждом слое. Репозиторий содержит веса в формате safetensors и метаданные нормализации для смеси постобучения.

Модель предназначена прежде всего как основа для дообучения под конкретное воплощение робота или бенчмарк, а не как готовая политика для непосредственного запуска. Она принимает визуальные наблюдения и инструкции на естественном языке и выдаёт действия робота; среди задач каталога также отмечено image-text-to-text. README не приводит размер модели, длину контекста или перечень поддерживаемых языков. Лицензия в предоставленных данных не указана.

Поведение может различаться в зависимости от робота, среды и аппаратной конфигурации. Перед запуском на физическом оборудовании требуется проверять выходы, ограничивать действия параметрами контроллера и задачи и обеспечивать надзор человека; для непосредственного инференса рекомендуется использовать специализированные дообученные чекпойнты.

Сценарии применения

  • дообучение политики управления под конкретную модель робота
  • адаптация управления роботом под новый бенчмарк
  • генерация непрерывных действий по изображению и текстовой инструкции
  • исследование управления роботами с визуально-языковой моделью

Ограничения

Это базовый чекпойнт для дальнейшего дообучения, а не готовая политика для конкретного робота; карточка не содержит прямого кода инференса. Выходы необходимо проверять и ограничивать с учётом робота и среды, особенно перед запуском на физическом оборудовании.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

MolmoAct2

MolmoAct2 is an open vision-language-action model for robot control. It builds on Molmo2-ER, an embodied-reasoning VLM backbone, and connects the autoregressive VLM to a flow-matching continuous action expert through per-layer KV (key-value) conditioning.

This checkpoint is the post-trained, multi-embodiment MolmoAct2 model. It is intended as a foundation checkpoint for further robot fine-tuning rather than as a ready-to-run policy for a single deployment setting.

Quick Links

Intended Use

Use this checkpoint for further fine-tuning on a target robot embodiment or benchmark. It contains the VLM and continuous action expert weights, plus normalization metadata for the post-training mixture in norm_stats.json.

This model card intentionally does not include direct policy inference code. For ready-to-run inference examples, use one of the fine-tuned checkpoints such as MolmoAct2-LIBERO, MolmoAct2-DROID, MolmoAct2-BimanualYAM, or MolmoAct2-SO100_101.

Model and Hardware Safety

MolmoAct2 generate robot actions from visual observations and language instructions, but their behavior may vary across embodiments, environments, and hardware configurations. Users should carefully validate model outputs before deployment, especially when operating physical robots or other actuated systems. Where possible, actions should be monitored through interpretable intermediate outputs (adaptive depth map), simulation rollouts, action limits, or other safety checks before execution on hardware. The model’s action space should be bounded by the training data, robot controller limits, and task-specific safety constraints, including limits on speed, workspace, torque, and contact force. Users should follow the hardware manufacturer’s safety guidelines, use appropriate emergency-stop mechanisms, and operate the system only in a safely configured environment with human supervision.

Citation

@misc{fang2026molmoact2actionreasoningmodels,
      title={MolmoAct2: Action Reasoning Models for Real-world Deployment}, 
      author={Haoquan Fang and Jiafei Duan and Donovan Clay and Sam Wang and Shuo Liu and Weikai Huang and Xiang Fan and Wei-Chuan Tsai and Shirui Chen and Yi Ru Wang and Shanli Xing and Jaemin Cho and Jae Sung Park and Ainaz Eftekhar and Peter Sushko and Karen Farley and Angad Wadhwa and Cole Harrison and Winson Han and Ying-Chun Lee and Eli VanderBilt and Rose Hendrix and Suveen Ellawela and Lucas Ngoo and Joyce Chai and Zhongzheng Ren and Ali Farhadi and Dieter Fox and Ranjay Krishna},
      year={2026},
      eprint={2605.02881},
      archivePrefix={arXiv},
      primaryClass={cs.RO},
      url={https://arxiv.org/abs/2605.02881}, 
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
MolmoAct2ForConditionalGeneration
Ревизия весов
e432d85

0 моделей