/ Модель

Характеристики

Контекст
1 010 000 токенов
Размер весов
21,8 ГБ
Архитектура
molmoact2 · dense
Библиотека
transformers
Опубликована
4 мая 2026

MolmoAct2-Think

Изображение и текст → текст3 профессии

Мультимодальный чекпойнт Allen Institute for AI для донастройки роботизированных политик с рассуждением по глубине сцены и генерацией действий по визуальным наблюдениям и языковым инструкциям.

4 137скачиваний за 30 дней5лайковвеса обновлены23 мая 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Изображение → текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MolmoAct2-Think — модель Allen Institute for AI для робототехники, расширяющая MolmoAct2 рассуждением по глубине сцены. Перед выдачей действия она может предсказывать компактное дискретное представление глубины 10 × 10 и использовать его вместе с визуально-языковым кэшем для формирования действия. Архитектура — плотная мультимодальная модель MolmoAct2ForConditionalGeneration; репозиторий содержит веса в формате safetensors и предназначен для работы с Transformers.

Чекпойнт после дополнительного обучения поддерживает несколько типов воплощений роботов и предназначен прежде всего для дальнейшей донастройки политик, которым нужно учитывать глубину. Он включает визуально-языковую модель, эксперт действий, веса токенов глубины и метаданные нормализации. Это не готовая политика для конкретного робота: для непосредственного запуска README рекомендует дообученную MolmoAct2-Think-LIBERO. Модель принимает визуальные наблюдения и языковые инструкции, а выдаёт представление глубины и действия робота. Лицензия в предоставленных данных не указана.

Сценарии применения

  • дообучение роботизированной политики с учётом глубины сцены
  • формирование действий робота по изображению и языковой инструкции
  • исследование глубинного представления перед выбором действия
  • адаптация политики для разных воплощений роботов

Ограничения

Чекпойнт рассчитан на дальнейшую донастройку и не является готовой политикой для конкретного сценария; качество поведения может зависеть от воплощения робота, среды и конфигурации оборудования. Перед запуском на физическом роботе действия следует проверять и ограничивать с учётом требований безопасности.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

MolmoAct2-Think

MolmoAct2-Think extends MolmoAct2 with depth-token reasoning. Before producing an action, the model can predict a compact 10 x 10 discrete depth representation and condition the action expert on the resulting depth-aware VLM cache.

This checkpoint is the post-trained, multi-embodiment depth-reasoning model. It is intended as a foundation checkpoint for further robot fine-tuning rather than as a ready-to-run policy for a single deployment setting.

Quick Links

Intended Use

Use this checkpoint for further fine-tuning when the downstream policy should use depth reasoning. It contains the VLM, action expert, and depth-token weights, plus normalization metadata for the post-training mixture in norm_stats.json.

This model card intentionally does not include direct policy inference code. For ready-to-run depth-reasoning inference, use the fine-tuned MolmoAct2-Think-LIBERO checkpoint.

Model and Hardware Safety

MolmoAct2 generate robot actions from visual observations and language instructions, but their behavior may vary across embodiments, environments, and hardware configurations. Users should carefully validate model outputs before deployment, especially when operating physical robots or other actuated systems. Where possible, actions should be monitored through interpretable intermediate outputs (adaptive depth map), simulation rollouts, action limits, or other safety checks before execution on hardware. The model’s action space should be bounded by the training data, robot controller limits, and task-specific safety constraints, including limits on speed, workspace, torque, and contact force. Users should follow the hardware manufacturer’s safety guidelines, use appropriate emergency-stop mechanisms, and operate the system only in a safely configured environment with human supervision.

Citation

@misc{fang2026molmoact2actionreasoningmodels,
      title={MolmoAct2: Action Reasoning Models for Real-world Deployment}, 
      author={Haoquan Fang and Jiafei Duan and Donovan Clay and Sam Wang and Shuo Liu and Weikai Huang and Xiang Fan and Wei-Chuan Tsai and Shirui Chen and Yi Ru Wang and Shanli Xing and Jaemin Cho and Jae Sung Park and Ainaz Eftekhar and Peter Sushko and Karen Farley and Angad Wadhwa and Cole Harrison and Winson Han and Ying-Chun Lee and Eli VanderBilt and Rose Hendrix and Suveen Ellawela and Lucas Ngoo and Joyce Chai and Zhongzheng Ren and Ali Farhadi and Dieter Fox and Ranjay Krishna},
      year={2026},
      eprint={2605.02881},
      archivePrefix={arXiv},
      primaryClass={cs.RO},
      url={https://arxiv.org/abs/2605.02881}, 
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
MolmoAct2ForConditionalGeneration
Ревизия весов
94822d9

0 моделей