Motus — предобученная модель мира и Vision-Language-Action для генерации видео и управления роботизированными манипуляциями двумя руками.

Подходит для: предсказание действий робота по изображению и текстовой инструкции · управление двумя руками при роботизированных манипуляциях · предсказание будущих кадров и действий робота

Дообученный чекпойнт Motus для управления роботом в более чем 50 бимануальных задачах манипуляции бенчмарка RoboTwin 2.0.

Подходит для: управление двумя руками робота в симуляции RoboTwin 2.0 · выполнение многоэтапных задач захвата и размещения предметов · генерация последовательностей действий робота по визуальному и языковому контексту

Открытая модель NVIDIA на 3 млрд параметров, которая преобразует изображения, инструкции и состояние робота в управляющие действия для задач гуманоидной манипуляции.

Подходит для: управление манипуляциями робота по текстовой инструкции · адаптация навыков управления под конкретного гуманоидного робота · обучение действий на данных реальных демонстраций

Модель Allen Institute for AI для управления манипуляторами SO-100/101 по изображениям, состоянию робота и текстовым инструкциям.

Подходит для: управление манипулятором SO-100 по визуальному наблюдению и инструкции · управление манипулятором SO-101 для выполнения бытовых задач · предсказание непрерывных движений робота по кадрам с камер

MolmoAct2 — открытая vision-language-action модель Ai2, предназначенная для дообучения под управление конкретными роботами по визуальным наблюдениям и языковым инструкциям.

Подходит для: дообучение политики управления под конкретную модель робота · адаптация управления роботом под новый бенчмарк · генерация непрерывных действий по изображению и текстовой инструкции

Мультимодальная модель NVIDIA на базе Qwen2.5-VL для рассуждений о физических сценах и планирования задач роботами по изображениям, видео и тексту.

Подходит для: Планирование следующих действий робота по видео окружающей среды · Разбор сложной команды для робота на последовательность задач · Анализ пространственных и временных событий в видео

Базовая Vision-Language-Action модель LeRobot для дообучения и управления роботами по изображениям, состоянию робота и текстовым инструкциям.

Подходит для: дообучение управления роботом-манипулятором под конкретную задачу · управление роботом по изображениям с нескольких камер · выполнение роботизированных задач по текстовой инструкции

Дообученная на базе NVIDIA GR00T N1.7 робототехническая policy-модель для преобразования наблюдений в действия робота.

Подходит для: формирование действий робота по входным наблюдениям · запуск дообученной policy в runtime семейства GR00T · интеграция робототехнической модели с заданными пространством действий и нормализацией

Мультимодальный чекпойнт Allen Institute for AI для донастройки роботизированных политик с рассуждением по глубине сцены и генерацией действий по визуальным наблюдениям и языковым инструкциям.

Подходит для: дообучение роботизированной политики с учётом глубины сцены · формирование действий робота по изображению и языковой инструкции · исследование глубинного представления перед выбором действия

Контрольная точка Xiaomi Robotics на архитектуре MiBoT для генерации действий робота и оценки в симуляторе RoboCasa365.

Подходит для: генерация действий робота в задачах RoboCasa365 · оценка успешности выполнения роботизированных манипуляций в симуляции · воспроизводимая много-GPU оценка модели в RoboCasa365

Мультимодальная модель Alibaba DAMO Academy для планирования роботизированных действий по изображениям сцены и текстовой цели.

Подходит для: планирование последовательности действий робота по заданной цели и изображению сцены · разбиение многошаговой задачи манипуляции на подзадачи · привязка объектов и целевых областей к физическому пространству

Мультимодальная модель BAAI на 7 млрд параметров для пространственного восприятия, рассуждений и планирования действий роботов по визуальным данным и инструкциям.

Подходит для: Предсказание точек взаимодействия и рамок объектов по инструкции и изображению · Определение пространственных отношений между объектами в сцене · Прогнозирование траекторий объектов или роботов

Дообученная визуально-языковая модель для понимания сцен и построения многошаговых планов действий роботов.

Подходит для: декомпозиция цели робота на последовательность подзадач · планирование манипуляций по изображению сцены и текстовой цели · подготовка пространственно обоснованных инструкций для робототехнической системы

Мультимодальная модель Allen Institute for AI, которая анализирует изображения и текст, чтобы рассуждать о действиях робота-манипулятора.

Подходит для: рассуждение о действиях робота по изображению сцены и текстовой инструкции · воспроизведение результатов MolmoAct на SimplerEnv с Google Robot · манипуляции объектами одной рукой робота Franka в домашних и настольных сценариях

Открытая модель NVIDIA для управления гуманоидным роботом в задачах манипуляции по изображениям, состоянию робота и текстовым инструкциям, дообученная на Bridge Dataset для SimplerEnv.

Подходит для: управление роботом при манипуляции предметами в SimplerEnv · выполнение роботизированных действий по текстовой инструкции · адаптация базовой модели управления под конкретного гуманоидного робота

Модель на базе Qwen3-VL для навигации роботов и планирования маршрута по изображениям и языковым инструкциям.

Подходит для: навигация робота по визуальному наблюдению и текстовой инструкции · планирование пути в эгоцентрической сцене · поиск целевого объекта или области в сцене

Модель AllenAI для управления бимануальным роботом YAM по изображениям с камер, состоянию робота и языковым инструкциям.

Подходит для: управление бимануальным роботом YAM по визуальному наблюдению · выполнение инструкций на естественном языке с помощью робота YAM · предсказание непрерывных действий и абсолютных поз суставов

Визуальная модель The AI Institute на базе DeiT-Base извлекает признаки для обучения робототехнических систем, объединяя знания CLIP, DINOv2 и ViT.

Подходит для: извлечение визуальных признаков для обучения робота · подготовка представлений изображений для робототехнических задач · использование визуальных эмбеддингов в downstream-моделях для робототехники

Дообученная на RoboInter-VQA мультимодальная модель для визуального анализа манипуляций, предсказания промежуточных представлений и планирования шагов робота.

Подходит для: предсказание точек траектории манипулятора по изображению · определение рамок объектов, захвата и контакта · ответы на вопросы о позе захвата и состоянии контакта

Мультимодальная модель Tencent для пространственного понимания, планирования и поддержки действий роботов по изображениям и тексту.

Подходит для: Планирование последовательности действий бытового робота · Выбор объектов и понимание их положения на изображении · Разрешение ссылок на предметы в командах пользователя

Контрольная точка Xiaomi Robotics на базе MiBoT для генерации действий робота и оценки в симуляторе RoboCasa.

Подходит для: Оценка политики робота в задачах RoboCasa · Генерация действий робота в симуляции · Воспроизведение много-GPU оценки Xiaomi-Robotics-1

Дообученная мультимодальная модель Qwen2.5-VL для визуального понимания сцен манипуляции, планирования и генерации промежуточных представлений действий робота.

Подходит для: ответы на вопросы о позах захвата и контактах объектов · выбор траектории перемещения по изображению сцены · генерация точек траектории и контактных областей для манипуляции

Модель NVIDIA для управления гуманоидными роботами, которая преобразует изображения, текстовые инструкции и данные о состоянии робота в непрерывные моторные команды.

Подходит для: управление манипуляциями гуманоида по текстовой инструкции · выполнение роботизированных задач по изображениям с камер · адаптация базовой политики управления под конкретного робота

Мультимодальная модель X-Humanoid на базе Qwen2.5-VL для понимания сцен и поддержки задач захвата, навигации и манипуляций робота.

Подходит для: Определение объектов и их расположения на изображении для выбора предмета захвата · Планирование порядка действий робота по визуальной сцене · Поддержка навигации робота в помещении