Мультимодальная модель Unitree Robotics для управления манипуляциями гуманоидных роботов по визуальным и языковым данным.
Подходит для: управление манипуляциями гуманоидного робота по визуальной сцене · выполнение роботизированных задач по текстовой инструкции · исследование моделей Vision-Language-Action для физического взаимодействия
Производная модели unitreerobotics/UnifoLM-VLM-Base. Мультимодальная модель Unitree Robotics для управления манипуляциями гуманоидных роботов по визуальным и языковым данным.
Подходит для: управление манипуляциями гуманоидного робота по визуальной сцене · выполнение роботизированных задач по текстовой инструкции · исследование моделей Vision-Language-Action для физического взаимодействия
Базовая Vision-Language-Action-модель Unitree Robotics для управления манипуляциями гуманоидного робота по визуальному восприятию и языковым инструкциям.
Подходит для: управление манипуляциями гуманоидного робота · выполнение роботизированных задач по языковым инструкциям · связь визуального восприятия с действиями робота
Открытая модель NVIDIA на 3 млрд параметров, которая преобразует изображения, инструкции и состояние робота в управляющие действия для задач гуманоидной манипуляции.
Подходит для: управление манипуляциями робота по текстовой инструкции · адаптация навыков управления под конкретного гуманоидного робота · обучение действий на данных реальных демонстраций
Базовая Vision-Language-Action модель LeRobot для дообучения и управления роботами по изображениям, состоянию робота и текстовым инструкциям.
Подходит для: дообучение управления роботом-манипулятором под конкретную задачу · управление роботом по изображениям с нескольких камер · выполнение роботизированных задач по текстовой инструкции
Модель Allen Institute for AI для управления манипуляторами SO-100/101 по изображениям, состоянию робота и текстовым инструкциям.
Подходит для: управление манипулятором SO-100 по визуальному наблюдению и инструкции · управление манипулятором SO-101 для выполнения бытовых задач · предсказание непрерывных движений робота по кадрам с камер
Дообученная на базе NVIDIA GR00T N1.7 робототехническая policy-модель для преобразования наблюдений в действия робота.
Подходит для: формирование действий робота по входным наблюдениям · запуск дообученной policy в runtime семейства GR00T · интеграция робототехнической модели с заданными пространством действий и нормализацией
Открытая модель NVIDIA, преобразующая изображения, инструкции и состояние робота в непрерывные управляющие действия для манипуляционных навыков гуманоидных роботов.
Подходит для: управление манипуляциями гуманоидного робота по текстовой инструкции · выполнение роботизированных задач по кадрам с камер и данным о состоянии робота · адаптация политики управления под конкретное воплощение робота
Мультимодальная модель NVIDIA на базе Qwen2.5-VL для рассуждений о физических сценах и планирования задач роботами по изображениям, видео и тексту.
Подходит для: Планирование следующих действий робота по видео окружающей среды · Разбор сложной команды для робота на последовательность задач · Анализ пространственных и временных событий в видео
Мультимодальная модель BAAI на 7 млрд параметров для пространственного восприятия, рассуждений и планирования действий роботов по визуальным данным и инструкциям.
Подходит для: Предсказание точек взаимодействия и рамок объектов по инструкции и изображению · Определение пространственных отношений между объектами в сцене · Прогнозирование траекторий объектов или роботов
Мультимодальный чекпойнт Allen Institute for AI для донастройки роботизированных политик с рассуждением по глубине сцены и генерацией действий по визуальным наблюдениям и языковым инструкциям.
Подходит для: дообучение роботизированной политики с учётом глубины сцены · формирование действий робота по изображению и языковой инструкции · исследование глубинного представления перед выбором действия
Мультимодальная модель Alibaba DAMO Academy для планирования роботизированных действий по изображениям сцены и текстовой цели.
Подходит для: планирование последовательности действий робота по заданной цели и изображению сцены · разбиение многошаговой задачи манипуляции на подзадачи · привязка объектов и целевых областей к физическому пространству
Производная модели DeepCybo/PhysBrain1.5-2B. PhysBrain 1.5 — дообученная мультимодальная модель для пространственного понимания, планирования действий робота и предсказания изменений визуальной сцены.
Подходит для: определение пространственных отношений между объектами на изображении · локализация целевой точки или области для манипуляции · планирование последовательности действий робота по инструкции и изображению
Визуальная модель The AI Institute на базе DeiT-Base извлекает признаки для обучения робототехнических систем, объединяя знания CLIP, DINOv2 и ViT.
Подходит для: извлечение визуальных признаков для обучения робота · подготовка представлений изображений для робототехнических задач · использование визуальных эмбеддингов в downstream-моделях для робототехники
PhysBrain 1.5 — дообученная мультимодальная модель для пространственного понимания, планирования действий робота и предсказания изменений визуальной сцены.
Подходит для: определение пространственных отношений между объектами на изображении · локализация целевой точки или области для манипуляции · планирование последовательности действий робота по инструкции и изображению
Открытая модель NVIDIA для управления гуманоидным роботом в задачах манипуляции по изображениям, состоянию робота и текстовым инструкциям, дообученная на Bridge Dataset для SimplerEnv.
Подходит для: управление роботом при манипуляции предметами в SimplerEnv · выполнение роботизированных действий по текстовой инструкции · адаптация базовой модели управления под конкретного гуманоидного робота
Дообученная визуально-языковая модель для понимания сцен и построения многошаговых планов действий роботов.
Подходит для: декомпозиция цели робота на последовательность подзадач · планирование манипуляций по изображению сцены и текстовой цели · подготовка пространственно обоснованных инструкций для робототехнической системы
Мультимодальная политика для робототехники, которая связывает визуальные латенты и состояние робота с последовательностями действий.
Подходит для: генерация действий робота по визуальному наблюдению и состоянию · планирование будущих действий в задачах управления роботом · совместная обработка визуальных латентов и управляющих сигналов
Модель AllenAI для управления бимануальным роботом YAM по изображениям с камер, состоянию робота и языковым инструкциям.
Подходит для: управление бимануальным роботом YAM по визуальному наблюдению · выполнение инструкций на естественном языке с помощью робота YAM · предсказание непрерывных действий и абсолютных поз суставов
Компактная визуальная модель Theia извлекает признаки изображений для обучения роботов, используя знания нескольких vision-моделей.
Подходит для: извлечение визуальных признаков для робототехнических систем · подготовка представлений изображений для обучения политики робота · перенос визуальных знаний в задачи обучения роботов
Базовая робототехническая модель Black Forest Labs предсказывает следующие действия робота и будущие видеокадры по наблюдениям, состоянию робота и текстовой инструкции.
Подходит для: адаптация робототехнической политики под нового робота · обучение голов действий для робота или симулятора · предсказание следующих команд суставам по кадрам камеры и состоянию робота
Дообученная модель Black Forest Labs для планирования действий робота SO-101 по изображениям с камер, состоянию робота и текстовой инструкции.
Подходит для: управление манипулятором SO-101 по текстовой инструкции · планирование последовательности движений по кадрам с камер сцены и запястья · адаптация политики SO-101 к новым задачам с помощью LoRA
Политика ACT для бимануальной роботизированной передачи куба в симуляторе AlohaTransferCube.
Подходит для: Передача куба между двумя роботизированными руками в симуляции · Оценка политики ACT на задаче AlohaTransferCube · Сравнение поведения бимануальных политик управления роботом
Дообученная на BridgeV2 модель Pi0 для управления роботом при выполнении задач манипуляции по визуальным и языковым инструкциям.
Подходит для: Укладка кубов роботом · Перекладывание предметов в корзину · Размещение ложки на полотенце