Мультимодальная Diffusion Transformer модель, которая по текстовым инструкциям и изображениям предсказывает действия робота для управления манипуляторами и мобильными роботами.

Подходит для: управление манипулятором по текстовой инструкции и изображению с камеры · предсказание следующей последовательности действий робота · управление одно- и двурукими мобильными манипуляторами

Одношаговая диффузионная модель ByteDance для восстановления и улучшения качества видео.

Подходит для: восстановление качества повреждённых видео · улучшение деталей в видео высокого разрешения · повышение визуального качества роликов перед публикацией

RDT-170M — мультимодальная модель управления роботом, которая по текстовой инструкции и изображениям предсказывает последовательность следующих действий.

Подходит для: управление мобильным манипулятором по текстовой команде и изображениям · предсказание следующих 64 действий робота для выполнения задачи манипуляции · управление однорукими и двурукими роботами через суставы или эффектор

Компактный DeiT-трансформер для классификации изображений ImageNet-1k и извлечения визуальных признаков.

Подходит для: классификация изображений по классам ImageNet-1k · извлечение признаков для изображений · использование визуального backbone в компьютерном зрении

Компактная робототехническая Transformer-модель, которая по изображениям камер и тексту задачи предсказывает действия робота.

Подходит для: управление роботом-манипулятором по изображению с камер · выполнение роботом задачи, заданной текстовой инструкцией · предсказание последовательности действий по истории визуальных наблюдений

Компактная модель DeiT на базе Vision Transformer для классификации изображений по 1 000 классам ImageNet.

Подходит для: классификация изображений ImageNet · распознавание объектов на фотографиях · извлечение признаков изображений для последующего классификатора

Открытая модель NVIDIA на 3 млрд параметров, которая преобразует изображения, инструкции и состояние робота в управляющие действия для задач гуманоидной манипуляции.

Подходит для: управление манипуляциями робота по текстовой инструкции · адаптация навыков управления под конкретного гуманоидного робота · обучение действий на данных реальных демонстраций

RDT2-FM — эксперт управления бимануальным роботом, предсказывающий короткие последовательности действий по изображениям с камер и текстовым инструкциям.

Подходит для: управление двумя манипуляторами по визуальной сцене и инструкции · выполнение коротких роботизированных действий с низкой задержкой · перенос политики манипуляции между конфигурациями роботов после калибровки

Компактная конверсия ResNet-10 из JAX в PyTorch для классификации изображений и извлечения визуальных признаков, в том числе в робототехнических сценариях.

Подходит для: классификация изображений · извлечение визуальных признаков для робототехники · кодирование RGB-изображений 128×128 в эмбеддинги

Обученная для симуляции PushT политика Diffusion Policy преобразует визуальные наблюдения в управляющие действия робота.

Подходит для: управление роботом в симуляции gym-pusht · выталкивание объекта T-образной формы к целевой области · оценка visuomotor-политик на эпизодах PushT

Мультимодальная VLA-модель NVIDIA для рассуждений о дорожной обстановке и прогнозирования траектории автомобиля в сценариях автономного вождения.

Подходит для: прогнозирование траектории автомобиля по данным камер и истории движения · объяснение решений системы автономного вождения · ответы на вопросы о дорожной сцене

RVQ-AT сжимает непрерывные траектории управления роботом в дискретные токены для использования в моделях RDT 2 и других авторегрессионных VLA.

Подходит для: сжатие траекторий манипуляции роботом в дискретные токены · кодирование действий телеоператора для VLA-модели · декодирование токенов в непрерывные управляющие траектории

RDT2-VQ преобразует изображения с камер робота и текстовую инструкцию в короткий фрагмент бимануальных действий для манипуляции предметами.

Подходит для: управление двумя роботизированными руками по текстовой команде · захват и перемещение предметов по изображениям с камер на запястьях · выполнение простых навыков вроде встряхивания и протирания

Мультимодальная модель NVIDIA на базе Qwen2.5-VL для рассуждений о физических сценах и планирования задач роботами по изображениям, видео и тексту.

Подходит для: Планирование следующих действий робота по видео окружающей среды · Разбор сложной команды для робота на последовательность задач · Анализ пространственных и временных событий в видео

Мультимодальная политика для робототехники, которая связывает визуальные латенты и состояние робота с последовательностями действий.

Подходит для: генерация действий робота по визуальному наблюдению и состоянию · планирование будущих действий в задачах управления роботом · совместная обработка визуальных латентов и управляющих сигналов

Базовая Vision-Language-Action модель LeRobot для дообучения и управления роботами по изображениям, состоянию робота и текстовым инструкциям.

Подходит для: дообучение управления роботом-манипулятором под конкретную задачу · управление роботом по изображениям с нескольких камер · выполнение роботизированных задач по текстовой инструкции

DeiT — модель компьютерного зрения для классификации изображений и извлечения визуальных признаков, обученная на ImageNet-1k.

Подходит для: классификация изображений по классам ImageNet-1k · определение объектов и сцен на изображении · извлечение визуальных эмбеддингов для последующей обработки

Производная модели rail-berkeley/octo-small. Компактная робототехническая Transformer-модель, которая по изображениям камер и тексту задачи предсказывает действия робота.

Подходит для: управление роботом-манипулятором по изображению с камер · выполнение роботом задачи, заданной текстовой инструкцией · предсказание последовательности действий по истории визуальных наблюдений

Дообученная на базе NVIDIA GR00T N1.7 робототехническая policy-модель для преобразования наблюдений в действия робота.

Подходит для: формирование действий робота по входным наблюдениям · запуск дообученной policy в runtime семейства GR00T · интеграция робототехнической модели с заданными пространством действий и нормализацией

Модель NVIDIA для восприятия дорожной обстановки, объяснения решений и предсказания действий и траекторий автономного автомобиля по изображениям, видео, тексту и истории движения.

Подходит для: предсказание траектории автономного автомобиля · ответы на вопросы по видео с дорожных камер · привязка объектов на изображениях к координатам

WorldDiT — диффузионная модель Bagel Labs, которая использует изображения, состояние робота и языковую инструкцию для генерации действий манипулятора в симуляции LIBERO.

Подходит для: управление манипулятором по языковой инструкции в симуляции LIBERO · генерация коротких последовательностей действий робота по изображениям с камер · исследование диффузионных моделей для робототехники

DeiT-base — дистиллированный Vision Transformer для классификации изображений по классам ImageNet.

Подходит для: классификация фотографий по классам ImageNet · распознавание объектов на изображениях · получение top-1 и top-5 классов для изображения

DeiT-base — модель Vision Transformer для классификации изображений и извлечения визуальных признаков, обученная на ImageNet-1k.

Подходит для: классификация изображений по категориям ImageNet · определение основного объекта на фотографии · извлечение признаков изображений для последующего классификатора

Компактная Transformer-модель Octo преобразует изображения с камер и языковые инструкции в действия для управления роботом.

Подходит для: управление роботом по изображению с основной камеры · выполнение языковых инструкций роботом · планирование следующих действий по истории наблюдений