Компактная vision-language-action модель OpenBMB для управления роботизированными манипуляциями с учётом длительной истории визуальных наблюдений.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
MiniCPM-RobotManip — разработанная OpenBMB модель vision-language-action на 1,5 млрд параметров для управления роботами при манипуляциях с объектами. Она принимает визуальные наблюдения и использует их вместе с историей кадров, чтобы формировать действия для робота в разных задачах манипуляции; единая политика предназначена для нескольких downstream-сценариев.
Модель поддерживает потоковый учёт контекста: в истории может сохраняться до 60 кадров, что позволяет использовать визуальную память длительностью до минуты. Сжатие визуальных токенов MiniCPM-V 4.6 сокращает представление кадра с 256 до 64 токенов. Репозиторий содержит веса safetensors, для запуска README требует Transformers 5.7.0. Лицензия — Apache-2.0.
В README приведены результаты сравнительных оценок и измерение задержки на H100 в BF16 с одним кадром на входе; задержка прямого прохода составляет 120 мс, без учёта авторегрессионного декодирования действий. Эти показатели относятся к указанной конфигурации и не гарантируют такую же скорость на других устройствах. Язык взаимодействия и подробные ограничения по наборам задач в карточке не описаны.
Показатель задержки приведён для H100 в BF16 с одним кадром и не включает авторегрессионное декодирование действий. README не уточняет поддерживаемые языки и подробные ограничения по наборам задач.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
MiniCPM-RobotManip is a 1.5B vision-language-action model for embodied manipulation with the following highlights:
Please Ensure transformers==5.7.0
Model weights and code are open-sourced under the Apache-2.0 license.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Модели для роботов не запускаются как сервис инференса.