Характеристики

Размер весов: 6,6 ГБ
Лицензия: Apache 2.0
Архитектура: Gr00tN1d6 · dense
Базовая модель: GR00T-N1.6-3B
Опубликована: 28 июл 2026

Ссылки

gr00t-n16-datagen-v1-clutter-joint-2cam-promptltl-yanZ

Языковая модельИзображение, текст → action

Производная модели IDEAS-Lab-Northwestern/gr00t-n16-datagen-v1-clutter-joint-2cam-promptnl-yanZ. Дообученная NVIDIA GR00T-N1.6-3B для управления манипулятором Franka Panda при выполнении задачи перемещения объектов в загромождённой среде по изображениям и инструкциям.

6скачиваний за 30 дней0лайковвеса обновлены28 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Карточка модели IDEAS-Lab-Northwestern/gr00t-n16-datagen-v1-clutter-joint-2cam-promptltl-yanZ на Hugging Face совпадает с карточкой IDEAS-Lab-Northwestern/gr00t-n16-datagen-v1-clutter-joint-2cam-promptnl-yanZ, поэтому описание составлено по ней.

IDEAS-Lab-Northwestern выпустила дообученную модель NVIDIA GR00T-N1.6-3B для выполнения задачи ManiGuard clutter в симуляции с манипулятором Franka Panda. Модель принимает изображения с обзорной и кистевой камер, инструкции и состояние робота, а затем выдаёт последовательности управляющих действий в пространстве суставов: семь суставов руки и захват. Горизонт планирования составляет 16 шагов.

В основе лежит визуально-языковая модель Eagle и головка действий на основе flow matching с DiT. При дообучении визуально-языковая часть была заморожена, обучались проектор и головка действий; LoRA не использовалась. Для загрузки требуется Isaac-GR00T (n1d6), тег воплощения NEW_EMBODIMENT и конфигурация процессора с параметрами нормализации. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.

Сценарии применения

управление Franka Panda в симуляции для работы с загромождёнными сценами
планирование движений манипулятора по изображениям с двух камер
выполнение инструкций по перемещению объектов с управлением суставами
исследование и сравнение VLA-моделей на бенчмарке ManiGuard

Ограничения

Модель настроена для задачи clutter в симуляции Franka Panda и выдаёт действия в пространстве суставов; перенос на другие роботы и сценарии не описан. Для запуска требуется Isaac-GR00T (n1d6) и конфигурация процессора из репозитория.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

GR00T-N1.6 - Clutter (joint, 2-cam)

NVIDIA Isaac GR00T-N1.6-3B fine-tuned on the ManiGuard clutter base task (sim Franka Panda). Part of the ManiGuard VLA benchmark - GR00T vs pi0.5 on the same task families with identical data, cameras, and controller.

Model

Base: nvidia/GR00T-N1.6-3B - Eagle (nvidia/Eagle-Block2A-2B-v2) VLM + flow-matching DiT action head
Embodiment: NEW_EMBODIMENT - Franka Panda, 8-D joint state/action (7 arm joints + 1 gripper)
Cameras (2): image_left (overview) + wrist (256x256)
Action: arm = state-relative chunks, gripper = absolute; 16-step horizon; NON_EEF (joint space)
Tuning: GR00T-N1.6 default - VLM (LLM + visual) frozen, train projector + diffusion action head (no LoRA)

Training

8-card config, DeepSpeed ZeRO-2, bf16, global batch 256, 7044 steps (~2 epochs over 901,520 frames), cosine LR (peak 2e-4, sqrt-scaled), warmup 0.05
Data: IDEAS-Lab-Northwestern/datagen-clutter-v1-joint-5cam; videos decoded as H.264 for GR00T's torchcodec loader

Usage

Load with Gr00tPolicy from Isaac-GR00T (n1d6), --embodiment-tag NEW_EMBODIMENT. The included processor/ carries the normalization stats + modality config.

WARNING - Convention (must match at eval): joint-space JointController (absolute joint targets, NON_EEF) + 2 cameras (image_left overview + wrist). A mismatched controller or camera set silently feeds an out-of-distribution input.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Класс архитектуры: Gr00tN1d6
Ревизия весов: 11d3781