groot-n1.7-mlx

利用は研究・評価目的のみ（非商用）です。 ベースモデルnvidia/GR00T-N1.7-3Bは同梱のNVIDIAライセンス（3.3条 Use Limitation）で配布されており、本変換もそれを継承します。商用利用はできません。

NVIDIAのヒューマノイド向けロボット基盤モデル GR00T N1.7（3.14B・Vision-Language-Action）のApple Silicon（MLX）移植です。カメラ画像・言語指示・関節状態（マルチ実施形態・最大132次元）から40手先までのアクションチャンクをflow matchingで生成します。

同一入力・同一ノイズでPyTorch参照実装（LeRobot・NVIDIA公式gr00tパッケージとのパリティテスト済み実装）と**コサイン類似度1.000000（最大差0.00027）**の出力一致を検証済みです。1チャンク420ms・ピークメモリ10.4GBで、大規模GPUなしで動作します。

構造の要点

• バックボーン: Cosmos-Reason2-2B（Qwen3-VL系）の先頭16層・pre-final-norm出力・fp32実行（参照実装がbf16チェックポイントをfp32昇格して実行するため、これを揃えることが一致の条件でした）
• アクションヘッド: 32層AlternateVL-DiT（AdaLN条件付け・画像/テキストへのcross-attentionを交互切替）+ 実施形態別エンコーダ群 + 4ステップflow matching

使い方

前処理（Qwen3-VLチャットテンプレート・画像パッキング・状態正規化）は上流と同じLeRobotパイプラインで行い、推論コアを本MLX実装で実行します。Cosmos-Reason2-2B（gated）の利用同意が必要です。

pip install mlx-vlm
# 前処理用（Python 3.12+）
pip install 'lerobot[groot] @ git+https://github.com/huggingface/lerobot'
hf download tokimoa/groot-n1.7-mlx --local-dir groot-mlx

# 1) 前処理（LeRobot・CPUで数秒）
python groot-mlx/preprocess_lerobot.py --ckpt groot-mlx \
  --image cam.png --state 0,0,0,0,0,0 --task "pick up the cube" \
  --embodiment-tag <統計が存在するタグ> --out processed.pt
# 2) MLX推論
python groot-mlx/groot_mlx.py --processed processed.pt

from groot_mlx import GrootMLX
m = GrootMLX.from_pretrained("groot-mlx")
chunk = m.sample_actions_from_processed("processed.pt")  # (1, 40, 132)

利用可能な実施形態タグはembodiment_id.jsonとexperiment_cfg/dataset_statistics.jsonを参照してください。ファインチューニング済みの同一アーキテクチャ重みはmodel-*.safetensorsを差し替えれば動きます。

同シリーズ（Apache-2.0）

• smolvla-mlx（450M・160ms/チャンク）
• pi0-mlx（π0・522ms/チャンク）

ライセンス

NVIDIA License（非商用・研究/評価目的のみ）。全文はLICENSEを参照。本リポジトリの変換・ランタイムコードも同条件で提供します。

Developed by tokimoa