GR00T N1.7 + SONIC/DFX + AURA — Epoch 60
基于官方 GR00T N1.7 的研究用动作头权重,保留 v4 第60轮、optimizer step 7680 的验证最优 checkpoint。约 6.48 GB 的 checkpoints/best_head.safetensors 仅包含动作头、视觉融合层和 AURA router,不是完整基座模型。
本轮冻结视觉语言骨干(VLM),训练约 1.621B 参数(1,621,144,324)。训练从前阶段动作头权重 warmstart,重新初始化 AdamW;未保存或恢复 optimizer/scheduler/RNG 状态,不支持精确续训。此处 epoch/step 为 v4 阶段计数。
输入与动作空间
dfx78:身体为 64维 SONIC 潜变量,左右手各 7维抽象目标,合计78维;不是78个直接关节命令。- 双相机观察使用
t-15、t两帧;数据为30 fps,通常相隔0.5秒。起始历史索引截到0,因此起始位置重复第0帧。 - 状态和动作使用随包提供的
normalization.json,统计量只由训练集拟合。AURA 思想移植包含历史门控、历史动作/噪声混合及自适应推理预算;两帧、冻结VLM是本次配置选择。
下载与加载
本仓库公开,可直接下载。官方 N1.7 基座、Cosmos 缓存及匹配的 Python/CUDA 依赖环境须另行准备。
hf download ZUO66/GR00T-N1.7-SONIC-DFX-AURA-epoch60 --local-dir ./groot_sonic_aura_epoch60
cd groot_sonic_aura_epoch60
shasum -a 256 -c SHA256SUMS
tar -xzf runtime_code.tar.gz
export PYTHONPATH="$PWD/runtime_code:$PYTHONPATH"
在该下载目录中运行,替换为本机完整官方基座 snapshot 路径:
from gr00t.policy.sonic_aura_policy import load_adapter
model, head, stats = load_adapter(
".",
device="cuda",
base_model_path="/path/to/complete/GR00T-N1.7-3B/snapshot",
)
load_adapter 严格加载动作头,并读取包内 manifest、配置和归一化;加载动作头不需要原数据集。它不会自动准备完整依赖或下载缺失基座。以上是加载 API,不是已验证的实机控制入口;后续推理还需正确构建视觉特征、机器人状态和实际执行动作历史。
固定基座与源码:
- 官方基座:nvidia/GR00T-N1.7-3B,revision
2fc962b973bccdd5d8ce4f67cc63b264d6886495。 - Cosmos 缓存 revision:
9ce19a195e423419c349abfc86fd07178b230561。 - 私有源码与参考仓库:ZUO66/GR00T-N1.7-SONIC-DFX-AURA,固定 upstream revision
832bf61aa24b2bf459281e1f53bb76554f5b368e。本次实际运行还包含 v4 补丁;请使用包内runtime_code.tar.gz,补丁及文件哈希见runtime_source_patch.json。
已验证结果与限制
98条示教按 episode 划分为90条训练、8条验证。严格重载后,在同8条验证示教的32个位置、1280个未来动作帧上进行记录输入评估。以下为78维归一化动作 MSE:
| 分组 | 模型 | 保持上一动作 | 训练归一化中心 |
|---|---|---|---|
| 全部32个位置 | 0.155275676 | 0.195706388 | 0.294452265 |
| 有历史的24个位置 | 0.068407388 | 0.190253384 | 0.321914553 |
| 起始8个位置 | 0.415880542 | 0.212065401 | 0.212065401 |
总体误差比保持上一动作低约 20.66%,但起始位置误差高约 96.11%;起始处没有上一动作,该基线退回训练归一化中心。有历史位置的左右手目标误差也未同步改善,分别比保持上一动作高约48.42%和40.99%。完整分组指标见 quality_review.json,严格重载结果见 offline_eval.json。
这8条验证示教同时用于选择 best 和离线评估,不是独立测试集。 评估使用记录的历史动作(teacher forcing),不是机器人闭环 rollout。身体指标为 SONIC 潜空间误差,不能解释为真实关节控制精度;未测任务成功率,也没有训练版普通 GR00T 对照。当前归档保留原实验实现,另行审查的 episode 尾部 KNN 掩码修复未用于本权重训练。
未验证与 stock GR00T server 的直接兼容性或真实 SONIC/DFX 控制桥接。原始数据、视频、官方基座、Cosmos 权重和完整环境不在本包中;snapshot 清单中的原机器路径不能直接跨机回放。原有 GPU/机器人控制器保护应保留。
动作头 SHA256:7f5e7210da37fe13a4ce934ffe48c200d867e2bdaeec1b4ce86b29badaa74ff9。发布与校验证据见 FINAL_RECEIPT.json、SHA256SUMS;本仓库发布的是已固定的第60轮交付,不包含后续续训结果。