苹果 HALO 零样本迁移真实环境成功率 91%，训练场景从 100 个堆到 1,000 个只多 3 个百分点
2026 年 11 月 4 日，苹果研究团队在 arXiv 提交《Perceptive Humanoid Motion from Simulation》（2611.06908），公布人形机器人自主系统 HALO，代码开源于 apple-aiml-research/ml-halo。验证载体是一台未经改装的宇树 G1，背负 Mac mini，不系绳。训练全部在仿真中完成，没有见过真实住宅，迁移到 6 个未建图的真实环境做了 360 次试验，平均成功率 91%。
- 数据怎么造：在 1,000 个 Infinigen 程序生成的家庭里合成。先由动作扩散模型生成全身动作，经 33 项几何检查（脚部滑动、身体穿透、位移跳变）筛除，再放进房间做无碰撞摆放，随后用 Isaac Sim 按硬件匹配的鱼眼相机渲染机器人视角，叠加运动模糊、椒盐噪声、强弱光、冷暖色调等 8 种视觉随机化。摘要的表述是这套语料随算力扩展，对照项是遥操作至少要用一小时人力换一小时数据。
- 算力分布：语料生成 250 张 H100；动作生成器做模仿学习用 64 张 B200；动作跟踪器做强化学习只用 4 张 H100。
- 三层控制：编排层用现成 VLM，约 0.5 Hz 把请求拆成子任务；生成器用冻结的 Qwen3.5-2B 编码器加 DiT 解码器，flow matching 15 步欧拉，约 3 Hz 规划未来 5 秒（150 帧 × 36 值）全身动作，每次只提交前 0.5 秒；跟踪器 50 Hz，用下视深度与本体感知输出 29 个关节目标。
- 逐项真实成功率：下蹲 100%、过门 93%、走向目标 92%、爬行 90%、推箱 88%、坐下 85%，均值 91%，与仿真端 91% 持平。
- 消融（100 个留出仿真环境各 10 次）：训练场景由 1,000 减到 100 掉 3 个点，减到 10 掉 20 个，减到 1 掉 41 个；flow matching 解码器换成同骨干回归掉 65 个点；去掉实时分块掉 60 个点；去掉深度掉 10 个点。
- 人工仍在环内：附录列出语料只有 10 条固定指令，运行时由编排层把自由语言映射到这 10 条之一；过门任务用了 55 个手工编辑关键帧，爬行与下蹲用 66 个关键帧加手机视频后手工调整。论文自述技能库的增长速度只和人能指定新任务的速度一样快。
观点
- 场景数的边际收益在 100 个附近就吃完了。 从 1 个增到 100 个带来 38 个百分点，从 100 增到 1,000 只再加 3 个。想复现这条管线的团队，场景库做到百量级即可，再往上是用 9 倍算力换 3 个点。
- 消融里损失最大的两项都落在结构与机制上。 换解码器掉 65 个点，去掉实时分块掉 60 个点，数据从千级砍到个位数掉 41 个点。系统的成败先由生成式动作结构与推理时的分块机制决定，数据规模的权重排在其后。
- 91% 的分母是 6 个技能、10 条指令。 编排层把自由语言映射到这 10 条之一，读成「听懂自然语言」会高估泛化。论文局限性第四条自认编排层过于简单，任务库扩大后需要一个更 agentic 的系统。
- 零样本迁移没有系统性衰减，但结构值得看。 真实与仿真同为 91%，下蹲从 95% 升到 100%、爬行从 84% 升到 90%；走向目标从 98% 降到 92%、推箱从 93% 降到 88%。升的两项靠几何约束在仿真里可校验，降的两项依赖真实摩擦与遮挡。
- 复合任务成功率低于单项相乘，失败是相关的。 过门接走向目标实际 71%，两项单任务相乘为 89%。论文给出的失败模式是钻桌结束时头部朝向背离箱子，占该项失败样本的六成。这类系统性失败无法靠增加试验次数摊薄。
承接同站笔记#312《机器人的"大脑"该放在哪…》：HALO 三层全跑在本体上。