谷歌与 Mercor 发布物理工程智能体基准 PLE，最强配置在隐藏测试集得分 48.3%
11 月 3 日，谷歌 AI 与基础设施研究团队与数据公司 Mercor 联合发布 PLE（Physical-Engineering's Last Exam），把智能体评测从办公室任务推进到机械、电气、土木、结构四类工程设计。85 项长程任务中，44 项由持证工程师独立撰写项目文件夹、任务描述与评分标尺，41 项由谷歌用「Creator 出题、Solver 攻击、Creator 加固」的对抗循环生成，两条路径的每一项都经工程师复核。
隐藏测试集 56 项，每项是一个约 61 份文件的容器目录，合计 5170 份，含 PDF、电子表格、邮件、2D CAD、3D BIM 与故意植入的作废版本；不许联网，最长 6 小时。14 个前沿模型、7 套 harness 的结果：Claude Opus 5.5 配 Claude Code 以 48.3% 居首，平均每个任务消耗 2700 万 token、63 分钟；GPT-6 Astra 45.8%、Claude Sonnet 5.5 43.5%、Gemini 4 Argon 40.6%；GLM-5.2 25.0%、DeepSeek-V4.1-Flash 14.4%、Qwen3 Coder 480B 与 Kimi K2 Thinking 均为 6.2%、MiniMax M2 5.7%、Llama 4 Maverick 0.7%。模型之间的分差达 50 个百分点，同一模型换 harness 的中位数只动约 3 分。
评分采用硬约束门控：40% 看单项检查通过比例，60% 看成本或性能优化，但任一项硬性安全与可行性约束不通过，优化分归零，也不允许用过量设备换合规。结果是最高分配置平均满足 91% 的单项约束，只有 41.3% 的设计项过全部硬约束。同一任务跑三次，单任务得分平均跨度 15.4 个百分点。谷歌已开放 29 项公开任务、评分工具与评测容器。
观点
- 91% 与 41.3% 之间的落差是这条基准最值钱的地方：逐项累计式评分掩盖了可行域瓶颈，工程交付的判据是全部约束同时成立。benchmark 普遍刷到 90% 以上之后，能测出「剩下那一项是否致命」的题才有信息量。
- 国产模型的缺口在尾部而非均值：GLM-5.2 的 25.0%、V4.1-Flash 的 14.4% 与 Opus 5.5 的 48.3% 差 2 至 3 倍，Qwen3 Coder 480B 与 Kimi K2 Thinking 只有 6.2%。这个量级很难靠加预训练数据补上，失分集中在长程状态维护与跨文件版本一致性。
- 运行开销把这条路线先推向有明确交付物的场景：单任务 2700 万 token、63 分钟，付费方更可能是 CAD、CAE 厂商与工程总包，而非通用办公。
- 验证器会成为工程智能体的基础设施：模型选择的影响远大于 harness，说明下一阶段壁垒在能否让程序判定对错、并让人类工程师可签核，这与靠选择题与短任务计分的口径已经分开（#429《OpenAI 发布 GPT-6.1 Terra》）。
来源：Mercor 研究博客、雷峰网