AI产业链 / L4-基础大模型 / 海外大模型厂商 · 2026-11-05

📅 2026-11-05🏷 AI产业链 / L4-基础大模型 / 海外大模型厂商

METR 独立评估:Anthropic 模型能力提升速度约为此前两倍,约八成加速来自 AI 自身

2026 年 11 月 5 日,独立评估机构 METR 发布对 Anthropic 的高权限评估。评估期为 8 月 12 日至 10 月 29 日共 11 周,METR 取得了预训练与强化学习指标、训练算力数据、内部模型基准分与员工访谈权限。以 Anthropic 自建能力指数 AECI 计,2025 年 10 月之后的能力提升速度为此前的 1.9 倍,95% 置信区间 1.5 至 2.8 倍,约等于一年走完此前两年的路。

  • 把 Anthropic 模型放进包含 OpenAI、谷歌、xAI 公开模型的全行业前沿曲线,同期加速为 1.4 倍。
  • METR 判断约 80% 的加速来自 AI 自身,并确信加速并非来自训练算力增速上升。
  • 评估纳入三个未发布模型:Model 2(7 月完成训练)、Model 3(8 至 9 月)、Model 4(9 至 10 月)。Model 4 在被测 15 项 AECI 基准上全部超过 50%。
  • Anthropic 员工 10 月内部投票,对新模型自报提效约 12 倍,Claude 3.7 Sonnet 时期约 1.2 倍。METR 称这只是非常宽松的证据。
  • METR 认为尚未实现完整递归自我改进:AI 贡献仍以辅助人类研发为主,部分环节的自主贡献被 Anthropic 研究员称作「生命迹象」,但训练最关键部分还没有高度重要且完全自主的 AI 贡献。
  • 双方对是否已越过 Responsible Scaling Policy 早期预警阈值有分歧。Anthropic 表述为「不到两倍」,METR 据其内部数据算出约 1.97 倍,认为应写「约两倍」。

观点

  1. 这是目前最接近递归自我改进的可验证证据,但最关键的归因分解由被评估方自己删掉了。Anthropic 以「可能加速其他开发者」为由删减 AI 归因估计、算法进步拆分、瓶颈分析与未来模型预测,METR 的 AEF-1 清单里「方法可独立复核」「提供方无权删减」两项均判为 No。80% 这个数字的可信度,取决于外界看不到的那部分。
  2. 1.9 倍与 1.4 倍的分歧来自样本口径,前者用 Anthropic 自家指数测自家斜率,后者才回答全行业是否整体加速。判断模型竞赛的外部节奏,1.4 倍更有用;判断某一家内部效率,1.9 倍更接近。
  3. 加速机制落在「实验变便宜」:研究员反馈代码不再是瓶颈,可以把多个想法交给智能体试,约束转向想法与实验算力。若成立,训练算力的边际需求增速会低于能力增速,算力紧缺对能力的压制被研发效率部分对冲。
  4. 可验证的后续信号有两个:Anthropic 承诺数周内自行发布内部分析与在 RSP 中的位置;以及未来 12 个月是否出现 METR 现在没看到的瓶颈。

来源:METR 评估报告、机器之心、ArtificialWatch