AI产业链 / L4-基础大模型 / 大模型厂商 · 2026-11-12

📅 2026-11-12🏷 AI产业链 / L4-基础大模型 / 大模型厂商

64 张 B300、不到 5 天,FireFlash 把开源模型的终端智能体得分从 35.8% 推到 46.2%

11 月 12 日,Agent Economics 博客发布 FireFlash 的训练配方与评测:以智谱 GLM-5.3-Flash 为基座做全参数强化学习,得到 3210 亿参数(每 Token 激活 174 亿)的终端与编程智能体,训练只用 64 张英伟达 B300、不到 5 天,团队公开了完整配方。

  • 三个基准各提升 5 至 10 个百分点:Terminal-Bench 4.0 由 35.8% 到 46.2%,DeepSWE v1.1 由 63.4% 到 68.8%,SWE-Bench Pro Verified 由 58.2% 到 63.3%,均为 5 次试验平均的 Pass@1。
  • 成本按 GLM-5.3-Flash 列表价折算:每次试验 0.72 美元;同基准上 Fable 5 最高推理档为 22.02 美元,GPT-6.1 Terra 为 1.49 美元,全尺寸 GLM-5.3 为 8.27 美元。作者称在 40 多个模型与档位设置里,比它便宜且分数更高的组合不存在。
  • 一处容易被漏掉的对照:同一个基座换成团队自研 harness、不做任何训练就有 40.2%,比官方榜的 35.8% 高 4.4 分,代价是单次试验成本高约 28%。
  • 训练工程:异步强化学习允许 rollout 落后 6 个权重版本;Firecracker 隔离把基础设施错误造成的轨迹组损失从 12% 降到 0.5%;任务筛选只留初始通过率 15%–85% 的题,零信号轨迹组由 48% 降到 10.2%。
  • 奖励侧设了 9 道验证闸门,原因是审计发现近半数从未解出的任务本身是坏题,问题出在格式错误与测试脆弱。

观点

  1. 这条最有价值的信息是强化学习阶段的算力门槛被量化。64 张卡、5 天能把开源权重推到与闭源前沿同档的终端基准,训练侧门槛远低于预训练,追赶的瓶颈从有没有万卡变成有没有可验证的任务池。
  2. 混合口径必须分清。46.2% 用的是团队自研 harness,基座分数取官方榜,两者评测环境不同;作者用表格单独量化 harness 的 4.4 分增益,这比直接宣称超过 Fable 5 可信得多。
  3. 成本对比只在同一 harness 内成立。0.72 美元对应自托管、按列表价折算,不含 64 张卡的折旧与集群空闲,真实成本高于这个数。
  4. 可跟踪的是这套配方能否换基座复现。#481《月之暗面开放 Kimi K3.1 Pro 完整权重》 与 #503《文心 5.5 Flash 把单 Token 激活参数压到 140 亿》 都放出了可继续训练的权重,若第三方在同等卡数下复现同幅度增益,榜单名次会让位于配方与任务池的质量。

来源:Agent Economics 博客原文、新浪财经 11-12 报道。