美团开源 LongCat-2.5：1.6 万亿参数在国产加速器上训练，单卡显存不足 80GB
11 月 10 日，美团技术团队开源 LongCat-2.5，MIT 协议，权重上 Hugging Face。总参数 1.6 万亿、每 token 激活约 480 亿、支持 100 万上下文。技术博客给出的核心信息在工程侧：训练与监督微调都在单卡显存不足 80GB 的国产 AI 加速器上完成，推理走 W4A4。
关键事实
- 部署：推理把专家权重与激活同时量化到 4 bit，跑在原生 INT4 矩阵乘单元上，用 FlatQuant 的可学习等价变换补偿 MoE 量化误差，官方称已评测的下游任务与量化前相当。对 W8A8 INT8 基线，在线压测中 prefill 吞吐提升 43.3%、decode 提升 42.77%，首 token 延迟降 15.91%、每 token 延迟降 19.72%，分组矩阵乘算子平均快 1.73 倍。
- 训练：用 FSDP 双重分片把参数分片留在超节点内、FP32 主权重与优化器状态跨域再分片，配混合词表并行压缩常驻显存；MoonEP 动态专家复制只在负载不均衡越过阈值时启用。这套配置在长序列监督微调上单卡吞吐比 DDP 基线高 86%。
- 多模态：视觉信号表示成多层级离散 token，对原生分辨率特征做残差向量量化逐级补细节，视觉码本与主干联合训练；视觉 token 可离线预计算并缓存，减少在线计算与训练时的负载不均。
- 训练链路：把真实智能体的失败轨迹转成可复现、可验证的任务；强化学习用 partial rollout 异步、按通过率调整过采样、对旧 checkpoint 轨迹做梯度校正；任务环境断网、清除 git 历史与文件缓存，用 LLM judge 监督轨迹。
- 评测：Terminal Bench v2.1 得 88.4（LongCat-2.0 为 70.8）、DeepSWE v1.1 64.6、AutomationBench v1.0.6 51.8、BrowseComp 91.9、HLE 带工具 63.1、文本转 3D 55.4。同一张表里带星号的对手分数取自各自技术报告或公开榜单，未带星号的为自测；DeepSeek-V4.1-Flash 在 Terminal Bench v2.1（90.6）与 DeepSWE（74.2）两项高于 LongCat-2.5。
观点
- 万亿 MoE 的部署门槛从「卡够不够」移到「量化与并行做得够不够」。单卡显存不到 80GB 就承载 1.6 万亿参数，国产卡的有效供给不再由单卡容量定义，改由集群互联与算子效率定义，约束先松在推理侧。
- MIT 加国产算力适配，压的是模型厂的牌价。买方可以自己部署、自己微调，token 成本不再由厂商定价决定，与上周开放完整权重的动作同向（#481《月之暗面开放 Kimi K3.1 Pro 完整权重》）。
- 榜单要按星号分开读。自测与引用混排，跨 harness 直接横比会失真；可比的是同厂两代之间的差值，Terminal Bench v2.1 从 70.8 到 88.4 这一格比名次更说明问题。
- 工程披露比分数耐用。单卡吞吐 +86%、MoonEP 按阈值触发、视觉 token 离线缓存，这些做法能搬到别的万亿 MoE 训练里，榜单名次每季换一轮。