Full text · 原文
1,422 字
梦晨 发自 凹非寺量子位 | 公众号 QbitAI<br>
不管Pony Alpha是不是智谱的，下一代旗舰大模型GLM-5都要来了。<br>
GitHub代码确认，新一代架构细节曝光。<br>
GLM-5采用了DeepSeek-V3/V3.2架构，包括稀疏注意力机制（DSA）和多Token预测（MTP），总参数量745B，是上一代GLM-4.7的2倍。<br>
与此同时，OpenRouter平台上突然出现的神秘匿名模型「Pony Alpha」，编程和推理能力极为强劲，被社区91%以上的用户判断为GLM-5测试版。<br>
受这些消息影响，智谱AI港股两日暴涨60%。<br>
开源代码泄露参数架构<br>
GLM-5的架构信息并非来自智谱官方，而是被开源社区从代码提交中“挖”出来的。<br>
在vLLM推理框架的PR中，开发者发现GLM-5的实现逻辑被直接映射到了DeepSeek-V3的组件上。<br>
GLM-5继承的第一项核心技术是DeepSeek稀疏注意力（DeepSeek Sparse Attention，DSA）。<br>
DSA通过两阶段流程做到长文本处理效率大幅提升，输出质量几乎不受影响。<br>
首先由Lightning Indexer轻量级组件快速扫描所有历史token并打分，评估它们与当前query token的相关性；然后只挑选得分最高的Top-k个token进行完整的注意力计算，其余全部跳过。<br>
第二项技术是多Token预测（Multi-Token Prediction，MTP），用于提升模型的生成效率。<br>
从代码中推断出的架构参数看，GLM-5包含78层隐藏层，采用MoE（混合专家）架构，共256个专家，每次推理激活8个，激活参数约44B，稀疏度5.9%，与DeepSeek-V3.2的5.4%基本持平。<br>
上下文窗口支持最高202K token。<br>
有开发者指出，复用DeepSeek架构意味着GLM-5可以直接受益于vLLM、SGLang等推理框架已有的优化，部署门槛会更低。<br>
但也有人提出疑问：DeepSeek-V3架构以纯文本为主，GLM-5首发版本是否会因此缺失多模态能力？<br>
匿名测试与春节档大混战<br>
2月初，OpenRouter平台上新匿名免费模型，代号「Pony Alpha」，支持200K上下文窗口。<br>
模型一上线就引起了开发者社区的广泛关注，它的编程能力非常突出，能根据单条提示直接生成完整的功能性应用程序，在复杂推理和Agent工作流上同样表现出色。<br>
“这到底是谁家的模型”迅速成为社区热议话题。<br>
指向GLM-5的证据链覆盖了多个维度：<br>
时间上，「Pony Alpha」出现的节点与智谱首席科学家唐杰多次暗示的GLM-5发布窗口完全吻合。<br>
有开发者测试发现该模型对特定token的反应和GLM系列一致。<br>
风格上，它的输出排版习惯也与GLM系列高度一致。<br>
GLM-5的发布窗口，恰好撞上了一个异常拥挤的档期。<br>
唐杰在内部信中已明确预告GLM-5即将发布，多方信息指向2026年2月中旬，即春节前后。<br>
而在同一时间段，DeepSeek新模型、Qwen 3.5、MiniMax M2.2等模型也都有消息将发布更新。<br>
2026年的“春节档”，AI比电影那边还热闹。<br>
参考链接：[1]https://github.com/vllm-project/vllm/pull/34124[2]https://x.com/chetaslua/status/2020832197771714943