GLM-5.5,似乎马上就要登场了?!
最近,有GLM Coding Plan的用户收到了官方的补偿通知,原因是之前部分用户遇到了模型“降智”的情况。
比补偿本身更引人注意的是,智谱在通知中留下了一句话——
“新模型发布后,还会额外送一次额度重置机会哦!”
好吧,一个补偿通知,竟然顺手把下一代模型给曝光了。(doge)
而且,最近关于GLM-5.5的传闻也开始陆续出现。
有消息称,GLM-5.5的参数规模可能达到2.5万亿到3.5万亿,比之前传闻的1.6万亿还要大不少!
还有网友猜测,智谱此前初步验证的循环Transformer架构,会不会也用在下一代GLM上???
这……参数量可能冲上数万亿,深度推理能力也有望再提升一个台阶?(虽然不知道真假吧.jpg)
非常期待非常期待非常期待*100000。
官方提前透露“新模型”,GLM-5.5要……来了?
虽然官方还没有公布下一代模型的具体信息,但顺着最近的传闻深挖,还真能找到一些GLM-5.5的线索!
先说说大家很关心的**“参数规模”**。
要知道,今年8月发布的GLM-5.3,总参数量约为7430亿,采用了MoE(混合专家)架构。
但从目前网上流传的对下一代GLM总参数规模的猜测来看,下一代GLM的参数规模可能直接飙升到2.5万亿到3.5万亿。
嗯……我掰着手指算了一下,如果这是真的,岂不是——
直接扩大到了GLM-5.3的3.4倍到4.7倍左右??!(真的假的.jpg)
当然,这里有个需要强调的地方——
对于MoE模型来说,总参数量和每次推理实际激活的参数量,完全是两回事。
例如,一个拥有数万亿参数的MoE模型,每处理一个Token,通常只会调用其中一部分专家网络参与计算。
所以参数规模暴涨,并不代表推理计算量也会按同样的倍数增长。
但即便如此,如果网上传闻属实,这仍然意味着智谱准备在模型容量上进行一次相当next level的扩展~
而且,光是把模型做大,似乎还不够。
我搜罗了一圈,另一个关于下一代新模型颇有看点的传闻是——GLM-5.5可能迎来一次重大架构升级。
这件事其实有迹可循。
今年8月,智谱发布GLM-5.3-Flash时,就已经对模型底层架构进行了一次大调整。
其中最值得关注的,是首次在GLM系列中引入线性注意力与稀疏注意力结合的混合架构,同时采用mHC技术,改善模型内部的信息传递和训练稳定性。
这一套组合拳下来,GLM-5.3-Flash在多项评测中超过了GLM-5.2,推理价格则降到了后者的约十分之一。
换句话说,智谱已经在上一代模型中验证了一条兼顾模型能力与推理效率的新路线。
如果这套架构能够进一步扩展到万亿参数级别,下一代GLM便有机会在扩大模型容量的同时,继续压低推理成本。
模型越做越大,运行成本还有机会继续降。
这谁看了不得期待一下?!(doge)
可能还有……循环Transformer加持???
除了参数规模和底层架构,大家关于GLM-5.5的讨论,还有一个颇值得关注的猜测——
循环Transformer(Loop Transformer),会不会也用在下一代GLM上呢?
巧的是,这项技术,智谱此前还真公开提到过。
今年8月,智谱在中期报告中明确介绍了循环Transformer,并透露已在初步实验中验证了相关思路。
其核心目标,就是让AI能够“想得更深”。
简单来说——
循环Transformer可以让模型反复调用同一组网络层,在不显著增加参数量的情况下,完成更多轮内部计算,从而提升有效推理深度。
按照智谱的判断,参数规模决定模型能够存储多少信息,而计算深度则关系到模型能进行多复杂的推理。
尤其是在编程、网络安全等复杂任务中,模型往往需要连续完成十几步甚至几十步判断,才能得到正确结果。
一旦中间某个环节掉链子,后续任务就可能全盘跑偏!!
智谱甚至在报告中举了一个“具体例子”——
网络安全任务可能要求模型沿着长达20步的因果链持续推理,每一步都得保持逻辑连贯。
而循环Transformer探索的方向,恰好就是让模型能够沿着复杂的因果链持续推理,提高多步骤任务的处理能力。
这套机制还允许模型在不显著增加参数量的情况下增加计算深度,相当于为复杂任务提供了另一条能力扩展路径。
不过,循环次数增加也会带来额外计算开销,如何平衡推理深度与运行效率,仍然是需要解决的问题。
至于这项技术究竟会不会应用到GLM-5.5上,目前还没有官方确认。
但把这些线索放在一起看,下一代GLM的技术升级,多少有点令人期待了~
回头看看智谱今年的模型升级路径,我们其实已经能看出一条相当清晰的能力进化路线——
今年2月,GLM-5发布。
4月,GLM-5.1跟进。
6月,GLM-5.2上线,重点提升复杂任务和长时间Agent执行能力。
8月,GLM-5.3发布,继续强化编程能力,随后GLM-5.3-Flash亮相,开始在模型架构与推理效率上进行新的探索。
从这条迭代路线来看,智谱确实一直在围绕编程、Agent、深度推理以及推理效率持续升级~
如果GLM-5.5真的能够在这些方向上继续突破,下一代旗舰的升级幅度,可能还真值得好好期待一番。
蹲蹲蹲!!!(搓手.jpg)
参考链接:
[1]https://x.com/teortaxesTex/status/2113073759359811767
[2]https://x.com/ai_funss/status/2112902395365933107
本文来自微信公众号“量子位”,作者:梦瑶,36氪经授权发布。