一款被称为“安全向”的大模型,是怎么在国产算力上跑起来的?SemiAnalysis 近期的一期播客对 GLM 5.3 做了一次拆解,讨论了它的推理调度、模型结构、训练收尾流程,以及在真实场景里的用途。讨论也把国产开源模型在后训练、国产与海外芯片适配、安全场景三方面的进展铺开来看。

稀疏注意力:省的是带宽,不是显存容量

首先是一个关键区分:GLM 5.3 没走线性注意力那条路,也没改动缩放点积注意力的核心算法,它做的事情更轻——用 lightning indexer 一类的模块筛出关联度最高的 token,只让这部分参与运算。

但要知道取舍在哪。稀疏注意力缓解的是内存带宽,并不处理能塞下多少上下文的容量限制,因为挑选 token 这件事本身就要求把全部上下文留在手里,算的时候依旧得搬进 HBM,KV cache 占掉的显存并不会因此明显缩小。

真正接住容量压力的是 HiCache / HiSparse 这套机制:当并发量往上走,就把 KV cache 从 HBM 挪到容量更大、但带宽偏低的主机 DRAM,算到哪块再把相关片段调回来。这是一笔账,付出的是延迟尾部长尾。

这两套设计叠在一起,让 GLM 5.3 在一端省带宽、另一端扩容量的权衡中已经找到落点,对大规模模型上线来说是一种值得参考的工程组合。

后训练:从通用模型到安全专家

如果要在能力层面找 GLM 5.3 的差异点,答案是训练后段下了重手。它没有停在通用底座上,而是在此之上做了一套面向网络安全的下游训练,最终想得到一个专职的安全从业者角色。

整个过程大致可以拆成三步。第一步是对口数据积累,把漏洞公告、安全文章的记录、攻击案例复盘、防御实操之类的材料大规模汇集起来。第二步是对口微调,让模型在体系里把握安全领域的名词、框架与作业流程。第三步才是专项训练,针对代码审计、漏洞缺口分析、威胁识别这类任务练习,拉高实战表现。

这套“先用通用能力养,再用垂直能力压”的做法给出一个位置选择怎么走:不再是泛而无用,也不是窄到干不了事的事,它的安全表现比一般底座更准,适用面又比只做安全的模型更宽。播客所提的“Mythos-Class”说法也由此被反问是否与国际顶尖,还需要更客观的参照,给出量化使用反馈。

国产芯片适配:跑得快的不是硬件,是软件栈

另一个绕不开的点,是 GLM 5.3 面向国产的芯片做了一轮从模型到训练的调校。理由众所周知:这几年高端 NVIDIA GPU 支撑了几乎全部一线训练,出口限制压在头上以后,国内团队需要更换供应清单,但这绝不止从购买点做切割,它也是个软件问题需要一并解决——你换了新硬衬,模型能不能在新的砂地里按规矩行走。

GLM 5.3 用的是常见但需要过硬功夫的几招:稀疏注意力做焦点、混合精度定数据口、算子融合改造卷积的走法,几样一齐推,让它在以上面所说环境上跑出的效率相当接近国际级硅酸的级别。这对于AI硬件和模型的这一堆生态构建意味着一个基线——两拨人总不能一直并行演化、不互相认识,真要合上趟,才有一并前进的可能。

落地场景:四个方向和它们的客户群

GLM 5.3最能打到真实需求的地方集中在四种。一是全量代码排查——查常见 SQL 注入、X 跨站点脚本等断层形误用。二是把外来的威胁报告通读一遍找出熟面孔下没见过的招式,讲明白它们具有的新模式。三是出状时候把进程供报告给对应团队解围。四是出产资源到被持续利用的自动化上,具体的就是各种重复测洗。

这些方向的诉求对着都是一些被要求不能延时的直接利益链的主——企业、举级账房的那些该花钱的就花不手软,政府机构的合排以及自身防备的属性。防御面上部署智能安查实际上是一类可议价的席位清单有高的收入立场。

三重意义:为什么说这件事迈出了几步

把这一串拆解回链,有些结论显得清晰。

先看国产开源,它的数值进入了下个赛道观察,也就是说 GLM 5.3已相当接近国际阵容,其对应的这条中国赛道已经处在能做这种较佳能力的一块高座架上了。其次,算力这一层现在能写成两个字——“协同”:这颗大模型已不再只是一个依附于他人的特殊软体,两边相互看得懂规矩,即可认定为领域匹配的框架能够形成基照的根据地。再一次落到更深的功夫层面:到了研发公司之间比拼的空间,决定分差的则是这“后一公里”上的打磨深度;不做精细后段处理,模型进不了顶那格子最缺人的位置上。由此看,后段技功力将成为下一阶段的核心,而非仅有模型规格撑面。

给工程师的三个提醒与三重挑战

讲了些趋势,落进脚本可以听几句。过去的几年里大家一窝蜂比参数的阶段其实可以翻回算了,紧接着应是考虑微干预的手段和收束途径:用专用数据的部分可能是开发人员该聚焦的根本修为。另外一批人需要学会的是“让算工按国民熟练即可走车的代码与调度调架构器,这在最后生成大波浪的批量实践里非常吃重”。最后则是把视野集中在需求和利益贴合最紧的部分,安全这个垂类放到现在的市面论薪资和交予权限时基本都是居上的;交叉落在同时认识双子的两栖脚内本底稀缺,长远仍然是长远向分生位表的前位人应站队的部分。

不过短板同样三处点名:先是一道选择题,要做到专不可排,专项打磨可能会从宽的随机场上取得惩罚性折减?比如面对未见的新通用问题时会不会反而迟钝些,回答这一问题并不能直接自然下沉至平衡的。另外本土砂纸代替的水平只属于目前中序列,而制钳上的进展是可以量到差距量是否可共存并行是一个活性的过程,需要长期的手感协作推进迭代才有可能向前翻转。还有最后关于规矩的那一层被谈论频次最高但最不容易往前推的:能自动识得新增漏洞这些功能的双刃件。既然这把刀刃另一面也能助长越线之意,就逃不开对回应护栏和法则跟进与制约的需求了。

少见的转折:两链搭口例子最为重要

我在看完播客之后形成的一个较好感受实际和音轨的核心定说方面对的是同一个落点的——它在软硬共身上花了实际的心思和力气,而未跟随早前那些把砂砖和框架继续在两条不相交区间各长各的模样走的做法。对于主流话语关注而言,中国整体无论对哪种阻碍都需要更清醒选落到合并链而不是继续分岔路:彼此想站住脚就需要走互补调声的整合路线并在共同的回旋里形成承接自己闭环持续的目标进度节奏,打通比四处购买最重要的分别在这里得以展示给大众注意点。

一句要认可的落脚——也许不是说客得冒进得很对问题充分搞定在前排的那句已经足够回响得了:播下的断言或许不薄,但是如果真有那份活没真正给出清晰独立的定性和横向衡量印证,还不如把下一步演进前当作可能积下来工作没做好的潜力对待即可。说回来这三关都需要彼此妥协步推行,要应对未知反而放胆做,每一步向实的过程最为金贵。

小结:SemiAnalysis这期对碎片梳理下来整体如一架带指示轨的行明行为记录簿上最关键的仍是架构打对要害的地方的实用论证性——稀疏挑缩窄内存,后端调度扛大动态量,加一点国产硅上串通整合能力让其行走效率逼近前列芯片的水平这一条路就基本推开了大门。注意当 “无惧自我证言”的自我装饰挡在面前容易下错角度,落脚其办法的实际边界才是可以确判是否耐使的最稳妥部分。