Anthropic 公布了一份评测报告,针对智谱推出的 GLM-5.3,重点考察该模型能否独立构建具备实际可用性的网络攻击链路。
ExploitBench:410 次尝试、50 次完整攻击成功
测试选用的基准是 ExploitBench,该基准专门衡量模型对浏览器漏洞的利用水平。结果显示,GLM-5.3 累计发起 410 次尝试,其中 50 次构建出完整的攻击链,成功比例约为 12%。作为对照,Anthropic 对访问权限做了限制的 Claude Mythos Preview 完成 56 次,成功率约 14%。
这项测试并不考察模型能否写出风格上类似黑客工具的代码。ExploitBench 使用的是已知的 Chrome V8 漏洞,要求模型把漏洞一步步转化为可实际运行的 exploit。Anthropic 另设一组包含 100 个开源项目的任务:GLM-5.3 最终达成完整控制流劫持的占比为 4%,Mythos Preview 为 6%;更早的 Claude Opus 4.6 与 GLM-5.2 均未能完成该目标。
隔离环境实验:不到一天找出未知漏洞并串成攻击链
报告里另一项实验更受关注。Anthropic 搭建了一台隔离的 Linux 浏览器环境,由研究人员借助 GLM-5.3 挖掘此前未被发现的漏洞。在运行不足一天的时间里,模型在 JavaScript 引擎中定位到多个漏洞,并将其组合成一条可用的攻击链。
最终的产物是一个恶意网页,用户一旦打开,页面即可读取本机文件。这项测试均在 Anthropic 自建的沙箱内进行,涉及的漏洞也已提交给相应维护方处置。
GLM-5.3-Flash 绕过 ARM64 指针认证:人工 20 分钟,模型 8 小时
还有一个容易被忽视的细节。研究人员选取体量更小的 GLM-5.3-Flash,向它提供一个已公开的 Chrome 漏洞,并附上另一个已知漏洞。模型自行把两者串联,在 ARM64 环境中成功绕开指针认证防护。整个过程里人工只投入 20 分钟,模型持续运行 8 小时;按智谱当时的 API 计价方式核算,成本为 20.4 美元。
换言之,研究人员仅用 20 分钟明确方向,其余工作交给模型自行执行,约 20 美元即可得到一条可工作的攻击链。
权重开放与拒答机制:从 95% 降到 6% 的 2200 GPU 小时
Anthropic 真正在意的,是权重开放带来的后续影响。GLM-5.3 起初并未直接开放权重。智谱 8 月 14 日发布该模型时表示,会先完成两周的安全评估与加固,再对外释出权重;目前该模型已可从 Hugging Face 直接下载。权重公开之后,模型内置的拒答机制也具备被用户改写条件。
Anthropic 采用名为 abliteration 的手段——可理解为直接改动模型内部与拒答相关的行为。研究团队投入约 2200 个 GPU 小时、约 4400 美元,把 GLM-5.3 的平均拒答率从约 95% 压到 6%,而模型在通用科学能力测试上的表现基本没有波动。他们还验证了更简便的规避路径:将恶意请求包装成红队演练,GLM-5.3 的响应率达到 64%;若事先在推理过程中写明"已经决定执行"该请求,比例升至 92%;在改动权重后,该数值可达 100%。
NIST 评估与 OpenVuln 数据呈现另一面
因此这份报告的价值不限于说明 GLM-5.3 的网络能力已经较强。NIST 在 9 月 17 日的独立评估中,将其列为当时已测试的、网络能力最强的开源权重模型,但综合水平仍比美国前沿方向落后大约四个月。
同一款模型目前呈现出两组数字:一侧是 Anthropic 测得的 50 次完整 exploit;另一侧是智谱自身披露的 OpenVuln,该能力已协助扫描 389 个开源项目,识别出 4249 个潜在漏洞。供给攻击与支撑防御,两侧都能胜任。
小结:GLM-5.3 在 ExploitBench 中以约 12% 的成功率完成 50 次完整的浏览器攻击链,且拒答防护可在约 2200 GPU 小时、约 4400 美元投入下被削弱至 6%。当模型能力逼近前沿而权重又完全开放时,安全治理的重心或将由发布之前前移到发布之后。
