做大模型应用开发的人，大概率都遇到过这样一个别扭场景：Agent 每走一步都要下一个判断，比如这条消息属于投诉还是咨询、该用小模型还是大模型、这段提示词是否藏有注入攻击。要拿到一个是或否的结论，当前做法只能把问题交给大模型，然后等它先推理、再措辞，最后彬彬有礼地回复一句肯定。

为了一比特的答案，消耗掉几百个 token，还要搭上几秒钟等待。Agent 的逻辑越复杂，这种开销就越扎眼。2026 年 9 月，GitHub 上出现了一个叫「决策模型」的新品类。

决策模型赛道在9月被点燃

一家前沿实验室推出闭源产品 Jev，主打让 AI 省略废话、直给判断。一周之内，围绕它衍生出几十个项目。开源侧的回应最迅速也最激进，就是本文要介绍的 Laya。

Laya 由作者 NandhaKishorM 于 9 月 18 日建仓，采用 Apache-2.0 协议，以 Python 为主，另有一个 npm 上的 TypeScript 包。十天时间，星标数达到 26,779，放在整个九月的 GitHub 项目里能进前三。它的定位是一句话：不做文本生成，只输出决策结果的小模型。

非自回归架构：一次前向传播出结果

技术路线上，Laya 属于非自回归模型。大模型逐 token 生成文本的方式属于自回归，速度提不上去；Laya 则依靠单次前向传播直接得到答案，实测耗时 32.8 毫秒。

它把 AI 决策归纳成三类原语：从若干候选项中选一个，例如工单分配给哪个部门、用户意图归为哪一类；按照评分等级打分，例如判断邮件的愤怒值或紧急程度；再就是输出 0 到 1 之间经过校准的概率，例如判断是否钓鱼链接、是否垃圾内容。认知科学把这套机制称为 System 1，也就是快思考。大模型对应 System 2，慢、成本高、具备推理能力；Laya 对应 System 1，快、便宜，只负责判断。作者在 README 中解释了这套双系统思路——它并不是要替代大模型，而是把大模型从每件小事都要亲自发声的状态中解脱出来。

还有一段背景值得补上。作者之前在 dev.to 发表过一篇文章，标题大意是「一年前我就做了非自回归决策模型，然后一家前沿实验室把这事叫成了……」。等到 Jev 问世，他将搁置了一年的工作开源，十天拿下 2.7 万星。这件事的另一面是，前沿实验室口中的新品类，未必真是新发明。

性能实测：比Jev API快约七倍

在入门级 Tesla T4 上，单个问题处理耗时 32.8 毫秒；同样环境下实测 Jev 的 API，中位数落在 236 至 276 毫秒区间。批量模式差距更大：50 个问题一起提交，整体 337 毫秒，单张 T4 每秒可输出 103 至 332 个决策。这个量级说明，将它嵌入 Agent 的每一步判断循环，延迟和成本都几乎可以忽略。

中文支持方面也出乎意料地友好。开箱支持 51 种语言，内置一个 Router，能自动根据语种选择合适的模型分身。作者还专门制作了中文场景的 benchmark，涵盖飞书风格的职场决策与中文短命令路由，并配有完整中文文档，这在新生开源项目中并不常见。

决策模型最关键的能力不是答对，而是清楚自己有多可靠：当它声称八成把握时，最好真能达到八成。衡量这一点的指标是 ECE，Laya 实测为 0.081，Jev 则为 0.246。对于置信度不足就转人工的分支逻辑，这个数值比准确率更有参考价值。

生态适配也已铺开，LangChain、LangGraph、LlamaIndex、CrewAI 都有相应适配器，并提供 MCP server 与 HTTP server，后者还能兼容 Jev 的接口格式，原 Jev 用户基本可以无缝迁移。模型权重发布在 HuggingFace 上，自托管成本为零；而对比 Jev 每百万 token 收费 0.042 美元的闭源 API，这正是 Apache-2.0 的价值所在。

三类冷水：零样本、选项数量与赛道过热

第一盆冷水是零样本场景下表现接近随机。在 Banking77 意图分类任务上，不做微调直接使用准确率为 0.362，随机猜测的基线是 0.318，相差不大。README 中 0.766 的漂亮成绩来自微调之后。作者自己也写得很直接：「这是一个拿来特化的快底座，不是开箱即用的决策引擎。」如果指望装上就无所不能，第一天就会落空。

第二盆冷水是选项一多就扛不住。Banking77 共有 77 个类别，Laya 只能达到 0.425，而 Jev 达到 0.870，差距相当明显。原因在于它为每个候选选项预留的 token 预算仅三四个，选项增加后信息容纳不下。官方给出的应对办法是调高预算，或者先做一轮向量预筛选。它是小决策领域的专家，不是大海捞针型选手。

第三盆冷水是这条赛道已经过热。九月的 GitHub 上，决策模型是热度最高的词，Jev 生态一周就冒出几十个项目，kev、NanoJev、fast-jev-compaction 等名字轮番出现。这里面多少来自叙事驱动、多少是真实需求，现在下结论为时尚早。星标数反映的是关注度，并不能等同于可生产落地的能力。

行业影响：技术栈分层与开源响应速度

其一，AI 应用的技术栈正在分层，快思考与慢思考开始分家。内容生成交给自回归大模型，而路由、分类、打分、置信判断这类高频小决策则交由非自回归小模型处理。这正是人脑省力的方式——并非每件事都值得开一次会。若 Agent 每一步都调用大模型，相当于老板亲自接起每一通客服电话；Laya 这类模型扮演的角色，是给 AI 应用加一个前台。

成本结构也因此被重新刻画。其二，开源社区的反应速度本身已经成为变量。前沿实验室发布闭源产品十天内，开源社区就拿出了速度快约七倍、可免费自托管、权重全部开放的 Apache-2.0 对标方案，甚至连接口都做了兼容。这已不只是追赶，而是锚定：今后闭源 API 在定价前，都得先看看开源这边的参照点在哪里。

Laya 并不打算取代大模型，它要接管的是大模型本不该亲自处理的琐碎判断——33 毫秒完成一次决策，成本压到接近零，把 token 省下来留给真正需要深度思考的问题。

项目地址：github.com/NandhaKishorM/laya；模型权重：huggingface.co/convaiinnovations/laya。

小结：Laya 用非自回归架构把 AI 决策压缩到 33 毫秒，成本趋近于零，并以 Apache-2.0 与权重开放回击了闭源的 Jev，十天拿下 2.7 万星。它的价值在快思考类高频判断的接管上，而非通用问答，零样本与多选项两大短板决定了它必须先经过微调与向量预筛才能用于生产。