据36氪消息,年仅17岁的AI研究员陈广宇近期已经告别月之暗面Kimi团队。他在10月15日通过社交平台发声,把过去一年的经历称为自己至今“最美好的时光”,并对Kimi团队在他16岁时愿意给出工作机会表达谢意。至于离职的具体缘由以及接下来要去哪家机构,他目前都还没有对外披露。

17岁陈广宇离开Kimi:参与Attention Residuals,下一步赴美湾区

16岁实习入局,先做模型架构研究

公开信息显示,陈广宇是在2025年11月以实习生身份进入月之暗面Kimi团队的,当时他只有16岁,主要方向是模型架构研究。在这之前,他已经在美国AI初创公司Tilde Research做过大约7周实习,接触过内存优化混合专家模型等项目。进入Kimi之后,他延续了模型架构方面的工作,并参与了后续Attention Residuals等研究。

《Attention Residuals》论文与马斯克的回应

今年3月16日,Kimi团队正式对外发布技术论文《Attention Residuals》,陈广宇、张宇、苏剑林三人同为共同第一作者。据21世纪经济报道,这三位作者在论文中都被标注为“同等贡献”。该研究提出的“注意力残差”,核心是用注意力机制取代传统残差连接那种固定累加方式,使模型能够依据输入动态地汇总前面各层的信息;针对这一做法带来的额外开销,团队又给出了Block AttnRes方案。

17岁陈广宇离开Kimi:参与Attention Residuals,下一步赴美湾区

论文上线当天,马斯克便在社交平台X上转发了相关内容,并留下评论“Impressive work from Kimi”(Kimi的工作令人印象深刻)。正是凭借共同第一作者以及17岁高中生的双重身份,陈广宇随后进入公众视野。

17岁陈广宇离开Kimi:参与Attention Residuals,下一步赴美湾区

论文发布后接受媒体采访时,陈广宇表示希望外界把注意力放在技术和团队上,而不是他个人,并强调这项成果由团队共同完成。另一位共同第一作者苏剑林曾在《Attention Residuals 回忆录》中讲述研究经过:最初由他提出AttnRes构想并完成小规模实验,之后陈广宇与张宇加入,在更大规模模型上做验证;随着实验深入,两人又进一步设计了Block Attention Residuals,借助分块来削减注意力残差机制产生的计算与通信开销。

成果落地Kimi K3:2.8万亿参数、100万Token上下文

7月27日,月之暗面推出Kimi K3,并同步开放模型权重与技术报告。该模型总参数规模达到2.8万亿,激活参数为1040亿,上下文窗口可支持100万Token。技术报告把Kimi Delta Attention与Attention Residuals并列为K3的基础架构,其中AttnRes的作用是改善模型不同深度之间的信息流动。

17岁陈广宇离开Kimi:参与Attention Residuals,下一步赴美湾区

下一站美国湾区,明确否认加入Anthropic

离开Kimi之后,陈广宇的去向同样没有正式公布。不过从他在离职后的社交互动来看,他已确定将前往美国湾区。36氪援引社交平台信息称,Anthropic研究员Sholto Douglas曾在评论区邀请他去旧金山与相关团队合作,陈广宇的回应是“我正要去海湾区”。此后有网友直接问他是否会加入Anthropic,他给出的答复是“no :)”,对这一说法予以否认。

17岁陈广宇离开Kimi:参与Attention Residuals,下一步赴美湾区

回顾其技术成长路径:2024年4月,陈广宇把更多时间投向计算机科学与人工智能领域;2025年3月他开始接触机器学习,依靠阅读论文、跟进开源项目构建起知识体系;同年5月,他在社交平台分享关于线性注意力机制的技术分析,引起研究人员与美国AI初创公司Tilde Research的注意,进而拿到后者实习机会。2025年7月,他赴美国加州帕洛阿尔托的Tilde Research实习7周,参与内存优化混合专家模型MoMoE项目;实习结束后回国加入月之暗面Kimi团队;2026年夏季高中毕业后,他继续留在Kimi做模型架构研究,直至今年10月离开。

小结:陈广宇的离职本身不改变技术路线,他参与的Attention Residuals已作为Kimi K3基础架构的一部分落地,模型总参数2.8万亿、激活1040亿、支持100万Token上下文。这一事件更值得关注的是低龄研究者进入大模型核心研发的通道正在变宽。