事件概述:Modal工程师Colin Weld与Connor Adams在最近的文章中详细阐述了团队摒弃Kubernetes强一致性编排方案、从零构建沙箱基础设施的全过程,目标是承载百万级并发沙箱与每秒数万次沙箱创建的吞吐量。

为什么服务100万沙箱必须绕开Kubernetes?

两位工程师指出,传统容器编排系统很难运行在如此庞大的规模之下,原因是它们对集中式协调和强一致性状态有较深依赖。支撑100万个沙箱运行,意味着估算投入的计算节点将达到数万个。在他们的分析中,许多操作的复杂度要么跟随容器数量按O(容器数)增长,要么跟随节点数按O(节点数)增长,或者两者同时线性增长,这使传统容器平台终会触碰到扩展天花板。

etcd为何成为瓶颈:无分片能力加高替换率写入问题

以Kubernetes为对照:调度算法的负载本身和以中央持久化存储etcd出现压力都和节点及Pod数量呈正相关。不仅如此,Pod和节点向etcd执行写操作会比较频繁,在创建率攀升或更替频繁时这种情况有可能带来严重隐患。据他们所述,时可能造成较大可用性问题之处还在于——etcd并不支持在同一键空间内原生实行分片。工程师们承认绕过这不是不可能,但面临“大量工作”,包括重写或替换etcd,以及对调度算法做并行化处理。

Modal的原则:所有O(沙箱)负载组件必须水平扩展

设计方针直接从瓶颈分析的结论引出:凡因沙箱出入而产生O(沙箱)或O(节点)层负载的组件都注定要被赋予水平扩展优先级;沙箱创建路径必须尽可能简化;其余环节排在末位考量。

最彻底的改动是直接切断全局统一协调:不再安置一个中心节点做调度大脑,每次分配看上去更像负载均衡。原来的架构把中央数据存储当作唯一的数据来源,现在则演变为每个Worker自己成为自己数据的“唯一来源”;调度器也不是一台串行的中央调度器,而是一群彼此并行运转、各自处理请求的调度服务器。

一次完整的调度过程

当调度服务器认定某一Waorker暂时空闲,会经由RPC直接与该Waorker通信、要求执行沙箱创建指令。换言之,一次成功的沙箱下达动作只需服务器和工作节点当场达成一致,不需要征询任何中间状态的第三方仲裁。

重整过的基础设施剩余的瓶颈仅仅一处:所有工作进程都在向一个Redis Stream上上报和写进程状态。这和选择etcd路线截然不同:Redis流程结构设计的针对性更符合生产者-消费者模型之间做流数据缓冲,而不是作为一个必须时刻保持全局一致语义的数据库同步主机——从而不再是扩展事务链里的头号障碍。

Weld与Adams自己在文中给出了一组验证结果以及关于负载潜能的数据——进行负载循环与边界探索的系统还是可以达到正常运行所要求的批量设计指标远远不到警戒水位线:他们的那句“实证:测试时工作进程总量达到远远突破了10万且都能继续履约。”

从基准数据的描述来看更使人印刻在内存的是一次惊人运算实际定格:创建一百万个沙箱大约用了不到60秒(从操作指针初速向上累加总计)。追踪中间全部状态,自沙箱进程启动一直到允许执行编写首段可执应用代码所耗费的时间中值击穿底部已经达到保持“半秒以下区间”,也就是实际值达不到五秒数的一半:“不到0.5秒”。

为何有人说这套作品将成为分离AI基础设施的划时空据点

这篇披露自然也把不少注意力吸引到了竞争设计的逻辑演进探讨。

LinkedIn平台内较早前的高层次讨论参与者中有一个提供了耐人寻味的关注角度。Hopsworks現任Chief Executive Officer Jim Dowling曾说了一句通感受值警惕的矛盾观,“系统设计容量尺度只需跨进另一个阶跃档号,就总会生出前一个设计层面不应遇过的情况。”或者换种方式来述说同一定义所透射的危险性在于,任何一个正处在已经远达到全部系统架构一次一次在不同负载条件下必须面临多轮与多种维度的不断演进变动之后的天线,往“用如何的信道储备换取每秒可靠新建五万件次的结构生成交易流总量”这个悬梁底再下一城。这个看法说明任何一种初始与规模距离最终数量级之间存在不可径直凭简单加法达增的理解隔阂。

另有一个来自具体使用侧上视角的观点提出了具有反思空间总结性说法。就职于Amazon Web Services并承担首席Artificial Intelligence Engineer的Alex Jones在所相关该公布的回应中指出,最终成形的现象有其唯一机理所对应解法特殊定位之处:关于促使Modal到达既有实现帧标准层面的成功最不吃力但也最能解释成果出现的原因是“他们根本没有展开那种修改Kubernetes资源结构使之对应新并发规模的漫长行军叙事路线,而是通过认识中先将这些原生组件是否还可能以十倍生长率体面承担、内部不可否然确存了不可调和的节结算清之后才终于拿定方向—干净利落地割弃了一条以标准身份兜揽所有。”

换用Jones的原话概括转载的细节全文:“(这是)头次存在此类让人信服的标记信号,其中呈现出Kubernetes迟迟没能顺应Generative AI infrasturcture产业风向基础场景的现实。”随后他把格局发展趋向展开了长句显示:“我们现在正对着把任务分发签约那一层剥离组成部件中间所特有的给整个作业环境通过派别发生统一划分的一条行进走廊走去:有一条大科层位面一定要向Modal当年打造的那件兵器或打法收授:毫秒档次范畴中就实现防护软性格物的建立;然而另一侧那条位于最高投影端的汇集台——例如需要调度多Work agent通道进入其中申请其并发运行时各自备带又共用好一部分开放RAM(随多通道运行进程中同业务扩展对范围内重叠着共同访问同一协作运作区域所引发出一系列与有效解碰相关的多方安全责任框架联合需裁清的义务怎么保全其合法限定非可缺职权设计的那好几种类各不同结构机构仍然指定同质保障不会变化相冲突使用涉不可击倒防线完整性这个更易在高层出现的各种各样本性问题就必须保留已有像典型对标物Kubernetes统领全局适配全局预设在最大高量功能规划圈内就此前视为其独门专用之功能点而且在这一块暂时未曾被越过或取代或局部抛出的。”换言之:分裂已经存在;沙盒边界需要的正在得到对应的基于精简物理架构再造而重生的全新半公开运行时构置;但其长稳运营要求共有的信号治理系统方面仍缺乏具备同理胜任结构的替代解决方案。

Modal的取舍是一种云重构趋势样本

根据公开信息,Modal专注于AI工作负载、提供微服务器模式的算力资源分发方式。它对外提供的调用允许涉及处理器与显卡以及服务端在轻运行时单元与训练/推演过程、复合流批处理或独立沙盒开发均可下发规划。不过该公司并非孤例这一类从简化交互渠道和后端设施两路同时变换格式以抵达毫秒级别启程升温态线的运动标签集合体内被反复念到的。

本文借举出与该平台同极方向上(其中有一定取齐程度)迈步的都有谁:Unikraft、Google Substrate与Overdrive。做出举动的总体中心想表达的可归因到一个迫使得在当前serverless开发行业圈闭达到一致或至少接近相同步骤阈值附近方可交互的最后条件合在一起时才能说明——现下虽然Kubernetes微服务生态根系庞大、不可否认这是当今一系列服务于新技术时代数据轨迹路径开发上已成刚需,但其之前积累对于生成、推理复合指标级压力存在多少还能撑起领先顺位的问题目前并未有得到基于同种根本推翻结论式的一致性准确方案,所以向自提炼子构建顶层路线的公司才会被人当作面向替代性前景的一次可严肃对视的现实变量来关注探答。

原文链接:https://www.infoq.com/news/2026/09/modal-scaling-sandboxes/