不少每天用 Python 写 AI 的人可能没意识到,自己其实早就在依赖 Rust 了。调用 AutoTokenizer.from_pretrained() 时执行的其实是 Rust 代码,用 uv pip install 快速装依赖时背后同样有 Rust 在跑。在 AI 生产链路中,凡是称得上「热路径」的位置,几乎都留下了它的痕迹。
多数人对这门语言的印象是:扎实、准确,关键场景不掉链子。
Rust 挤掉的不是 Python,而是 Python 之下那一层
先要纠正一个流传很广的误判:Rust 的目标并非动摇 PyTorch。模型研究、实验、训练这些环节依旧是 Python 的牢固地盘。真正被 Rust 逐步接手的,是另一类组件——分词器、gRPC 服务的前端、特征存储客户端、预处理流水线、量化工具,以及数量不断增长的推理运行时。
原因在于,这类组件处在请求热路径上,对时延与吞吐格外挑剔。带垃圾回收的语言放在这个位置会暴露一个要害问题:GC 引发的停顿,落到逐 token 生成的过程中,用户能直接看到卡顿。Rust 同时具备无 GC、性能可预期、内存安全这三项特质,恰好和需求对上了。
已经实际落地的重点项目
业界成型的一种标准架构是:以 Rust 为核心,再向多种语言提供绑定。
Hugging Face 的 Tokenizers 是最具代表性的例子。自 2019 年起它就采用 Rust 内核搭配 Python 外壳,速度比 transformers 早期那条纯 Python 分词路线高出 20 至 50 倍。以处理 2048 个 token 为例,Rust 版本在 Apple M3 上耗时约 180 微秒,而 Python 基线约为 6 毫秒。放到服务端看,这正是「能被感知」与「无法感知」之间的分界线。
Hugging Face 的 Candle 属于完全用 Rust 编写的机器学习框架,它做的不是给 libtorch 套壳,而是把张量算子层重新实现了一遍,并内置 CUDA 与 Metal 后端。它要达成的目标很清楚:去掉对 Python 运行时的依赖,做出体积小、冷启动快、能在边缘与 Serverless 环境上跑的推理运行时。实测在 LLaMA 量级的推理任务上,它与量化版 llama.cpp 的差距被控制在 15% 以内,而生成的二进制文件不足 40 MB。
Burn 是面向训练场景的纯 Rust 深度学习框架,2025 年底推出 0.14 版本,在中小模型上性能已经可以与 PyTorch 相比较。基于 Arrow 的 DataFrame 库 Polars,速度可达 Pandas 的 10 到 100 倍。Qdrant 与 LanceDB 属于新一代向量数据库,同样用 Rust 编写,为大量 RAG 系统提供支撑。uv、ruff、oxlint、Biome、Turbopack 则反映出开发者工具链整体转向 Rust 的潮流,提速普遍超过 10 倍。
依据 2026 年的行业观察,在 Meta、Scale AI、Anthropic 等企业的生产级 ML 栈里,Rust 已经承担起承重结构的作用。
延伸场景:从内核一直覆盖到边缘
要判断一门语言的分量,可以观察它在最苛刻环境里的表现。到 2026 年,Rust 在 Linux 内核里已扩展到关键规模:Android Binder 借助 Rust 完成了重写,成为首个进入生产环境的主要子系统;网络驱动合并进主线内核;持续提交补丁的贡献者超过 40 人。
与此同时,AWS Lambda 底层的 Firecracker 微虚拟机、Cloudflare 的边缘计算栈,还有 Linkerd 的服务网格数据平面,运行的都是 Rust。这类场景有共同底线:不能崩溃、不允许内存漏洞,更不允许时延出现不可预测的波动。
也要讲清楚它的边界
就事论事,以下几种情况不必用 Rust:
· 需要快速验证原型——采用 Go 或 Python 能更快抵达生产;
· 简单的 CRUD API——付出编译期代价并不划算;
· 数据科学探索——目前 Notebook 生态没有对等替代;
· 两百行以内的小脚本——交给 bash 或 Python 更省事;
· 团队尚无 Rust 积累又面临紧迫工期——生产力的爬坡通常需要 3 到 6 个月。
此外还有两条切身体会到的痛点:借用检查器会带来额外的心智成本,自引用结构体、嵌套较深的可变借用目前依然难处理,站得住脚的处理方式是顺着所有权去设计数据结构,而不是硬跟编译器较劲;Candle 的算子覆盖面还比不上 PyTorch,拿来推理没问题,若要用它训练自研模型则需谨慎权衡。
给 AI 工程师的上手路径
如果打算进入这个方向,最划算的方式并非把「学 Rust」本身当成目标,而是拿 Rust 去解决某一项具体任务:
1. 先选一条跑得慢的 Pandas 管道,换成 Polars,切身感受速度差别;
2. 用 Candle 完成一次本地推理,体验几十 MB 单文件、不依赖 Python 环境的部署形态;
3. 如果想继续深入,可以尝试用 PyO3 为 Python 项目编写一个热路径扩展——这也正是 Tokenizers 采取的架构路子。
企业侧最容易踩的坑是「全盘推翻重写」。比较务实的方案是渐进推进:既有稳定系统保持不动,只在这三处引入 Rust,即性能瓶颈、安全敏感模块、新建的云原生服务。
一句话可作结:模型靠 Python 训出来,上线稳定运行则交给 Rust。训练框架仍是 PyTorch 占主导,可它周围的外围基础设施,正被 Rust 一点点蚕食。
本文属于「AI 编程语言图鉴」系列第 4 篇(主题为 Rust),前三篇分别写了 Python、C++ 与 CUDA。
小结:Rust 接管的并非训练框架,而是分词、推理、向量检索等对时延敏感的基础层,Tokenizers 快 20 至 50 倍、Candle 二进制不足 40 MB 都是可验证的例证。对团队而言,增量式替换瓶颈与安全模块,比拼一次性重写现实得多。