嵌入式AI，常见的别称是端侧AI或边缘AI，其核心思路是把训练好的神经网络放到设备自身的芯片上完成推理，而不是把数据发往云端服务器处理。

把它拆开来看：嵌入式一侧指的是搭载MCU或MPU的硬件终端，AI一侧指图像识别、语音、检测等神经网络模型，二者叠加，就是在本地硬件上执行AI计算。数据从采集到得出结果都在设备内部闭环，无需上行传输。

本地推理带来哪些收益，又留下哪些限制

数据不出设备，最直接的回报是响应延迟被压到极低，同时隐私风险可控；即便网络中断也不影响功能运行，还能省下流量开销。

代价同样明确：嵌入式芯片的算力与内存规模有限，超大模型无法装载，模型必须经过压缩与优化才能落地。

大模型搬不进设备，剪枝、量化、蒸馏三步压缩

原始大模型的体量超出嵌入式设备的承载能力，业界通常采用三类手段把它做小：剪枝去掉冗余网络结构，量化把32位浮点转为8位整数，蒸馏用大模型的知识训练出精简模型。经过这套流程得到的小模型，对应TinyML微型机器学习这一分支。

三类芯片构成算力底座：MCU、MPU与专用NPU

单片机层面常见STM32、ESP32，适合TinyML承担简单语音与传感器识别任务；嵌入式MPU包括RK3568、RK3588、树莓派以及i.MX系列，可运行图像识别与目标检测；专用NPU作为算力加速单元，专职执行神经网络运算，显著提升推理速度，众多车载与摄像头模组已内建NPU。

五类落地场景验证端侧AI的价值

智能家居方向，摄像头人形检测与离线语音唤醒已经应用；工业设备方面，机器视觉缺陷检测与电机故障预测是典型用法；汽车电子中，车载摄像头与毫米波雷达感知构成车载嵌入式AI；可穿戴设备上，手表心率异常判断与手势识别依赖本地推理；机器人领域，小型巡检机器人、扫地机器人的物体识别与避障同样基于端侧计算。

小结：嵌入式AI的本质是在受限硬件上做本地推理，通过剪枝、量化、蒸馏把模型压缩到设备可承载的规模。它在延迟、隐私与离线可用性上的优势，已在智能家居、工业、汽车、可穿戴和机器人等场景得到验证，MCU、MPU与NPU的分层算力组合是其落地的硬件基础。