端侧模型

直接跑在机器人、手机等设备本地芯片上、不依赖云端的模型。

端侧模型指部署在终端设备上本地运行的模型，比如装在机器人机载计算机（如英伟达 Jetson）、手机或汽车芯片上，与放在云端数据中心推理的模型相对。设备的算力、内存和功耗都有限，所以端侧模型通常参数更少，并借助量化、剪枝、蒸馏等手段压缩，例如苹果 2025 年的端侧基础模型约 3B 参数，权重用量化感知训练压到每个 2 位。对机器人来说，本地运行的好处很实际：断网也能用，没有网络往返延迟，数据不出设备。代价是能力通常不如云端大模型，所以常见做法是云端大模型负责慢速的规划推理，端侧小模型负责高频出动作，也就是云边端协同。

例子谷歌 DeepMind 2025 年 6 月发布 Gemini Robotics On-Device，这个 VLA 可以脱离数据网络在机器人本地运行，用 50 到 100 条演示就能适配新任务，已在双臂 Franka FR3 和 Apptronik Apollo 人形机器人上验证。

也叫

边缘模型、端侧大模型、Edge Model、On-device AI

相关

端侧部署、云边端协同、训练后量化、英伟达 Jetson、Gemini Robotics On-Device、推理延迟

来源

Google DeepMind: Gemini Robotics On-Device brings AI to local robotic devices
Apple Machine Learning Research: Updates to Apple's On-Device and Server Foundation Language Models

信息截至

2025-07