神经网络处理器（NPU / BPU）

芯片里专门加速神经网络矩阵运算的低功耗计算单元。

NPU 是专为神经网络推理设计的加速器，核心是大量乘加运算单元，擅长卷积和矩阵乘，常以 INT8 等低精度运行，同样算力下功耗比 GPU 低，因此常作为一个模块集成在手机、汽车和机器人用的 SoC（片上系统）里。各厂商叫法不同，地平线把自家的 NPU 架构叫 BPU（Brain Processing Unit），地瓜机器人的 RDK 系列开发板也沿用这一名称。用 NPU 通常要先用厂商工具链（如 RKNN-Toolkit、地平线天工开物）把模型转换、量化成专用格式，遇到不支持的算子还得回退到 CPU 或 GPU，大模型上机部署常卡在这一步。

例子在瑞芯微 RK3588 开发板上，用 RKNN-Toolkit 把 YOLO 检测模型量化成 INT8 后放到 NPU 上跑，把 CPU 腾出来做别的事。

也叫

BPU、AI 加速器、神经网络加速器

相关

片上系统（SoC）、TOPS（每秒万亿次运算）、主控、RKNN-Toolkit、地平线天工开物、训练后量化

来源

Neural processing unit - Wikipedia