浮点运算量（FLOPs）

完成一次计算要做多少次浮点加法和乘法，衡量模型算得有多重。

FLOPs 是 floating-point operations 的缩写，指完成一次计算所需的浮点运算总次数，用来衡量模型的计算量。小写 s 表示复数，和大写 S 表示「每秒」的 FLOPS（硬件算力）不是一回事。Transformer 有个常用估算：参数量为 N 的模型处理一个 token，前向约 2N 次浮点运算，算上反向传播的训练约 6N，出自 OpenAI 2020 年的缩放定律论文；训练总算力也常用 FLOPs 计。对机器人而言它直接影响推理延迟：同一块车载芯片上，FLOPs 越大的策略推理越慢、控制频率越低，所以端侧部署常靠缩小模型、剪掉视觉 token 来降 FLOPs。

例子按 2N 粗算，一个 70 亿参数的 VLA 处理 1 个 token 的前向约 140 亿次浮点运算（14 GFLOPs）；一次输入 256 个图像 token，仅这部分就约 3.6 万亿次（不计注意力项）。

也叫

浮点运算次数、计算量、FLOP

相关

参数量、缩放定律、浮点算力（FLOPS / TFLOPS）、推理延迟、端侧模型、视觉 token 剪枝

来源

Scaling Laws for Neural Language Models (Kaplan et al., 2020)
Scaling Laws for Neural Language Models（ar5iv 全文，含 C≈6N 推导）