CUDA Graph

CUDA Graphs进阶

把一串 GPU 操作录成一张图，之后一次提交省启动开销。

CUDA 的一种执行模型：先把一段计算里的 kernel 启动、内存拷贝及它们的依赖关系录制成一张图，之后每次只提交这张图，由驱动一次性调度。它解决的是 CPU 端的启动开销——模型里小算子很多时，每个 kernel 单独启动占用的 CPU 时间可能超过 GPU 实际算的时间，成了瓶颈。这对机器人策略推理尤其有用：视觉-语言-动作模型、扩散策略要在几十毫秒内反复跑结构固定的前向，张量形状不变，正好适合录图。PyTorch 通过图捕获和 torch.compile 的低开销模式暴露这个能力。