有限标量量化

Finite Scalar QuantizationFSQ进阶

把连续向量的每一维直接取整到几个固定档位，代替 VQ 码本的离散化方法。

有限标量量化由 Google 研究团队的 Mentzer 等人 2023 年提出，论文副标题就叫「VQ-VAE Made Simple」。传统向量量化（VQ）要维护一本可学习的码本，训练中常出现大量码字从没被用到的「码本坍缩」，需要承诺损失、熵惩罚等额外技巧。FSQ 改为先把特征投影到很少几维（通常不到 10 维），每一维限制范围后直接四舍五入到几个固定档位，各维档位的组合就构成隐式码本。不用学码本，也不会坍缩，在图像生成、深度估计等任务上效果与 VQ 相当。它常用来把图像、视频或动作序列变成离散 token，交给自回归 Transformer 处理。