向量量化

准备一本「码本」，把连续向量换成离它最近的码字编号，变成离散 token。

向量量化是信号处理里的经典压缩技术，1980 年代初由 Robert Gray 等人系统发展。做法是准备一组代表向量，叫码本，其中每个向量叫码字；对任意输入向量，找到离它最近的码字，只记下它的编号。它和 k-means 聚类本质相同，码字就是聚类中心。深度学习里，VQ 是把图像、音频、动作等连续信号变成离散 token 的主要手段之一，变成 token 后就能套用语言模型的「下一个 token 预测」来建模。残差向量量化（RVQ）用多本码本逐级量化上一级剩下的误差，谷歌 2021 年的 SoundStream 音频编解码器用它让同一个模型在 3–18 kbps 之间切换码率。

例子VQ-BeT（ICML 2024）用分层的残差向量量化把机器人的连续动作编码成离散 token，取代前作 BeT 的 k-means 聚类，论文报告推理速度比扩散策略快约 5 倍。

也叫

矢量量化、码本、Codebook、残差向量量化、Residual VQ、RVQ

相关

向量量化变分自编码器、动作分词器、有限标量量化、分词器、BeT / VQ-BeT、潜在动作

来源

Wikipedia: Vector quantization
SoundStream: An End-to-End Neural Audio Codec (arXiv:2107.03312)
Behavior Generation with Latent Actions (VQ-BeT, arXiv:2403.03181)