扩散语言模型

用扩散方式对整段文本并行去噪、而不是逐字往后生成的语言模型。

扩散语言模型把扩散思路用到文本上：生成时先放一段全被遮住（掩码）或加了噪的 token，再分若干步同时预测，逐步确定内容，每步可以一次填出多个 token，也能回头修改。代表工作有中国人民大学等团队 2025 年的 LLaDA，8B 规模在上下文学习上与 LLaMA3 8B 相当；Inception Labs 的商用模型 Mercury；以及谷歌 DeepMind 的实验性模型 Gemini Diffusion，官方公布采样速度约每秒 1479 个 token。它的吸引力在于并行解码速度快、能双向利用上下文。具身领域也有工作把这种思路用来并行解码动作，如 Discrete Diffusion VLA。

例子LLaDA 回答问题时先生成一整段掩码 token，每一步预测所有被遮住的位置，保留把握大的、把把握小的重新遮住，重复多轮直到全部填完。

也叫

扩散大语言模型、Diffusion LLM、掩码扩散语言模型

相关

离散扩散、大语言模型、并行解码、自回归解码、扩散模型、Discrete Diffusion VLA（离散扩散 VLA）

来源

Large Language Diffusion Models (LLaDA, arXiv:2502.09992)
Gemini Diffusion - Google DeepMind
Mercury: Ultra-Fast Language Models Based on Diffusion (arXiv:2506.17298)

信息截至

2026-09