视频生成模型

Video Generation Model常用

根据文字、图片或已有片段，生成一段连贯新视频的生成式模型。

视频生成模型能凭文字、图片或已有片段生成新视频。2022 年 Google 的 Video Diffusion Models 把图像扩散模型扩展到视频，此后主流做法是先用视频 VAE 把视频压到潜在空间，再用扩散 Transformer 或 U-Net 同时对多帧逐步去噪，保证前后连贯。代表有 OpenAI 的 Sora、Google 的 Veo、阿里开源的通义万相 Wan。模型从海量视频里学到物体怎么运动、怎么被推动，因此常被当作世界模型的起点：NVIDIA Cosmos 等世界基础模型、UniPi 这类先生成视频再推出动作的策略，以及 DreamZero 等世界动作模型，都建立在视频生成模型之上。