字节跳动 Seed 团队发布扩散语言模型 Diffusion Preview，每秒推理速度 2146 tokens

7 月 31 日消息，字节跳动 Seed 团队今天宣布推出实验性扩散语言模型 Seed Diffusion Preview，目标是以结构化的代码生成为实验领域，系统性地验证离散扩散技术路线作为下一代语言模型基础框架的可行性。

实验结果显示，Seed Diffusion Preview 代码推理速度可达到 2146 tokens / s，速度相比同等规模的自回归模型提升 5.4 倍。在多个业界基准上，Seed Diffusion Preview 性能与优秀的自回归模型相当，并在代码编辑等任务上实现超越。

从 Seed 团队介绍获悉，在实现高效采样的同时，模型在多个代码生成基准测试中，表现出与同规模自回归模型相当的性能。此外，在代码编辑（如 CanitEdit 等）这类需要全局视角规划的任务中，模型展现了扩散模型框架的内在优势，性能超过基于自回归的模型，为解决更复杂的结构化推理问题提供了新的可能性。

官方表示，Seed Diffusion Preview 验证了离散扩散模型在大型语言模型上的推理加速潜力。团队同时认为，推理加速仅是这一技术路径最直接的表层优势。Seed Diffusion 项目将致力于挖掘其更深远的价值，持续探索其规模化定律与在复杂推理任务中的应用。