人工智能领域的文本生成技术迎来颠覆性创新。斯坦福大学与 Together AI 的研究人员近日联手推出了一种截然不同于传统自回归和扩散模型的全新文本生成范式——Next-Concept Modeling（简称 NCM，即“下一概念建模”）。该方法巧妙借鉴了图像生成领域中“下一尺度预测”的思路，有望为未来的文本生成技术开辟全新的发展路线。
在技术实现路径上，NCM 模拟了人类“先构思宏观大纲、再动笔填充细节”的写作逻辑。整个系统通过两阶段训练来完成:首先训练多尺度残差 VQ-VAE，从而得到能够逐层补充信息的多层离散文本编码;随后冻结该系统，训练 Transformer 模块去预测下一层的编码。在生成文本时，模型会先并行生成概念层面的宏观大纲，接着逐层并行填充具体细节，最终组合成完整的文本内容。
在实际测试表现中，NCM 交出了令人瞩目的成绩单。实验数据显示，在保持相近甚至更优生成质量的前提下，NCM 相对传统的扩散语言模型实现了10到31倍的生成速度飞跃，并且在训练过程中所需消耗的 token 数量也大幅减少。在数独等复杂推理任务上，它的表现也明显优于传统的自回归和扩散基线模型，同时还支持通过多生成候选挑选机制来进一步优化最终输出效果。
尽管目前该研究所使用的模型参数规模依然相对有限，其在扩大模型规模后的表现、精确文本以及长篇内容的生成能力仍有待后续验证，但这一创新思路无疑打破了长期以来的技术惯性，为人工智能高效生成文本提供了充满想象力的全新解法。