知名人工智能公司 Stability AI 近日正式发布了其最新一代音频大模型Stable Audio3，并同步开源了部分模型权重。作为一款专为音频生成与编辑设计的潜扩散模型，该系统不仅支持高品质的双声道立体声输出，更在生成速度上实现了质的飞跃。
本次发布的模型家族涵盖了从小到大多种规格，能够满足音乐创作和音效制作等多元化需求。值得一提的是，该模型支持可变长度的音频生成，并引入了基于内补成像技术的音频编辑功能，为创作者提供了前所未有的灵活性。
创新架构打破硬件限制
Stable Audio3在架构上由两大核心组件构成:一个被称为 SAME 的语义声学自编码器，以及一个高效的扩散变换器。其中，SAME 自编码器实现了高达4096倍的音频压缩率，这一突破性设计大幅缩短了潜在序列的长度。
得益于这一高效的压缩机制，即使是在普通的消费级硬件上，该模型也能够流畅地运行长周期、大篇幅的音频生成任务。这不仅显著降低了高品质音频创作的技术门槛，也让个人创作者在家中开展专业级音视频制作成为可能。
超高效率实现即时渲染
在 variable-length 技术的加持下，新模型的计算成本能够随着用户要求的音频时长动态缩放，彻底告别了以往固定长度带来的算力浪费。在高性能硬件的测试中，该模型仅需约0.62秒便可渲染出一段20秒的音频，而生成长达380秒的音乐也仅需1.31秒。
通过创新的三阶段训练流程，Stable Audio3在推理阶段不再依赖传统的无分类器指导技术，从而实现了单步前向传播的极速体验。目前，面向大众开放的小型和中型模型权重已在 Hugging Face 平台上线，而性能更强悍的大型版本则将通过商业授权形式提供。