近日，GitHub平台上的Lvmin Zhang与斯坦福大学的研究者Maneesh Agrawala携手，推出了一项名为framePack的创新技术，该技术在视频扩散模型中融入了固定长度的时域上下文机制，使得生成长时长、高质量视频的效率显著提升。
经过实际测试，基于framePack架构、拥有130亿参数的模型，仅需配备6GB显存的显卡，便能轻松生成长达60秒的视频内容。这一突破性进展，无疑为视频生成领域带来了全新的可能性。
framePack作为一种先进的神经网络架构，采用了多级优化策略，实现了本地AI视频的高效生成。值得注意的是，尽管其底层基于定制版的腾讯混元模型构建，但现有的预训练模型同样可以通过framePack进行微调与适配，大大拓宽了其应用范围。
传统的视频扩散模型在生成视频时，需要逐步处理带有噪音的帧，并预测下一个噪音减少的帧。这一过程中，每生成一帧所需输入的帧数量，即时域上下文长度，会随着视频长度的增加而不断增加，对显存提出了极高的要求。通常而言，至少需要12GB的显存才能勉强应对，显存不足则会导致视频生成时间短、质量差、耗时长等问题。
相比之下，framePack通过智能评估输入帧的重要性，对所有帧进行压缩处理，将其转化为固定的上下文长度，从而显著降低了对显存的需求。这一创新使得framePack的视频生成计算消耗与图片扩散模型相当，更加高效节能。同时，每一帧画面生成后都会实时呈现，为用户提供了便捷的即时预览体验。
framePack还有效缓解了视频生成中的“漂移”现象，即随着视频长度的增加，质量逐渐下降的问题。通过framePack技术，可以在不显著牺牲视频质量的前提下，生成更长的视频内容，满足用户对高质量长视频的迫切需求。
在数据格式与硬件支持方面，framePack表现出色。它支持FP16、BF16等数据格式，兼容RTX 50、RTX 40、RTX 30系列显卡（除RTX 3050 4GB外），几乎涵盖了所有近代显卡。然而，对于RTX 20系列及更老的显卡，以及AMD、Intel处理器的需求，framePack尚未进行验证。
操作系统方面，framePack支持Windows和Linux两大主流平台，为用户提供了灵活的选择空间。在性能方面，经过teacache优化的RTX 4090显卡，每秒可生成约0.6帧视频内容，展现了framePack技术的强大实力。
