分享好友 资讯首页 频道列表

香港科技大学与华为研究院联手:LISA训练法让AI绘图效率大幅提升

2026-07-01 13:138160

在人工智能图像生成领域,一项突破性研究为现有技术瓶颈提供了创新解决方案。香港科技大学与华为研究院联合团队提出的LISA训练框架,通过重构副网络学习机制,显著提升了AI图像生成系统的训练效率与生成质量。该研究以预印本形式公开后,迅速引发学界与产业界关注。

传统AI图像生成系统采用"双分支范式",由主网络负责审美判断,副网络负责解析用户提供的视觉条件。但研究团队发现,副网络在训练过程中长期缺乏明确指引,如同新员工未获具体职责说明,导致训练效率低下。以Stable Diffusion等主流模型为例,其副网络需要消耗大量计算资源才能逐步掌握条件解析能力。

LISA框架的核心创新在于构建了"似然分数对齐"机制。研究团队通过数学推导证明,条件生成过程可分解为主网络的无条件审美判断与副网络的条件修正信号叠加。基于此发现,LISA通过计算训练数据条件分数与主网络无条件输出的差值,为副网络生成精准的学习目标。这种内生性目标生成方式,无需依赖任何外部模型或额外标注数据。

实验数据显示,LISA在多个生成任务中展现惊人效率。在姿势控制任务中,采用LISA的ControlNet仅需1万步训练即可达到83.02%的姿势准确率,而传统方法需要3万步才能实现89.82%的准确率。深度图引导任务中,LISA用40%的训练时间便在图像质量、语义匹配和深度精度三个维度全面超越基线模型。这种效率提升在视频生成领域更为显著,时尚视频生成任务的姿势准确率从30.22%跃升至57.00%。

该技术的突破性不仅体现在速度提升。研究证实,经过LISA训练的副网络具备更强的任务解耦能力,支持多条件组合生成。实验表明,同时处理姿势与分割图条件时,LISA模型的场景理解准确率提升18.5%,文本语义匹配度提高5.2%。这种"模块化"特性为复杂场景生成开辟了新路径。

技术实现层面,LISA通过轻量级解码器实现特征对齐。该解码器参数量仅占副网络的0.1%,训练完成后即可丢弃,对推理过程无任何影响。超参数研究显示,在副网络第5层进行特征对齐,并设置0.2的损失权重时,系统达到最佳平衡点。这种设计使得LISA在保持主网络架构不变的前提下,实现训练效率与生成质量的双重优化。

相较于依赖预训练模型的REPA等对齐方法,LISA展现出更强的泛化能力。在Stable Diffusion 3等新型架构上,LISA同样实现显著性能提升,证明其原理不依赖于特定网络结构。这种通用性为不同技术路线的AI生成系统提供了标准化优化方案。

对于开发者而言,LISA提供了近乎零成本的改进方案。实验显示,采用LISA的ControlNet参数量仅增加0.1%,训练时间增幅不足10%,而推理阶段完全无额外开销。这种特性使得现有图像生成工具可快速集成LISA技术,为用户带来更精准的条件控制体验。

该研究已引发多领域应用探索。在医疗影像生成中,LISA有望提升解剖结构控制的精准度;在工业设计领域,其多条件组合能力可支持更复杂的产品渲染需求。随着研究团队持续优化技术细节,LISA框架或将推动AI生成技术进入新的发展阶段。

反对 0
举报 0
收藏 0
打赏 0
评论 0
豆包新添“轻导航”功能,步行骑行告别广告,打工人出行新选择来啦
豆包新添“轻导航”功能,步行骑行告别广告,打工人出行新选择来啦

0评论2026-07-012506

严惩技术盗版侵权!知乎盐言故事两起网文盗版黑产案宣判
严惩技术盗版侵权!知乎盐言故事两起网文盗版黑产案宣判

0评论2026-07-012330

人形机器人终极追求何在?专家:最高境界是陪伴人类,共情喜怒哀乐
人形机器人终极追求何在?专家:最高境界是陪伴人类,共情喜怒哀乐

0评论2026-07-012855

机器人产业热潮涌动:百万年薪揽才背后,泡沫与机遇并存
机器人产业热潮涌动:百万年薪揽才背后,泡沫与机遇并存

0评论2026-06-282833

深圳“智造者大会”展新篇:微型传感器赋能机器人“触觉”升级
深圳“智造者大会”展新篇:微型传感器赋能机器人“触觉”升级

0评论2026-06-28743

索尼力推AI游戏战略:以自动化提效赋能开发者 引领行业新趋势
索尼力推AI游戏战略:以自动化提效赋能开发者 引领行业新趋势

0评论2026-06-231723

ABB机器人IRB6700:一机多能背后的技术逻辑与集成应用全解析
ABB机器人IRB6700:一机多能背后的技术逻辑与集成应用全解析

0评论2026-06-232251

成都人形机器人创新中心签5000台订单 推动具身智能在基建领域应用落地
成都人形机器人创新中心签5000台订单 推动具身智能在基建领域应用落地

0评论2026-06-181992

苹果明年将发布20周年纪念版iPhone和带摄像头AirPods
苹果明年将发布20周年纪念版iPhone和带摄像头AirPods

0评论2026-06-181186