分享好友 资讯首页 频道列表

卷积神经网络性能优化

2022-04-07 18:006490

   引言

卷积(Convolution)是神经网络的核心计算之一,它在计算机视觉方面的突破性进展引领了深度学习的热潮。卷积的变种丰富,计算复杂,神经网络运行时大部分时间都耗费在计算卷积,网络模型的发展在不断增加网络的深度,因此优化卷积计算就显得尤为重要。

随着技术的发展,研究人员提出了多种优化算法,包括 Im2col、Winograd 等等。本文首先定义卷积神经网络的概念,继而简要介绍几种常见的优化方法,并讨论作者在该领域的一些经验。

卷积神经网络的概念

卷积神经网络(Convolution Neural Networks, CNN)的概念拓展自信号处理领域的卷积。信号处理的卷积定义为

 (1)

由于对称性图片 卷积计算在直觉上不易理解,其可视化后如图一所示。图中红色滑块在移动过程中与蓝色方块的积绘制成的三角图案即为卷积结果 (

反对 0
举报 0
收藏 0
打赏 0
评论 0
GAN靠「伪造思维」登上Nature子刊:首次合成神经活动数据
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

0评论2021-11-23476

普林斯顿、英特尔提出ParNet,速度和准确性显著优于ResNet
 深度是深度神经网络的关键,但更多的深度意味着更多的序列计算和�

0评论2021-11-11523

深度学习正改变物理系统模拟,速度最高提升20亿倍那种
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 如果经常玩大型游戏的话应该会发现,游戏

0评论2021-10-14511

小模型大趋势!Google 提出两个模型:体积下降7倍,速度提升10倍
随着神经网络模型和训练数据规模的增长,训练效率正成为深度学习的一�

0评论2021-09-30403