开发者社区> 知与谁同> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

《中国人工智能学会通讯》——4.13 采用关联滤波器的卷积神经网络

简介: 本节书摘来自CCAI《中国人工智能学会通讯》一书中的第4章,第4.13节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。
+关注继续查看
福利推荐:阿里云、腾讯云、华为云等大品牌云产品全线2折优惠活动来袭,4核8G云服务器899元/3年,新老用户共享优惠,点击这里立即抢购>>>

4.13 采用关联滤波器的卷积神经网络

经典的卷积神经网络模型[1] (CNN), 大体上是由若干个卷积神经层堆叠构成的深度多层次神经网络模型,由于其在图像识别[2] 、视频分类 [3]等计算机视觉领域中所展现的优异性能,CNN 的拓展应用及其优化研究越来越受到广泛关注。

和传统单隐藏层神经网络不同,卷积神经层中的神经元被有序地组织成一张张特征图。相应的,神经元间的关联权值则构成了滤波器(filter),因为卷积层中特征图与卷积核的矩阵卷积本质是对输入特征图进行空域滤波。这种处理能够提取蕴含在输入特征图中多种的视觉特征。单就输出特征图中的某一个神经元而言,它的输出值由线性滤波器与输入特征图中一个小邻域里的神经元进行内积得到。CNN 的这种神经元与神经元的局部连接,与猫视觉系统中神经细胞具有局部敏感性(localsensitive)的发现[4]相一致。

作为卷积神经层中唯一可以被训练的权值,滤波器在提取包括边缘、角点、端点等视觉特征时发挥主要作用。这些被感知到的局部特征在输出特征图中进一步组合生成更抽象的特征,继而被后续的卷积层进一步提取。在大部分情况下,CNN 都是使用随机梯度下降(stochastic gradient descent)方法进行训练。这种训练方法的特点是:在更新权值时,每一个权值都依据代价函数在自身方向的偏导数来决定其更新矢量。由此,从属于同一卷积神经层的滤波器之间并没有显式的逻辑性关联关系,也正是因为这个特点,利用这些滤波器来计算的各个输出神经元间也不具有显性相关性。但是,对灵长类视觉皮层神经元的研究[5]表明,从属于同一皮层区域的部分神经元,具有协作处理视觉信息的能力。这个现象启发我们为 CNN 中归属于同一卷积层的神经元也引入合作关系,其实现途径就是构造具有关联性的滤波器。

本文提出了一种新颖的卷积神经网络优化方法——关联滤波器(Correlative Filters/CF),它在构造网络之初就指定若干滤波器间具有关联关系。这种关联稳定地存在于网络训练的整个过程中,旨在引导网络学习得到一组更具综合性的、针对视觉特征的权值。简单地讲,在训练 CNN 的整个过程中,CF 促使若干滤波器是另外一组滤波器的某种特定线性变换。注意到位于浅层次的滤波器主要提取简单的视觉特征元素,而处于深层次的滤波器则专注于提取更复杂抽象的特征。在构造关联滤波器时,我们也依据这个特性针对不同深度的卷积层使用相异的关联关系。在靠近输入层的层次中,关联滤波器表现为很多对具有相反元素的滤波器。而在深层次的卷积神经层中构造关联时,关联滤波器之间的关系转变为平移。

通过引入关联滤波器,网络模型获得了有益于视觉特征提取的先验知识,有能力在训练中学习得到更综合的网络权值。这是因为关联滤波器促使神经元按照预定准则,协作处理特征图。除此之外,CF 方法只是优化了作为特征提取器的滤波器,所以它能与其他随机正则化方法(stochasticregularization method)结合以防止过拟合,例如Dropout [6] 和 Stochastic Pooling [7] 。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
容联CTO许志强:AI、5G让通讯更智能、更高效
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/vn9PLgZvnPs1522s82g/article/details/82784122 ...
1411 0
【特朗普悍然给中国高科技加税】中国通讯、半导体等遭精准打压,美国用AI算出1300项加税商品
美国贸易代表办公室(USTR)昨天公布了拟加征关税的中国商品清单,这些商品多达1300种商品,计划加征25%的关税,其中,包含大量的半导体产业商品。值得注意的是,在精准打击中国制造2025的路上,美国使用了计算机算法挑选出这1300中商品。
1607 0
《中国人工智能学会通讯》——12.49 结束语
本节书摘来自CCAI《中国人工智能学会通讯》一书中的第12章,第12.49节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。
916 0
《中国人工智能学会通讯》——6.11 链接数据技术
本节书摘来自CCAI《中国人工智能学会通讯》一书中的第6章,第6.11节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。
948 0
《中国人工智能学会通讯》——12.48 混合型数据聚类算法
本节书摘来自CCAI《中国人工智能学会通讯》一书中的第12章,第12.48节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。
953 0
《中国人工智能学会通讯》——12.47 分类型数据聚类有效性
本节书摘来自CCAI《中国人工智能学会通讯》一书中的第12章,第12.47节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。
859 0
《中国人工智能学会通讯》——12.46 分类型数据流聚类算法
本节书摘来自CCAI《中国人工智能学会通讯》一书中的第12章,第12.46节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。
1092 0
《中国人工智能学会通讯》——12.45 k-modes 型算法的类中心表示与收 敛性分析
本节书摘来自CCAI《中国人工智能学会通讯》一书中的第12章,第12.45节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。
976 0
《中国人工智能学会通讯》——12.44 分类型数据的定义
本节书摘来自CCAI《中国人工智能学会通讯》一书中的第12章,第12.44节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。
750 0
《中国人工智能学会通讯》——6.10 链接数据实践
本节书摘来自CCAI《中国人工智能学会通讯》一书中的第6章,第6.10节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。
1257 0
+关注
文章
问答
文章排行榜
最热
最新
相关电子书
更多
视觉AI能力的开放现状及ModelScope实战
立即下载
通用多模态AI构建
立即下载
阿里云AI产品必知必会系列电子书
立即下载


http://www.vxiaotou.com