开发者社区> 知与谁同> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

《中国人工智能学会通讯》——4.15 关联滤波器

简介: 本节书摘来自CCAI《中国人工智能学会通讯》一书中的第4章,第4.15节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。
+关注继续查看
福利推荐:阿里云、腾讯云、华为云等大品牌云产品全线2折优惠活动来袭,4核8G云服务器899元/3年,新老用户共享优惠,点击这里立即抢购>>>

4.15 关联滤波器

1 . 动因
在灵长类的大脑视觉皮层系统中,有一类对亮度敏感的神经细胞,它们的接受域都由一个圆环及其内部的圆形部分组成[5] 。这些细胞可以分为两类:① on-center/off-surround 细胞,对黑暗背景上的亮点敏感。② off-center/on-surround 细胞,对亮背景上的暗点敏感。这两类细胞负责视觉信息的早期处理,主要观察空间中亮度的变化。而滤波器在CNN 中也扮演着接受域的角色,受此启发,我们使用 Caltech101 的图片数据集训练了一个由普通卷积层组成的简单 CNN,并观察训练时滤波器的变化过程。在网络训练收敛之后,发现若干滤波器也具有相反的关联关系,尽管这些滤波器都是随机初始化和使用普通梯度下降方法训练的,如图 1 所示。image
除此之外,这种相反的关联只出现在输入层后紧跟着的第一个卷积层,与视觉皮层中具有相反接受域的神经细胞所处位置一致。更进一步地,我们在更深的卷积层中探寻类似的关联关系,从而发现某些参与输出同一特征图的滤波器具有平移关联,如图 2 所示。图中的四个滤波器同样采用随机初始化,却表现出了竖直方向平移的关联性。考虑到所有的滤波器都是使用普通反向传播方法训练生成的,这种算法只是将权值朝减小代价函数的方向更新,每个滤波器之间的训练并没有联系。但这些关联性却又总是稳定地存在,所以这种关联性不是偶然的,而很有可能是高效提取视觉特征的必要条件。image
基于以上的观察,我们想到在训练网络之前就预先人工设定这些关联,至少能够加速网络模型整体的收敛速度。目前已经实现了反向关联和平移关联。

2 . 相反关联滤波器
在部署相反关联滤波器时,首先需要在一个普通卷积神经层中随机地选取若干对滤波器,以构造关联。为了与实际观察相一致,这些滤波器都来自紧挨着原始输入图像的卷积层,并且分别用于生成不同的输出特征图。在每一对相反关联滤波器中,一个滤波器成为主滤波器,另外一个则是从滤波器,这两个滤波器矩阵的对应位置元素相反,如图3所示。image
(a) 在训练前随机初始化的两个示例滤波器(b) 上述两个滤波器训练之后,几乎完全相反图 1 训练普通 CNN 后观察到的滤波器相反关联性图 2 训练普通 CNN 后观察到的滤波器平移相关性在开始迭代训练之前,我们将从滤波器初始化为主滤波器的相反值。除此之外,为了保证在每一次迭代周期后从滤波器都能保持与其主滤波器互反,还需要对其反向传播时的残差添加修正。公式(1) 与公式 (2) 分别描述了主滤波器和从滤波器的更新向量。image
其中, 表示主滤波器在第i个周期的更新偏移量,则表示与之对应的从滤波器在第 i 个周期的更新偏移量; 是主滤波器在第 i 个周期的残差;m和 l 则分别表示冲量因子和学习率,两者都是常量。公式中所述的权值更新方法实质上将主 / 从滤波器的权值视为一个整体,综合两者的残差即求得这一对滤波器的更新矢量。除此之外,卷积层中蕴含的相反关联滤波器的数量可以灵活控制,在保证滤波器多样性的前提下,这些关联滤波器对能够稳定提取不同明暗条件下的同种特征。

  1. 平移关联滤波器
    平移关联滤波器在很多方面都与相反关联滤波器类似。首先,我们仍然将滤波器分为若干组来体现关联性,每一组也依旧包含主 / 从滤波器。但每个主滤波器拥有两个从滤波器,分别是将主滤波器以相反的两个方向平移获得。在此基础上,平移关联滤波器组又分为两个类别,分别表示水平方向的平移以及垂直方向的平移。遵照图 2 中发现关联的位置,平移关联滤波器作为一种处理抽象特征的方法被应用于深层次的卷积神经层中。

如图 4 所示,对于某一个从滤波器而言,它的一半的权值被设置为与其主滤波器的对应部分相同,剩余的另一半权值则由自由训练得到,不受关联影响。这些被关联的权值分别位于主 / 从滤波器的不同位置,由此产生的平移关系能够保证轻微偏移的特征仍然能被检测到。同相反关联滤波器相类似,我们也需要为被关联的权值增加残差修正:对于主滤波器中的每一个权值,如果它也出现在从滤波器中,则将主 / 从滤波器中的残差加和作为最终的残差。这种修正综合考虑了主 / 从双方的需求,使得被关联的滤波器在协同处理的同时,稳定地沿着梯度方向收敛。image
将相反滤波器和平移滤波器应用到 NiN [11] 中描述的网络结构上,使用相同的数据扩增方法,我们在 CIFAR-10 数据集上获得了 7.75% 的错误率,优于 NiN 给出的 8.81%。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
与世界同行 2017中国人工智能大会有感
与世界同行 2017中国人工智能大会有感
0 0
2019年上半年收集到的中国人工智能发展详情文章
2019年上半年收集到的中国人工智能发展详情文章
0 0
中国人工智能计划,我来说几句
中国人工智能计划,我来说几句
0 0
2022 年中国人工智能行业发展现状与市场规模分析 市场规模超 3000 亿元
人工智能产业是智能产业发展的核心,是其他智能科技产品发展的基础,近年来,中国人工智能产业在政策与技术双重驱动下呈现高速增长态势。
0 0
Nat. Biotechnol. | 人工智能药物研发在中国蓬勃发展
Nat. Biotechnol. | 人工智能药物研发在中国蓬勃发展
0 0
中国95后流行色是什么?人工智能给出的答案是它
中国 95 后的流行色是什么?人工智能说是 RGB 值为 22/20/24 的「黑色」。
0 0
机器之心选出全球最值得关注的100家人工智能公司(中国27家),同时这是一个开源项目
机器之心和 Comet Labs 联合发布了影响全球人工智能公司的榜单。我们选取了基础研究、技术和产品、行业潜力、公司运营能力、资本实力等五个维度,甄选出了全球范围内最具前途的 100 家人工智能公司,它们包括那些我们已经熟知的科技巨头,垂直行业独角兽,也有尚在萌芽的初创公司。 当然,这份榜单肯定没有做到尽善尽美,也存在 100 家的名额限制,但我们坚信,这份基于我们诚意、内容经验和专业判断的不存在任何商业利益的榜单可以为大家总结和精炼出一些有价值的信息,带给大家灵感和启发。
0 0
AI 2000人工智能全球最具影响力学者揭晓,中国正在快速追赶美国
AI 2000人工智能全球最具影响力学者揭晓,中国正在快速追赶美国
0 0
?《2020科技趋势报告》重磅发布:人工智能重塑业务形态,中国创造了新的世界秩序
?《2020科技趋势报告》重磅发布:人工智能重塑业务形态,中国创造了新的世界秩序
0 0
+关注
文章
问答
文章排行榜
最热
最新
相关电子书
更多
视觉AI能力的开放现状及ModelScope实战
立即下载
通用多模态AI构建
立即下载
阿里云AI产品必知必会系列电子书
立即下载


http://www.vxiaotou.com