您好、欢迎来到银河网-银河网站的泡泡语录网!这是一个给心灵补充给养及分享经典作品的平台站点!
您现在的位置: 主页 > 随笔文献 > > 正文

干货 | 深度概览卷积神经网络全景图,没有比这更全的了

发布:银河网站_银河游戏娱乐-泡泡语录网 来源:泡泡语录网 作者:银河平台小编 时间:2019-06-22 15:25

[导读]通过这篇文章,我们希望帮助大家加深对卷积神经网络的理解,并对这个重要概念有一个全面的认知。

来源: 人工智能头条 翻译 | 林椿眄

摘要:深度卷积神经网络是这一波 AI 浪潮背后的大功臣。虽然很多人可能都已经听说过这个名词,但是对于这个领域的相关从业者或者科研学者来说,浅显的了解并不足够。

通过这篇文章,我们希望帮助大家加深对卷积神经网络的理解,并对这个重要概念有一个全面的认知。

以下为翻译后的内容:

第一章

引言

▌本文动机

过去几年,计算机视觉研究主要集中在卷积神经网络上(通常简称为 ConvNet 或 CNN),在大量诸如分类和回归任务上已经实现了目前为止最佳的表现。

实际上,计算机视觉领域的很多成果都把 CNN 当作了一种黑箱,这种方式虽然有效的,但对结果的解释却是模糊不清的,这也无法满足科学研究的需求。尤其是当这两个问题是互补关系时:

(1)学习的方面(比如卷积核),它到底学习到的是什么?

(2)模型结构设计方面(比如卷积层数量、卷积核数量、池化策略、非线性函数的选择),为什么某些组合会优于其他组合呢?求解这些问题的答案,不仅有利于我们更好地理解卷积神经网络,而且还能进一步提升它的工程实用性。

此外,当前 CNN 的实现方法都需要大量训练数据,而且模型的设计方案对最终的结果有很大的影响。

▌本文目标

针对以上问题,本文将综述几种当前最优秀的多层卷积结构模型。更重要的是,本文还将通过不同方法来总结标准卷积神经网络的各种组件,并介绍它们所基于的生物学或合理的理论基础。此外,本文还将介绍如何通过可视化方法及实例研究来尝试理解卷积神经网络内部的变化情况。我们的最终目标是向读者详细展示卷积神经网络中所涉及到的每一个卷积层操作,着重强调当前最先进的卷积神经网络模型并说明未来仍需解决的问题。

第二章

▌多层网络结构

近年来,在深度学习或深层神经网络取得成功前,计算机视觉识别系统最先进的方法主要由两个步骤组成,这两个步骤各自分离但又互补:首先,我们需要通过人工设计操作(如卷积、局部或全局编码方法)将输入数据转换成合适的形式。这种输入的变换形式,通常是为了得到输入数据的一种紧凑或抽象的表征,同时还要根据当前任务的需要手动设计一些不变量。

神经网络

标准的神经网络结构通常由输入层 x,输出层 y 和多个隐藏层 h 堆叠而成,其中每个层还由多个单元组成,如下图所示。通常,每个隐藏单元 hj 接受上一层所有单元的输入,并将其加权组合,其非线性组合的数学形式如下:

wij 是权重值,用于控制输入单位和隐藏单位之间连接的强度,bj 是隐藏单位的偏置,F 是非线性函数,如 Sigmoid 函数。

深度神经网络可以被视为是 Rosenblatt 感知器及多层感知器的实例。 尽管神经网络模型已经存在多年(即自 1960 年代以来),但它们并未被广泛使用。

直到最近,一些研究人员将简单感知器扩展到多层神经网络模型。 此更重要的是,多层神经网络结构依赖于大量的参数,这就意味着我们需要大量的训练数据和计算资源来支持模型训练及学习参数过程。

标准神经网络结构示意图

受限波尔茨曼机(RBM)的提出是深层神经网络领域的一大重要贡献。受限玻耳兹曼机可以看作是两层的神经网络,只允许网络以前馈连接的方式堆叠。而神经网络可以看作是使用受限波尔茨曼机进行分层无监督预训练的一种模型,在图像识别任务中,这种无监督学习方法主要包括三个步骤:首先,对于图像中的每个像素,对 xi 及初始化的 wij、偏置 bj、隐藏层状态 hj,其概率可以被定义为:

其中,σ(y)= 1 /(1 + exp(-y))。

其次,如上式所示,一旦所有的隐藏状态都被随机设定,我们可以根据概率将每个像素设定为 1,并以此重建图像。

然后,隐藏单元将通过重建的权重和偏差来更新校正单位的误差:

其中,α 是学习率,(xihj)表示隐藏单元 hj 中像素 xi 出现的次数。整个训练过程将重复 N 次或直到误差下降到预设的阈值 τ。通常,网络中的所有层经过预训练后,它们还将通过梯度下降的方式,反向传播误差来进一步微调标记数据。使用这种分层无监督预训练的方式可以不需大量标记数据的情况下,训练深层神经网络结构。因为利用受限波尔茨曼机进行无监督预训练,能够为模型参数的初始化提供了一种有效途径。受限波尔茨曼机的第一个成功应用案例是用于人脸识别的降维,它们被当作是一种自编码器。

标准的自编码器结构

循环神经网络

循环神经网络是处理序列数据相关任务最成功的多层神经网络模型(RNN)。 RNN,其结构示意图如下图所示,它可以看作是神经网络的一种特殊类型,隐藏单元的输入由当前时间步所观察到的数据中获取输入以及它在前一个时间步的状态组合而成。 循环神经网络的输出定义如下:

其中 σ 表示一些非线性函数,wi 和ui 是网络参数,用于控制当前和过去信息的相对重要性。

标准的循环神经网络结构示意图

每个循环单元的输入将由当前时刻的输入 xt 及上一时刻 ht-1 组成,新的输出表示可通过上式计算得到,并传递给循环神经网络中的其他层。

分享到QQ微博分享到新浪微博
精品图片素材推荐
银河智慧|网站地图
2018-2020 Powered by银河网站_银河游戏娱乐-泡泡语录网 版权所有 备案号:吉ICP备09006853号-11