做网站的集团,免费网站加速服务,腾讯云服务器租用,国外最受欢迎的网站来源#xff1a;海豚数据科学实验室标准#xff0c;循环#xff0c;卷积和自动编码器网络随着深度学习的飞速发展#xff0c;已经创建了完整的神经网络体系结构主机#xff0c;以解决各种各样的任务和问题。尽管有无数的神经网络架构#xff0c;但对于任何深度学习工程师… 来源海豚数据科学实验室标准循环卷积和自动编码器网络随着深度学习的飞速发展已经创建了完整的神经网络体系结构主机以解决各种各样的任务和问题。尽管有无数的神经网络架构但对于任何深度学习工程师来说这里有11种必不可少的知识它们分为四大类标准网络递归网络卷积网络和自动编码器。标准网络1 | 感知器感知器是所有神经网络中最基础的是更复杂的神经网络的基本构建块。它仅连接输入单元和输出单元。2 | 前馈网络前馈网络是感知器的集合其中存在三种基本类型的层-输入层隐藏层和输出层。在每个连接期间来自上一层的信号乘以权重加到偏置上并通过激活函数。前馈网络使用反向传播来迭代更新参数直到达到理想的性能为止。3 | 残留网络ResNet深度前馈神经网络的一个问题称为消失梯度问题即当网络太长而无法在整个网络中反向传播有用信息时。随着更新参数的信号通过网络传播它逐渐减小直到网络前端的权重完全没有改变或被利用为止。为了解决这个问题残差网络采用了跳过连接可以跨跳跃的层传播信号。通过使用不太容易受到影响的连接可以减少消失的梯度问题。随着时间的流逝网络在学习特征空间时会学习恢复跳过的图层但由于其不易受到梯度消失的影响并且需要探索较少的特征空间因此训练效率更高。循环网络4 | 递归神经网络RNN递归神经网络是一种特殊类型的网络它包含循环并在其自身上递归因此称为递归。RNN允许将信息存储在网络中使用先前训练中的推理来做出有关即将发生的事件的更好更明智的决策。为此它将先前的预测用作上下文信号。由于其性质RNN通常用于处理顺序任务例如逐个字母生成文本或预测时间序列数据例如股票价格。他们还可以处理任何大小的输入。5 | 长期短期记忆网络LSTMRNN存在问题因为实际上上下文信息的范围非常有限。给定输入对隐藏层因此对网络输出的影响反向传播错误要么呈指数级爆发要么随着绕网络连接循环而消失为零。解决这个逐渐消失的梯度问题的方法是使用长短期内存网络或LSTM。这种RNN架构是专门为解决消失的梯度问题而设计的将结构与存储块配合在一起。这些模块可以看作是计算机中的存储芯片-每个模块都包含几个循环连接的存储单元和三个门输入输出和忘记相当于写入读取和重置。网络只能通过每个门与单元交互因此门学会了智能地打开和关闭以防止梯度爆炸或消失而且还可以通过恒定错误轮播传播有用的信息并丢弃无关的存储内容。在标准RNN无法得知输入事件与目标信号之间存在大于五到十个时间步长的时滞的情况下LSTM不会受到影响并且可以通过强制执行有用的恒定错误流来学习将时滞甚至连成1,000个时步。6 | 回声状态网ESN回声状态网络是递归神经网络的一种变体具有非常稀疏的隐藏层通常为百分之一的连接性。神经元的连通性和权重是随机分配的并且忽略层和神经元的差异跳过连接。学习输出神经元的权重以便网络可以产生和再现特定的时间模式。该网络背后的理由来自这样一个事实尽管它是非线性的但训练过程中唯一修改的权重是突触连接因此可以将误差函数区分为线性系统。卷积网络7 | 卷积神经网络CNN图像具有很高的维数因此训练一个标准的前馈网络来识别图像将需要成千上万的输入神经元除了公然高昂的计算费用外还可能引起许多与神经网络的维数诅咒相关的问题 。卷积神经网络CNN通过使用卷积层和池化层来帮助降低图像的维数从而提供了解决方案。由于卷积层是可训练的但是比标准隐藏层具有更少的参数因此它能够突出显示图像的重要部分并将它们向前传递。传统上在CNN中最后几层是隐藏层用于处理压缩图像信息。卷积神经网络在基于图像的任务上表现出色例如将图像分类为狗或猫。8 | 反卷积神经网络DNN顾名思义反卷积神经网络的作用与卷积神经网络相反。DNN不是执行卷积来减小图像的维数而是利用反卷积来创建图像通常是根据噪声来进行的。这是一项固有的艰巨任务。考虑CNN的任务是为奥威尔Orwell1984年的整本书写一个三句摘要而DNN的任务是从三句结构写整个本书。9 | 生成对抗网络GAN生成对抗网络是一种专门设计用于生成图像的特殊类型的网络它由两个网络一个鉴别器和一个生成器组成。区分者的任务是区分是从数据集中提取图像还是由生成器生成图像而生成者的任务是生成足够有说服力的图像以使区分器无法区分其是否真实。随着时间的流逝经过精心的监管这两个对手彼此竞争互相推动成功地改善了彼此。最终结果是训练有素的生成器可以吐出逼真的图像。鉴别器是一个卷积神经网络其目的是最大程度地提高识别真实/伪造图像的准确性而生成器是一个反卷积神经网络其目的是最小化鉴别器的性能。自动编码器10 | 自动编码器AE自动编码器的基本思想是获取原始的高维数据将其压缩为高度信息化的低维数据然后将压缩后的形式投影到新的空间中。自动编码器有许多应用包括降维图像压缩去噪数据特征提取图像生成和推荐系统。它既可以作为无监督方法也可以作为有监督方法可以非常洞悉数据的性质。隐藏的单元可以用卷积层替换以适应处理图像。11 | 可变自动编码器VAE自动编码器学习输入的压缩表示形式例如可以是图像或文本序列方法是压缩输入然后将其解压缩以匹配原始输入而变分自动编码器VAE学习概率分布的参数 代表数据。它不仅仅是学习表示数据的函数还获得了更详细细致的数据视图从分布中采样并生成新的输入数据样本。从这个意义上讲它更像是一种纯粹的生成模型例如GAN。VAE使用概率隐藏单元格该单元格将径向基函数应用于测试用例与单元格均值之间的差异。(本文翻译自Andre Ye的文章《11 Essential Neural Network Architectures, Visualized Explained》参考https://towardsdatascience.com/11-essential-neural-network-architectures-visualized-explained-7fc7da3486d8)未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市大脑研究计划构建互联网城市大脑技术和企业图谱为提升企业行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
