黑色装修网站源码dede,wordpress主题 demo,玉林市建设局网站,小程序制作填写信息初始 “我们需要走得更深”这句台词出自电影《盗梦空间》。这是在讨论深入梦境更深层次时说的#xff0c;暗示需要探索梦境的更深层次。虽然这似乎是不可能的#xff0c;但它传达的理念是#xff0c;要创造一个新的世界#xff0c;就必须冒险进入更深的层次。
电影《盗梦空…初始 “我们需要走得更深”这句台词出自电影《盗梦空间》。这是在讨论深入梦境更深层次时说的暗示需要探索梦境的更深层次。虽然这似乎是不可能的但它传达的理念是要创造一个新的世界就必须冒险进入更深的层次。
电影《盗梦空间》为深度学习提供了一个生动的比喻。
角色“菲舍尔”代表网络的输入数据。我们用原始输入数据训练网络以实现预期结果摧毁他父亲的帝国。能让他们留在梦中的催梦药与激活函数相似事实上没有激活函数深度网络就无法实现。
柯布的妻子“Mal”是电影中的主要挑战之一扰乱了运营我们可以将“Mal”视为消失的不稳定梯度或损失函数。我们努力计算并最小化网络中的损失函数。深度网络中消失的不稳定梯度使权重W的导数更接近零阻碍权重更新造成中断甚至停止网络。
“彼得叔叔”可以被认为是网络的偏见因为它的缺失可能会导致一些神经元保持不活跃状态想象一下根据神经元活动找到安全且令人信服的菲舍尔执行的组合。
“Cobb” 和他的团队代表网络架构因为他们的方法决定了任务的进度和执行。
梦境层类似于网络层我们越深入层数就越多。本质上我们钻研得越深遇到的问题就越多但我们也可以从中得出必要的结果。
整部电影可以看作是前馈阶段在此阶段确定权重、偏差和输出然后是梦境阶段类似于反向传播在此阶段更新权重和偏差从而导致在菲舍尔的脑海中植入摧毁父亲帝国的想法的预期结果。 在本文中我们旨在更深入地探究神经网络的深度并更好地理解其功能。和我一起开始吧。
本文分为三部分
第一部分人工智能的历史以及简单神经网络的工作原理。
第二部分深度神经网络中的学习机制学习类型、激活函数和反向传播。
第三部分深度神经网络的主要架构RNN/LSTM/CNN。
在这三部分中我们将讨论以下主题什么是人工神经网络它们如何工作什么是深度学习深度网络中如何进行学习以及学习方法的类型有哪些。深度网络的主要架构是什么人工神经网络的功能是否与人类神经网络相似还是仅仅受到它们的启发神经网络有哪些应用以及它们的缺点是什么
概述
现在你正在阅读这篇文章信息正通过你的眼睛使用复杂的神经网络和神经元被发送到你的大脑。大脑的不同部分包括海马体、额叶、顶叶、颞叶等正在并行、分层顺序地处理信息。当然大脑中发生的信息处理过程要复杂得多。
神经网络的历史
神经元
神经元是神经系统的主要细胞它们相互之间以及与身体其他部位之间传递信息。可以说人类的神经系统中有大约1000 亿个神经元事实上信息交换和身体连贯性都依赖于神经元。19 世纪初人们对神经元及其功能进行了广泛的研究。目标是探索机器学习的潜力。
开始
1943 年神经生理学家Warren McCulloch和年轻数学家Walter Pitts开发出第一个神经网络模型这是人工神经网络的第一步。他们发表了一篇题为《神经活动中内在思想的逻辑演算》的论文提出了一个假设即神经活动可以看作是一个逻辑过程能够执行 AND、OR 和 NOT 等逻辑运算的电路。本质上他们的模型的结果是简单的逻辑函数具有神经活动的“全有或全无”特征。
感知器 1957 年美国心理学家Frank Rosenblatt在康奈尔航空实验室制造了第一台可操作的感知机 Mark I。1958 年他发表了一篇论文题为“感知机大脑中信息存储和组织的概率模型”。Rosenblatt 的感知机是一个二元单神经元模型被认为是第一代神经网络。它的主要局限性是无法解决非线性可分离问题。
艾达琳ADALINE
ADALINE自适应线性神经元或后来的自适应线性元素是继感知器之后开发的下一个模型。它由斯坦福大学的Bernard Widrow教授和他的博士生Ted Hoff于 1960 年创建。ADALINE 采用具有线性激活函数使用最小均方学习规则的感知器。它是一个具有多个节点的单层神经网络每个节点接受多个输入并产生一个输出。ADALINE 与标准 McCulloch-Pitts 感知器之间的主要区别在于学习过程ADALINE 可以学习线性函数而标准感知器只能学习非线性函数。
冬天来了… 由 DALEE-3 生成
第一个人工智能寒冬是人工智能研究投资和兴趣减少的时期从 20 世纪 60 年代末持续到 80 年代中期。1969 年明斯基和帕普特撰写了一本名为《感知器计算几何学导论》的书作为诋毁人工智能研究运动的一部分。他们概括了一些基本问题例如单层感知器的局限性。尽管作者们很清楚强大的感知器有多层而罗森布拉特最初的感知器有三层但他们将感知器定义为只能处理线性可分问题的两层机器例如无法解决异或问题。
1973 年一份评估人工智能学术研究的《莱特希尔报告》发布。在此之前人工智能研究一直饱受批评认为人工智能研究从根本上未能实现其崇高目标。这份报告导致英国停止了对人工智能的资金支持标志着第一次人工智能寒冬的开始。
1956 年至 1974 年间国防高级研究计划局 (DARPA) 继续资助一些项目例如逐字机器翻译俄语到英语以及使用由感知器组成的神经网络教计算机下跳棋该神经网络模仿了人类大脑神经元的原始重复。这些项目引起了大量人工智能炒作和广告。然而随着人们对人工智能的关注度逐渐下降可用预算也随之减少。
当时只有少数研究人员继续研究模式识别等问题。然而这一时期的努力仍在继续。1972 年克洛普夫 (Klopf) 根据生物学原理为人工神经元的学习奠定了基础。保罗·韦伯斯 ( Paul Werbos)于 1974 年开发了反向传播学习方法尽管直到 1986 年人们才完全理解其重要性。福岛邦彦 (Kunihiko Fukushima)开发了一种逐步训练的多层神经网络用于解释手写字符。他于 1975 年发表了论文“ Cognitron一种自组织的多层神经网络”。
重生……
20 世纪 80 年代发生的几件大事重新激发了人们对人工智能的兴趣。科霍宁在人工神经网络领域做出了重大贡献。他引入了一种人工神经网络有时被称为科霍宁映射或科霍宁网络。
1982 年约翰·霍普菲尔德发表了一篇题为“具有新兴集体计算能力的神经网络和物理系统”的论文。霍普菲尔德描述了一种充当内容可寻址存储系统的循环人工神经网络。他的工作说服了数百名高技能的科学家、数学家和技术人员加入新兴的神经网络领域。
1985 年美国物理学会发起了一个研讨会后来演变成年度会议——计算神经网络。1987 年现代史上第一个关于神经网络的公开会议举行。IEEE 的国际神经网络联合会议在圣地亚哥举行国际神经网络学会 (INNS) 成立。1988 年INNS 神经网络杂志成立随后 1989 年出版了神经计算杂志1990 年出版了 IEEE 神经网络学报。
经过一段时间的复苏后又出现了另一次衰退。这最终导致了从 20 世纪 80 年代末到 90 年代中期的又一次人工智能寒冬。很难准确指出这些人工智能寒冬的开始和结束时间但很明显研究和努力带来了新的信心开启了人机交互的新时代。其中一个促成因素是专家系统但专家系统是什么它们在今天仍然有用吗请继续关注……
第一个专家系统
第一个专家系统出现于 20 世纪 70 年代并在 20 世纪 80 年代变得更加流行。但专家系统到底是什么专家系统是模拟人类专家决策能力的计算机系统。它们使用知识库和一组规则来做出决策或解决特定领域的问题。主要挑战是创造能够像人类一样思考并做出重要决策的机器。这导致人们将重点转向让机器学习和做出决策。
专家系统面临的主要挑战之一是训练它们所需的数据的收集、准备和成本。它们的知识库需要大量数据而这些数据不像今天这样容易获得。此外这些系统没有为需要创造力和创新的问题提供解决方案。那么解决方案是什么呢
宗师败了
“大师输了”1997年震惊世界的新闻是国际象棋世界冠军不是被另一位大师打败而是被一台机器打败。深蓝一个专家级的国际象棋系统最初由卡内基梅隆大学开发后来被IBM收购。1996年卡斯帕罗夫成功击败了它但在1997年深蓝进行了升级以2胜3平的成绩击败了卡斯帕罗夫。可以说深蓝标志着人工智能的一个转折点再次重塑了人们对机器学习和人工智能的看法。这一事件也彻底改变了游戏行业。
AlphaGo 是 DeepMind 开发的一款围棋计算机程序。2016 年它击败了职业围棋选手李世石并拍摄了一部名为“ AlphaGo — The Movie | 完整获奖纪录片”的纪录片。围棋游戏的一个显著特点是其可能性数量庞大远远超过国际象棋。虽然国际象棋有大约 10¹²⁰ 种可能性但据估计围棋游戏中大约有 10⁷⁶¹ 种可能状态。
在本节中我们将介绍各种类型的神经网络并讨论它们的一些不同应用。敬请关注
人工神经网络ANN Medium 上一篇文章中图片的来源。
可以说人工神经网络 (ANN) 或模拟神经网络 (SNN) 具有由输入数据、权重、偏差或阈值以及输出组成的一般结构。它们包括节点和层包括输入层、一个或多个隐藏层以及输出层这些层是相互通信并从训练数据中学习的互连层。它们形成一个网络它们执行的计算最终表示输出中权重 (w) 最高的概率。下面是对人工神经网络组件的一般检查其中可能包含更多组件但最重要的是
输入
它由一组输入到网络中的数据即特征组成。根据问题的类型这些数据可以是结构化数据或非结构化数据。ANN 中的输入层是神经网络中唯一将所有接收到的信息不经任何处理就传输到下一层的层。
隐藏层 是的深度神经网络中的隐藏层就像黑匣子。这意味着我们可能无法轻松解释或详细解释每个神经元或隐藏层的精确功能。事实上深度学习和传统机器学习模型之间最重要的区别在于特征选择。在深度学习中机器决定学习哪些特征并做出决策。我们几乎不知道机器如何选择这些特征以及为什么选择这些特征。这些是进行大多数计算的中间层从数据中提取特征。
重量W
它们是基本参数对人工网络的学习和预测能力起着至关重要的作用。权重是可变的在网络的训练过程中可能会发生变化。权重是与神经元或节点之间的连接相关的数值表示一个神经元对另一个神经元的影响的强度和方向正或负可以有正值或负值。负权重可以防止过度拟合因为它们有助于网络减少不必要的信息并提取更一般的模式。
偏见
在神经网络中偏差是分配给每个神经元并在训练过程中更新的可学习参数。实际上它通过向输入添加一个常数即给定的偏差来改变激活函数。它在训练期间更新。神经网络中的偏差可以被认为类似于线性函数y wx b中的常数其中 b 是添加的偏差值有效地用常数值移动线。
除了防止归零之外偏差还可以防止过度拟合。当神经网络与其训练数据过于兼容时就会发生过度拟合并允许神经网络从其训练数据中学习而不仅仅是随机细节。
输出层
输出层是决定网络最终结果的地方因此它是最重要的层。它使用从隐藏层获得的结果执行此任务。一般来说无论激活函数是否递归成本函数它们都在输出层中并且根据网络类型和我们期望从中得到的任务输出层是非常决定性的。在具有反向传播的架构中反向传播过程从输出层向输入层执行。
