高端网站建设套餐,做网站销售东西 需要什么资质,ui设计可以从事什么工作,网页设计好看的模板摘要#xff1a; 深度学习朝着可解释的方向发展#xff0c;理解背后的基本原理显得更加重要。本文是一份帮助读者更好地理解深度学习基本过程的清单#xff0c;便于初学者和部分起步者针对性地补充自己的知识体系。 人工智能和深度学习太火了#xff0c;火得一塌糊涂#…摘要 深度学习朝着可解释的方向发展理解背后的基本原理显得更加重要。本文是一份帮助读者更好地理解深度学习基本过程的清单便于初学者和部分起步者针对性地补充自己的知识体系。 人工智能和深度学习太火了火得一塌糊涂有很多人想从事这个行业。网络上也有很多教程可供大家开始深度学习。如果你完全是一个小白那么你可以在入行时选择使用极好的斯坦福课程CS221或[CS224]()Fast AI课程或深度学习AI课程。除了深度学习AI之外的课程其它的课程都可以在家中舒适地免费学习。此外你只需要一台好的计算机最好使用Nvidia GPU就可以正式地迈出深度学习的第一步。 然而本文内容并没有解决绝对的初学者问题一旦你对深度学习算法的工作方式有了一些感觉你可能会想要进一步地了解整个过程是如何运作的。虽然深度学习中的大多数工作是添加像卷积层Conv2d这样的层、在ADAM等不同类型的优化策略中更改超参数或者通过编写一行命令来改变使用Batchnorm。深度学习方法一直被人称为是一个“黑匣子”很多人可能会想知道背后发生的事情。本文是一个资源列表可能会帮助你了解背后的过程比方说放置卷积层或在Theano中调用T.grad时发生的过程。
论文|General Treatise 深度学习花书Deep Learning Book是最知名的资源一直占据各大电商相关书籍排行榜的第一位。其他很好的资源是Charniak教授的课程和论文主要是关于深度学习技术的介绍。如果还想从特定的角度理解事物还有其他的一些资源可能需要学习。例如本教程是从应用数学家的角度编写的如果你只是想在没有任何理论基础的情况下开始编程实践那么请阅读这个资源。另外推荐的一个资源是关于PyTorch的深度学习课程该课程将自下而上地对内容进行讨论帮助你开阔视角。
关于反向传播的问题|Backpropogation 在很多时候进入深度学习领域前需要掌握的第一个算法就是反向传播Backpropogation算法这是因为神经网络中的参数更新方法过程大多数是反向传播算法。当你不知道“梯度下降和反向传播有什么关联”或“链式法则和反向传播究竟是什么”时为了理解基础知识我们可以选择去阅读Rumelhart、Hinton和Williams的原始论文这篇论文是一篇非常简单易懂的文章。 其他一些非常有用的资源可以在此阅读完原始论文的基础上进一步阅读Karpathy关于反向推导的博客和解释反向推导的视频。
线性代数和其他数学|Linear Algebra other Maths 任何有志于学习线性代数的人都会人转向学习Strang教授的课程这个课程可能是市面上学习线性代数的最佳资源。类似于Boyd教授的优化课程或矢量微积分的微积分书可以在网络上找到pdf电子版。 然而人们并不需要完全地学会这些资源深度学习所需要的数学知识深度没有那么的深。一个非常好的快速入门方法就是快速地复习一遍所有必备的微积分深度学习课程。还有一套非常好的讲义该讲义只关注深度学习中使用的凸优化理论。另外一个很好的资源是Sebastian Reuder的论文。
自动微分和深度学习框架|Automatic Differentiation Deep Learning Libraries 进行深度学习时自动微分法Automatic Differentiation并不是你必须知道的知识。对于大大多数框架而言比如Torch、Theano或tensorflow都会自动地为你完成这个算法。在大多数情况下你甚至不必知道如何进行微分也就是说如果你决定进一步深入了解深度学习框架的工作原理那么你可能需要了解自动微分法是如何工作的。了解深度学框架库功能其它的好资源可以在这个博客和视频中找到。
卷积神经网络|Convolutional Neural Networks 当你完成一些使逆能够使用基本神经网络的课程后你可能需要的最有用的知识是了解卷积处理图像的过程。 “在输入上应用某种类型的卷积后输出形状是什么”、“步幅stride如何影响卷积”“什么是批量标准化Batch Normalization”等类似的内容。我在遇到这些类型的应用问题时找到的两个最好的资源是该教程和Ian Goodfellow的讨论。如果你有其它的想法可以在这里对卷积网络进行更全面的评论。这篇关于对象检测的综述性文章是关于卷积神经网络这一主题非常好的资源。
深度学习中的自然语言处理|NLP 之前指出斯坦福大学C224课程是学习NLP的一个非常好的起点在学习完该课程之后应该能够对所有的事情处理得很好。此外还有Graham Neubig使用dynet工具包在youtube上的课程以及Yoav Goldberg的NLP书还有一份关于NLP进展的综述性文章在此。关于是否在文本上使用CNN或RNNLSTM / GRU还有一个公开讨论的问题这里有一个很好的概述。
强化学习|Reinforcement Learning sutton和Barto1998可以说是强化学习领域的一本圣经这本书是免费的可以在这里获取。这个资源提供了一份对最近的深度强化学习方法非常好的回顾这个资源有关于强化学习的非常有趣的教程。 蒙特卡洛树搜索Monte Carlo Tree Search这是Deepmind除了深度强化学习技术之外的AlphaGo算法的一部分的详细介绍在此但我使用一个快速教程来理解它。
其他一些好的综述/教程|reviews tutorials 关于GAN生成性对抗网络和生成模型的一个很好的教程是Goodfellow在ICLR 2016中给出可以在这里找到。神经网络已被用于迁移艺术例如在Prisma应用程序中可以在此处找到有关方法的详细介绍。 Reuder对多任务学习由同一神经网络组合多个任务的另外一个很好的调查研究可以在此查看。
评论|Criticisms 尽管深度学习在多个任务上的表现十分出色但我们自己心里清楚还有一些地方尚未明确或效果不好。一些好的评论是Shalev-Shwartz等人关于基于梯度学习算法的失败还有在Hinton大牛的演讲中列举出的一些关于卷积神经网络的问题以及卷积神经网络如何解读它们所训练的图像的负面影响。此处的一个评论在几天之后就变成了病毒性/争议性的话题还有关于恶意使用深度学习的广泛报道。
对抗性样本|Adversarial Examples 对抗样本是一个制造人工/真实数据点的巨大领域制作出的样本可以欺骗卷积神经网络。我本可以把这部分放在评论部分但由于以下原因没有进行这样的处理
它们不是所有应用程序的技术挑战我对其的了解并不是很好。一个非常酷的生成“对抗对象”来欺骗神经网络案例在此感兴趣的读者可以研究下。 你还可以阅读有关你应该了解的机器学习算法以便成为数据科学家。
数十款阿里云产品限时折扣中赶紧点击领劵开始云上实践吧
原文链接
本文为云栖社区原创内容未经允许不得转载。
