四方区企业型网站建设,光明新区网站建设,百度网站关键字,购物网站建设方案书论文#xff1a;doi:10.1038/nature14539
论文意义和主要内容
三巨头从机器学习谈起#xff0c;指出传统机器学习的不足#xff0c;总览深度学习理论、模型#xff0c;给出了深度学习的发展历史#xff0c;以及DL中最重要的算法和理论。 概念#xff1a; 原理#xff…论文doi:10.1038/nature14539
论文意义和主要内容
三巨头从机器学习谈起指出传统机器学习的不足总览深度学习理论、模型给出了深度学习的发展历史以及DL中最重要的算法和理论。 概念 原理DL的整个过程参数相当多调整内部参数的方法就是backpropagation算法。 应用CNN主要在图像视频语言和音频处理方面带来突破RNN对文本和语音等时序数据带来突破。
论文结构 1引言
Deep-learning methods are representation-learning methods with multiple levels of representation,obtained by composing simple but non-linear modules that each transform the representation at one level (starting with the raw input) into a representation at a higher, slightly more abstract level. With the composition of enough such transformations, very complex functions can be learned. 深度学习方法是多级学习方法由多个简单非线性模块可以用层表示组合而成每一层就是一个级别原始数据通过深度学习可以进行特征的变化和提取只要这些模块足够多即使是非常复杂的模型也可以用深度学习方法进行表示。 理解深度学习是机器学习的一种它也可以使用三板斧详见李宏毅学习笔记就是要在定义的function set里面这里的function set会比较复杂找到一个最好的function机器学习的过程用于模型的表示或预测最后的应用 这里还提到一个很重要的概念representation learning/表示学习 DL的应用领域
It has turned out to be very good at discovering intricate structures in high-dimensional data and is therefore applicable to many domains of science, business and government. 计算机视觉CV 无人驾驶车辆识别、路径规划 图片识别图片表示、语义分割 自然语言处理NLP 智能搜索、人机对话、文本摘要、机器翻译 其他医学图像分析、制药、人脸识别、游戏、安全、异常检测等 2监督学习Supervised learning
We compute an objective function that measures the error (or distance) between the output scores and the desired pattern of scores. The machine then modifies its internal adjustable parameters to reduce this error. These adjustable parameters, often called weights, are real numbers that can be seen as ‘knobs’ that define the input–output function of the machine. In a typical deep-learning system, there may be hundreds of millions of these adjustable weights, and hundreds of millions of labelled examples with which to train the machine. 这里面的用词和ng的课里用的loss function以及cost不太一样不过李飞飞的cs231n里面用的是score的说法。 我们通过计算目标函数该函数用来衡量输出score和真实score的差异其实是距离。计算机通过BP调整模型的参数通常叫权重使得这个差异最小化。进行这样的调整需要大量的带标签数据。调节过程就像调节旋钮。 With multiple non-linear layers, say a depth of 5 to 20, a system can implement extremely intricate functionsof its inputs that are simultaneously sensitive to minute details — distinguishing Samoyeds from white wolves — and insensitive to large irrelevant variations such as the background, pose, lighting and surrounding objects. 里面还以和狼很像的薩摩耶犬英语Samoyed为例说明了传统的机器学习算法不能很好的进行分类如果需要人为干预要加入很多的domain knowledge就失去了机器学习的意义而深度学习就很好的解决了这个问题使用5-20个隐藏层就能很好的分辨两个物种而且在分辨物种的同时可以忽略背景、姿势等因素也就是说深度学习能很好的提取出两个物种的特征并进行分类。 这节里面给出了图1包含了4个小内容 1、两个输入一个隐藏层一个输出层的神经网络示例 2、链式法则 3、前向传播是一个计算的过程 4、反向传播是一个误差传递的过程 这节还提到了SGD随机梯度下降算法 3反向传播算法BP
一开始先说了BP算法的目的是用于替代原来在模式识别中的手工特征提取给出了BP算法提出发展的历史介绍。 指出了目前最常用的组成神经网络的神经元的非线性函数是ReLU以前是sigmoid或者tanh(z)提到了ReLU的优点。 关于局部最小值的知识在李宏毅的笔记中有写过就是在复杂模型中不常见。 提到了Canadian Institute for Advanced Research (CIFAR).数据集写CS231n的作业1就是这个数据集。 提到了pre-training方法并举例其在语音识别上的应用。
4卷积神经网络CNN
这节直接看李宏毅的学习笔记CNN 从三个方面讲解了CNN比全连接网络需要的参数要少并且用固定参数求输入的方式尝试去理解CNN的各个Filter提取的特征是什么样子的。
5基于深度卷积神经网络的图片理解Image Understanding
图三看图说话CNNRNN 这个工作在CS231n的2017年的课程里面还有提到说的是还在做不知道现在做的怎么样了不过听讲解神经网络就是玩积木如果图片识别或分类的CNN和语义生成RNN都训练好了可以接起来用就ok。 里面还提到了2012年的ImageNet大赛也是CNN获得冠军的一次比赛在231n里面的导论有讲。用到的新技术包括GPU并行、ReLU、抓爆。 提到了硬件的发展大大缩短了CNN复杂模型的训练时间各大公司都采用了基于CNN视觉系统。一些硬件厂商还开发了专门基于CNN优化的硬件芯片。
6分布表示和语言处理Language processing 基于NN的词向量、词嵌入word embedding历史上还出现过基于矩阵的分布表示和基于聚类的分布表示。 首先明确了对于没有使用分布式表示的处理方法而言分布式表示语言处理有两个优势 1、可以在训练过程中产生组合特征 2、Vector representations of words learned from text are now very widely used in natural language applications.
One-hot Representation NLP 中还有一种表示方法称为 One-hot Representation这种表示方法把每个词表示为一个很长的向量。向量的维度是词表大小其中绝大多数元素为 0只有一个维度的值为 1这个值就代表了当前的词。例如 “豆浆”[0,1,0,0,0,0,0,…] “油条”[0,0,1,0,0,0,0,…] 采用稀疏方式存储非常的简单相当于给每个词分配一个 ID。上例中豆浆记为 1油条记为 2从 0 开始算。 这种方式的缺点非常明显 1、向量的维度会随着句子的词的数量增大而增大10万个词就10维 2、任意两个词之间都是孤立的只记录词的位置无法表示出在语义层面上词语词之间的相关信息。 理解embedding
可以进行词的向量空间的映射可以表示词的上下文含义。 可以通过一些组合方式对 n 个词进行组合参数个数仅以线性速度增长。 论文中的图4给出了词和句子embedding的例子 Word2Vec算法
这个算法虽然不了解但是网上的资料应该很多NLP还没入坑先留空贴个总结帖 https://zhuanlan.zhihu.com/p/26306795
7循环神经网络RNN
RNN也是NN其特点如下 主要用于时间序列预测可以理解为带有存储功能的神经网络每次都会存储之前隐藏层的输出中间结果。 LSTM
Long Short-term Memory是一种特殊的RNN主要用于解决长序列数据在训练过程中梯度爆炸和梯度消失的问题比RNN有更好的表现能处理更长的序列嫩存储更多的中间结果。
8深度学习的未来
15年的文章里面写的未来基本就是现在。 非监督学习是深度学习的方向 强化学习 GAN 2019最新发布杨立坤提出的自监督学习
