海南做网站找谁,服装网站的设计理念,小白如何制作微信小程序,都是做面食网站继续是机器学习课程的笔记#xff0c;这节课会介绍神经网络的内容。
非线性假设
在之前的课程中#xff0c;我们看到使用非线性的多项式能够帮助我们建立更好的分类模型。假设我们有非常多的特征#xff0c;例如100个变量#xff0c;我们希望用这100个特征来构建一个非线…继续是机器学习课程的笔记这节课会介绍神经网络的内容。
非线性假设
在之前的课程中我们看到使用非线性的多项式能够帮助我们建立更好的分类模型。假设我们有非常多的特征例如100个变量我们希望用这100个特征来构建一个非线性的多项式模型结果将是数量非常惊人的特征组合即便我们只采用两两特征的组合(x1x2x1x3x1x4…x2x3x2x4…x99x100x_1x_2+x_1x_3+x_1x_4+\ldots+x_2x_3+x_2x_4+\ldots+x_99x_100),那么我们也会有近5000个组合而成的特征。这对于一般的逻辑回归来说需要计算的特征太多了。
当我们希望训练一个模型来识别视觉对象比如识别一张图片上是否是一辆汽车一种实现方法是利用许多汽车和非汽车的图片然后利用图片上一个个像素的值(饱和度或亮度)来作为特征。这也是因为在计算机中一张图片其实就一个包含所有像素值的矩阵。
如果我们选择的是灰度图片每个像素则只有一个值而非RGB值我们可以选择图片上两个不同位置的两个像素然后训练一个逻辑回归算法利用这两个像素的值来判断图片上是否是汽车。
但假设我们采用的是50*50像素的小图片并且我们将所有的像素视为特征那么就会有2500个特征而如果我们进一步将两两特征组合构成一个多项式模型则会有约250022\frac{2500^2}{2}即接近三百万个特征。普通的逻辑回归模型不能有效地处理那么多的特征这个时候就需要神经网络。
神经网络介绍
神经网络算法源自于对大脑的模仿。神经网络算法在八十到九十年代被广为使用过但是之后由于其计算量大的原因逐渐减少了使用而最近从2006年开始到后来2012年ImageNet比赛中CNN取得非常大的提升效果现在神经网络变得非常流行准确地说是深度神经网络。原因也是因为神经网络是非常依赖计算能力的而要实现深度神经网络也就是神经网络的层数更多需要的计算量更大但是现在随着计算机硬件的提高还有就是数据量的增加使得神经网络又开始流行起来了。
神经网络算法的目的是发现一个能模型人类大脑学习能力的算法。研究表明如果我们将视觉信号传导给大脑中负责其他感觉的大脑皮层处则这些大脑组织将能学会如何处理视觉信号。
模型表达
为了构建神经网络模型我们会参考大脑中的神经网络。每个神经元可以被认为是一个处理单元/神经核(processing unit/Nucleus),它含有许多输入/树突(input/Dendrite),并且有一个输出/轴突(output/Axon)。神经网络是大量神经元相互链接并通过电脉冲来交流的一个网络如下图所示
神经网络是模型就是建立在很多神经元之上的每个神经元又是一个个学习模型。这些神经元(也叫激活单元activation unit采纳一些特征作为输入并且根据本身的模型提供一个输出。下图是一个以逻辑回归模型作为自身学习模型的神经元示例在神经网络中参数又可被称为权重(weight)。
上图中输入是有4个特征包括人工加入的x01x_0=1,以及x1,x2,x3x_1,x_2,x_3,其输出就是假设hθ(x)11e−θTxh_\theta(x) = \frac{1}{1+e^{-\theta^Tx}},也就是之前逻辑回归中的假设而黑色的直线表示的就是每种特征的权重值。此外x0x_0也被称为偏置单元(bias unit)中间红色的圈表示的就是使用的激活函数这里是使用S形函数也就是g(z)11e−zg(z) =\frac{1}{1+e^{-z}}。
由上图还可以知道其实神经网络模型是许多逻辑单元按照不同层级组织起来的网络每一层的输出变量都是下一层的输入变量。
下图是一个3层的神经网络第一层是输入层最后一层是输出层中间一层是隐藏层。我们为每一层都增加一个偏置单元。
下面引入一些标记来帮助描述模型
a(j)ia_i^{(j)} 代表第jj层的第ii个激活单元θ(j)\theta^{(j)} 代表从第jj层映射到第j+1j+1层时的权重的矩阵例如θ(1)\theta^{(1)}代表从第一层到第二层的权重的矩阵其尺寸为**以第jj层的激活单元数量为行数，第j+1j+1层的激活单元数为列数的矩阵即Sj1∗(Sj1)S_{j+1}*(S_j+1)。所以如上图的神经网站中θ(1)\theta^{(1)}的尺寸是3*4。
对于上图所示的模型激活单元和输出分别表达为
a(2)1g(θ(1)10x0θ(1)11x1θ(1)12x2θ(1)13x3)a(2)2g(θ(1)20x0θ(1)21x1θ(1)22x2θ(1)23x3)a(2)3g(θ(1)30x0θ(1)31x1θ(1)32x2θ(1)33x3)hθ(x)a(3)1g(θ(2)10a(2)0θ(2)11a(2)1θ(2)12a(2)2θ(2)13a(2)3)a_1^{(2)} = g(\theta_{10}^{(1)}x_0+\theta_{11}^{(1)}x_1+\theta_{12}^{(1)}x_2+\theta_{13}^{(1)}x_3) \\
a_2^{(2)} = g(\theta_{20}^{(1)}x_0+\theta_{21}^{(1)}x_1+\theta_{22}^{(1)}x_2+\theta_{23}^{(1)}x_3) \\
a_3^{(2)} = g(\theta_{30}^{(1)}x_0+\theta_{31}^{(1)}x_1+\theta_{32}^{(1)}x_2+\theta_{33}^{(1)}x_3) \\
h_\theta(x) = a_1^{(3)}= g(\theta_{10}^{(2)}a_0^{(2)}+\theta_{11}^{(2)}a_1^{(2)}+\theta_{12}^{(2)}a_2^{(2)}+\theta_{13}^{(2)}a_3^{(2)}) \\正向传播
相对于使用循环来编码利用向量化的方法会使得计算更为简便。以上面的神经网络为例试着计算第二层的值
我们令z(2)θ(1)xz^{(2)} = \theta^{(1)}x,则a(2)g(z(2))a^{(2)} = g(z^{(2)}),计算后添加a(2)01a_0^{(2)}=1,计算输出的值 我们令z(2)θ(1)xz^{(2)} = \theta^{(1)}x,则a(2)g(z(2))a^{(2)} = g(z^{(2)}),计算后添加a(2)01a_0^{(2)}=1,计算输出的值 ![此处输入图片的描述][5]
令z(3)θ(2)a(2)z^{(3)} = \theta^{(2)}a^{(2)},则hθ(x)a(3)g(z(3))h_\theta(x)=a^{(3)} = g(z^{(3)}). 前向传播是一个从输入层到隐藏层再到输出层依次计算激励即激活函数a的过程。 对神经网络的理解
本质上讲神经网络能够通过学习得出其自身的一系列特征。在普通的逻辑回归中我们被限制为使用数据中的原始特征x1,x2,…,xnx_1,x_2,\ldots,x_n,我们虽然可以使用一些二项式项来组合这些特征但是我们仍然受到这些原始特征的限制。而在神经网络中原始特征只是输入层在上面三层的神经网络例子中第三层也就是输出层所做出的预测是利用第二层的特征而非输入层的原始特征我们可以认为第二层中的特征是神经网络通过学习后自己得出的一系列用于预测输出变量的新特征。
神经网络示例二元逻辑运算符
当输入特征是布尔值(0或1)时我们可以用一个单一的激活层作为二元逻辑运算符为了表示不同的运算符我们只需要选择不同的权重即可。
下图的神经元(三个权重分别为-30,20,20)可以被视为作用同于逻辑与(AND):
其表达式是hθ(x)g(−3020x120x2)h_\theta(x)=g(-30+20x_1+20x_2),其可能的输出如下图所示
同理下面的神经元三个权重分别是-10,20,20可以被视为作用等同于逻辑或(OR)
下面的神经元两个权重分别为-10,20可以视作逻辑非(NOT)
上面是一些基本的逻辑运算符我们还可以用神经元来组成更为复杂的神经网络以实现更复杂的运算。例如实现XNOR即异或即只有输入的两个值都相同均为1或0时输出才是1也就是XNOR(x1 AND x2)OR ((NOT x1) AND (NOT x2))XNOR=(x_1\ AND\ x_2)OR\ ((NOT\ x_1)\ AND\ (NOT\ x_2))
其实现如下所示 首先分别列出三个部分的神经元的实现
然后组合起来就得到最终的结果
我们就实现了一个XNOR运算符功能的神经网络。
多类分类
假如我们要训练一个神经网络算法来识别路人、汽车、摩托车和卡车那么在输出层我们应该有4个值例如第一个值为1或0用于预测是否是行人第二个值用来判断是否为汽车。 下面是该神经网络的可能结构示例 那么神经网络算法的输出结果是下列四种可能情形之一
⎡⎣⎢⎢⎢1000⎤⎦⎥⎥⎥,⎡⎣⎢⎢⎢0100⎤⎦⎥⎥⎥,⎡⎣⎢⎢⎢0010⎤⎦⎥⎥⎥,⎡⎣⎢⎢⎢0001⎤⎦⎥⎥⎥,\begin{bmatrix} 1 \\ 0 \\ 0 \\ 0 \end{bmatrix}, \begin{bmatrix} 0 \\ 1 \\ 0 \\ 0 \end{bmatrix}, \begin{bmatrix} 0 \\ 0 \\ 1 \\ 0 \end{bmatrix}, \begin{bmatrix} 0 \\ 0 \\ 0 \\ 1 \end{bmatrix},小结 本节课是介绍了神经网络的基础知识包括产生的背景模型表达以及正向传播的内容。暂时还没有涉及到更深层次的知识。
