网站后台编辑器,有那个网站做外贸,找公司做网站的好处,工程造价信息网官网入口神经网络概述 以监督学习为例#xff0c;假设我们有训练样本集 #xff0c;那么神经网络算法能够提供一种复杂且非线性的假设模型 #xff0c;它具有参数 #xff0c;可以以此参数来拟合我们的数据。 为了描述神经网络#xff0c;我们先从最简单的神经网络讲起#x… 神经网络概述 以监督学习为例假设我们有训练样本集 那么神经网络算法能够提供一种复杂且非线性的假设模型 它具有参数 可以以此参数来拟合我们的数据。 为了描述神经网络我们先从最简单的神经网络讲起这个神经网络仅由一个“神经元”构成以下即是这个“神经元”的图示 这个“神经元”是一个以 及截距 为输入值的运算单元其输出为 其中函数 被称为“激活函数”。在本教程中我们选用sigmoid函数作为激活函数 可以看出这个单一“神经元”的输入输出映射关系其实就是一个逻辑回归logistic regression。 虽然本系列教程采用sigmoid函数但你也可以选择双曲正切函数tanh 以下分别是sigmoid及tanh的函数图像 函数是sigmoid函数的一种变体它的取值范围为 而不是sigmoid函数的 。 注意与其它地方包括OpenClassroom公开课以及斯坦福大学CS229课程不同的是这里我们不再令 。取而代之我们用单独的参数 来表示截距。 最后要说明的是有一个等式我们以后会经常用到如果选择 也就是sigmoid函数那么它的导数就是 如果选择tanh函数那它的导数就是 你可以根据sigmoid或tanh函数的定义自行推导这个等式。 神经网络模型 所谓神经网络就是将许多个单一“神经元”联结在一起这样一个“神经元”的输出就可以是另一个“神经元”的输入。例如下图就是一个简单的神经网络 我们使用圆圈来表示神经网络的输入标上“”的圆圈被称为偏置节点也就是截距项。神经网络最左边的一层叫做输入层最右的一层叫做输出层本例中输出层只有一个节点。中间所有节点组成的一层叫做隐藏层因为我们不能在训练样本集中观测到它们的值。同时可以看到以上神经网络的例子中有3个输入单元偏置单元不计在内3个隐藏单元及一个输出单元。 我们用 来表示网络的层数本例中 我们将第 层记为 于是 是输入层输出层是 。本例神经网络有参数 其中 下面的式子中用到是第 层第 单元与第 层第 单元之间的联接参数其实就是连接线上的权重注意标号顺序 是第 层第 单元的偏置项。因此在本例中 。注意没有其他单元连向偏置单元(即偏置单元没有输入)因为它们总是输出 。同时我们用 表示第 层的节点数偏置单元不计在内。 我们用 表示第 层第 单元的激活值输出值。当 时 也就是第 个输入值输入值的第 个特征。对于给定参数集合 我们的神经网络就可以按照函数 来计算输出结果。本例神经网络的计算步骤如下 我们用 表示第 层第 单元输入加权和包括偏置单元比如 则 。 这样我们就可以得到一种更简洁的表示法。这里我们将激活函数 扩展为用向量分量的形式来表示即 那么上面的等式可以更简洁地表示为 我们将上面的计算步骤叫作前向传播。回想一下之前我们用 表示输入层的激活值那么给定第 层的激活值 后第 层的激活值 就可以按照下面步骤计算得到 将参数矩阵化使用矩阵向量运算方式我们就可以利用线性代数的优势对神经网络进行快速求解。 目前为止我们讨论了一种神经网络我们也可以构建另一种结构的神经网络这里结构指的是神经元之间的联接模式也就是包含多个隐藏层的神经网络。最常见的一个例子是 层的神经网络第 层是输入层第 层是输出层中间的每个层 与层 紧密相联。这种模式下要计算神经网络的输出结果我们可以按照之前描述的等式按部就班进行前向传播逐一计算第 层的所有激活值然后是第 层的激活值以此类推直到第 层。这是一个前馈神经网络的例子因为这种联接图没有闭环或回路。 神经网络也可以有多个输出单元。比如下面的神经网络有两层隐藏层 及 输出层 有两个输出单元。 要求解这样的神经网络需要样本集 其中 。如果你想预测的输出是多个的那这种神经网络很适用。比如在医疗诊断应用中患者的体征指标就可以作为向量的输入值而不同的输出值 可以表示不同的疾病存在与否。 中英文对照 neural networks 神经网络 activation function 激活函数 hyperbolic tangent 双曲正切函数 bias units 偏置项 activation 激活值 forward propagation 前向传播 feedforward neural network 前馈神经网络(参照Mitchell的《机器学习》的翻译)
