网站开发工程师报名地点,怎样创建自己公司网站,做业务查牙医诊所一般用什么网站,下载的网站模板怎么改【Python】使用numpy进行神经网络激活函数算法描述 系统#xff1a;macOS 10.14.5 IDE#xff1a;PyCharm 2018.2.4 一、What 1.1 NumPy NumPy(Numerical Python) 是 Python 语言的一个扩展程序库#xff0c;支持大量的维度数组与矩阵运算#xff0c;此外也针对数组运算提供… 【Python】使用numpy进行神经网络激活函数算法描述 系统macOS 10.14.5 IDEPyCharm 2018.2.4 一、What 1.1 NumPy NumPy(Numerical Python) 是 Python 语言的一个扩展程序库支持大量的维度数组与矩阵运算此外也针对数组运算提供大量的数学函数库。 NumPy 的前身 Numeric 最早是由 Jim Hugunin 与其它协作者共同开发2005 年Travis Oliphant 在 Numeric 中结合了另一个同性质的程序库 Numarray 的特色并加入了其它扩展而开发了 NumPy。NumPy 为开放源代码并且由许多协作者共同维护开发。 NumPy 是一个运行速度非常快的数学库主要用于数组计算包含 一个强大的N维数组对象 ndarray广播功能函数整合 C/C/Fortran 代码的工具线性代数、傅里叶变换、随机数生成等功能 1.2 激活函数 神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值并将输入值传递给下一层输入层神经元节点会将输入属性值直接传递给下一层隐层或输出层。在多层神经网络中上层节点的输出和下层节点的输入之间具有一个函数关系这个函数称为激活函数又称激励函数。 二、Why 最近接触了一些AI的知识点感觉Python在这方面还是很有优势的特别是库的应用很多精彩的算法公式都可以通过Python简洁的表达出来主要是numpy提供了大量数学工具在激活函数中描述相关的表达式非常方便。 三、How 3.1 准备工作 3.1.1 安装numpy和matplotlib 1、打开偏好设置 2、选择工程文件选择Project Interpreter点击号 3、搜索numpy点击Install Package 4、稍等片刻IDE底部会有状态条提示安装成功后出现如下提示 5、用同样的方式安装matplotlib 6、然后回到代码中检查是否能import import numpy as npimport matplotlib.pyplot as plt 没有标红即正常as表示给这个库命名把上面的两个库命名为np和plt是目前通用做法matplotlib.pyplot主要是用来画图后面我们会用它来绘制函数的曲线。 3.2 基础数组与画图操作 3.2.1 生成数组 首先我们用numpy生成一个数组使用arange函数直接生成一维数组传入一个整数说明数组的长度 import numpy as np
import matplotlib.pyplot as plta1 np.arange(9)
print(a1) 3.2.2 绘制曲线 我们把这个数组画出来使用matplotlib.pyplot的plot函数和show函数实现 plot函数用于绘制曲线当只传入一组数组时x轴默认为0,1,2……y轴为传入的值。 import numpy as np
import matplotlib.pyplot as plta1 np.arange(9)
print(a1)plt.plot(a1)
plt.show() 这样不够直观我们在plot中增加一个参数 plt.plot(a1,’k-o’)中的k-o是设置所绘制图形的颜色、线条类型、图形类型其中k表示黑色-表示实线o表示圆点 这样子9个点都显示出来了。其他线条类型请参考 https://blog.csdn.net/qiurisiyu2016/article/details/80187177 3.3 Sigmoid公式 上面的公式的作用是将任意实数转换为0~1之间的数方便后续处理让我们看看它是如何实现的。 3.3.1 fz-z 我们来一步一步解析为了使数组更有代表性我们给arange()函数传入两个参数 代表取数的范围从[-5,6)然后在plot()函数中加一个参数让横坐标使用我们指定的数组 可以看到绘制的曲线为一条斜率为-1的直线。 3.3.2 fznp.exp(-z) np.exp(z)是以e为底以输入参数z为指数的指数函数数学表达式为fze^z 可以看到绘制的曲线为一条递减的曲线区间为(0,∞)其中可以看到经典值e^01,e^12.718……(自然常数)由于小数点后位数较多自动转换成了科学计数法e表示10^第一个数1.4841e02即1.4841*10^2≈148可以看到图中的 第一个点就在150附近。 3.3.3 fz1np.exp(-z) 这一步非常重要如果不进行这一步操作后续在取倒数时会发现值的区间超出1比如当np.exp(-z)0.1时1/np.exp(-z)10这样整个函数的区间还是(0,∞)对数据范围限制作用就没有了。 3.3.4 fz1/(1np.exp(-z)) 这个就是神经网络中的激活函数Sigmoid公式的具体实现我们看一下它的曲线 这个可以说是非常经典的曲线了可以看到它是区间(0,1)的递增曲线并且增长趋势是先加速后减速类似在动画制作中的小车运动曲线。 但是在实际使用过程中它依然会存在一些问题比如在深度神经网络中梯度反向传递时导致梯度爆炸和梯度消失、收敛缓慢、幂运算求解耗时等等具体缺点说明可以参考 https://blog.csdn.net/tyhj_sf/article/details/79932893 中的详细介绍。 3.4 tanh函数 这个函数的取值区间为(-1,1) 它的输出是0均值原点左边原点右边0 一定程度上可以解决收敛缓慢的问题。 tanh(z)(np.exp(z)-np.exp(-z))/(np.exp(z)np.exp(-z)) 我们还是来慢慢解析它。 3.4.1 fznp.exp(z)-np.exp(-z) 这个结构看起来复杂我们拆成两部分 np.exp(z) 即e^z次方看看指数爆炸一般的增长 然后是np.exp(-z)这个图像我们之前有显示过了就是曲线图形跟上面对称递减的函数 那么两个函数相减的图像是什么呢 可以看到这个图像跟sigmoid图像的曲线趋势可以说完全相反它先加速上升然后中间缓慢后面又加速上升有点像我们学习新东西的过程一开始大量吸收知识点快速上升到了瓶颈期进展缓慢过了以后又快速发展。 3.4.2 fznp.exp(z)np.exp(-z) 两个函数相加可以猜到的是他们会形成一个抛物线开口朝下 3.4.3 fz(np.exp(z)-np.exp(-z))/(np.exp(z)np.exp(-z)) tanh函数之前介绍过它是一个区间(-1,1)的函数由一个递增函数与一个抛物线函数之商所得它的特点如前所述取值区间为(-1,1) 输出是0均值原点左边原点右边0。 3.5 Relu函数 目前比较流行的一种函数ReLU虽然简单但却是近几年的重要成果有以下几大优点 1 解决了gradient vanishing问题 (在正区间) 2计算速度非常快只需要判断输入是否大于0 3收敛速度远快于sigmoid和tanh 公式如下 Relumax(0,x) 它是分区间的函数当z取值大于0时取z值本身小于等于0时取0函数实现及图像如下 import numpy as np
import matplotlib.pyplot as pltz np.arange(-5, 6)print(z)
fz np.arange(11)
for i in range(11):if z[i] 0:fz[i] z[i]else:fz[i] 0print(fz)plt.plot(z, fz, k-o)plt.show()
