手机网站表单页面制作,小游戏网站审核怎么做,wordpress上传完主题,中国兰州网pc主站作者#xff1a;Peter红色石头的个人网站#xff1a;红色石头的个人博客-机器学习、深度学习之路www.redstonewill.com今天带来第二周课程的笔记#xff1a;梯度下降与正规方程。主要内容#xff1a;多维特征多变量梯度下降梯度下降法实践正规方程多维特征Multiple Featu…作者Peter红色石头的个人网站红色石头的个人博客-机器学习、深度学习之路www.redstonewill.com今天带来第二周课程的笔记梯度下降与正规方程。主要内容多维特征多变量梯度下降梯度下降法实践正规方程多维特征Multiple Features还是利用房价模型的例子增加了更多的特征比如房间楼层、房间数量、地理位置等构成了一个含有多个变量的模型n代表的是特征的数量x(i)代表第i个训练实例是特征矩阵中的第i行是一个向量vectorxij表示的是第i个训练实例的第j个特征i表示行j表示列支持多变量的假设h表示为为了简化公式引入公式转化为特征矩阵X 的维度是m∗(n1)公式简化为多变量梯度下降算法目标与单变量线性回归类似在多变量线性回归中构建一个代价函数则这个代价函数是所有建模误差的平方和即其中算法过程Python代码给定特征矩阵X输出y学习率θ求代价函数Jimport 梯度下降法实践特征缩放面对多维度特征问题我们需要保证这些特征具有相近的尺度帮助梯度下降算法更快地收敛。以房价问题为例假设仅用两个特征房屋的尺寸和数量以两个参数分别为横纵坐标假设尺寸在0-2000平方英尺数量在0-5之间。绘制代价函数的等高线图能看出图像会显得很扁梯度下降算法需要非常多次的迭代才能收敛。解决办法将所有的特征的尺度尽量缩放到-1到1之间令其中un为平均值sn为标准差均值归一化学习率问题梯度下降算法的每次迭代受到学习率的影响如果学习率过小则达到收敛所需的迭代次数会非常高收敛速度非常慢如果学习率过大每次迭代可能不会减小代价函数可能会越过局部最小值导致无法收敛常用学习率包含α0.01,0.03,0.1,0.31,3,10α0.01,0.03,0.1,0.31,3,10特征和多项式回归如房价预测问题同时房屋面积宽度 * 深度在实际拟合数据的时候可能会选择二次或者三次方模型如果采用多项式回归模型在运行梯度下降法之前特征缩放很有必要。正规方程 Normal Equation梯度下降缺点需要多次迭代才能达到局部最优解正规方程demo正规方程具有不可逆性正规方程就是通过求解下面例子中的方程找出使得代价函数最小参数θ不可逆矩阵不能使用正规方程求解Normal Equation VS Gradient Descent梯度下降和正规方程的比较参数θ求解过程正规方程的Python实现import 至此第一周的课程笔记完毕系列文章吴恩达《Machine Learning》精炼笔记 1监督学习与非监督学习本文首发于公众号AI有道ID: redstonewill欢迎关注
