网站策划知识,翻页大图网站,php网站开发设计模式,微信公众平台开发者工具一、在有监督学习中主要包括两大类问题
分类问题#xff1a;你去银行贷款借钱#xff0c;人家银行会不会借给你#xff1f;当然只有两种答案#xff1a;会、不会 回归问题#xff1a;人家银行能借给你多少钱#xff1f;是一个具体的值 举个例子#xff1a;假如你去银行…一、在有监督学习中主要包括两大类问题
分类问题你去银行贷款借钱人家银行会不会借给你当然只有两种答案会、不会 回归问题人家银行能借给你多少钱是一个具体的值 举个例子假如你去银行贷款人家银行主要考虑你月薪和年龄这两个因素来决定你的最终的贷款金额。
x0你的月薪(x1)你的年龄(x2)可以给你贷款金额(Y)1300020200001800028350001100025100001400030300001120002050000
很显然人家银行贷给你钱主要看的是你的月薪其次看的是你的年龄这两个元素权重不一样。 x1和x2是两个特征即月薪和年龄Y是最终的贷款金额。
二、线性拟合
假设θ1是年龄的参数 θ2是工资的参数因为是两个参数影响故需要拟合一个平面。 其中θ0是偏置项方便后续的矩阵操作。 整理得
三、误差
真实值和预测值之间肯定存在差异这个差异就是误差ε。 对于每个样本而言
误差是独立并且具有相同的分布并且服从均值为0方差为 的高斯分布。 独立A和B是两个人银行对待这两个人是一样的两个人都不认识相互独立。 相同的分布俩人都去同一家银行贷款 高斯分布也称正态分布或正常分布。主要是说 银行可能会给的多也可能给的少但这都是少数情况但大多数情况下浮动不会太大 预测值和误差 高斯分布这里的ε和σ都指代误差。 误差服从高斯分布带入预测值和误差公式中得
似然函数这里的均值为0直接带入简化函数 可以理解这个似然函数主要求解什么样的参数(θ0,θ1,θ2)跟我们的数据组合一下可以更好的接近真实值。 但这里是累乘的操作相比累加而言确实有点麻烦故需要通过对数似然来将累乘向类和转换。
对数似然 L(θ)和log(θ)的值不同但这两个函数的极值点θ是一样的故可以相互等价。
化简 故最终的目标是让取值最小即可。
四、通过最小二乘法求目标函数最小值
目标函数 如何求函数最小值很简单求导呗找到导数为0的θ。当然这里是多个变量求的是偏导。 令偏导为0求出θ即可。
五、评估方法 R²越接近于1则模型拟合的越好。
六、梯度下降法
当我们得到一个目标函数之后如何求解你会求解但是机器学习是让机器去学会这个方法你学会没用 故这时候就需要将我们求解的步骤进行具体话给机器说一下求解的方法、步骤让机器按照这个步骤来就可以求解出最佳的答案。 对于目标函数 我们的目标是如何找到终点即什么样的参数能使得目标函数达到极值点
目标函数 ①批量梯度下降 因为这里梯度下降法是沿梯度反方向走的故需要加个负号负负得正 可以看出容易得到最优解但是m个样本都考虑到了速度太慢了。
②随机梯度下降 每一次知道一个样本迭代速度很快但不一定每次的样本都是收敛的。
③常用小批量梯度下降 从中随机找几个样本(这里选择10个)每次更新选择一小部分样本。 这里的α是学习率(learning rate,LR)也就是每次下降的步长步长对结果影响很大一般小一点较好。通常LR0.01、0.001挨个试试效果。 这里选择的是随机选取10个样本一般都是随机取64、128、256个样本。
总结梯度下降法步骤 ①分别求每个参数的偏导找到偏导最小值 ②走α步 ③按当前方向进行更新参数θ
