app网站开发成功案例,网站开发需求书,nx二次开发,网站服务器租用资质根据上一篇博客《统计学习概论》可以知道#xff0c;正则化的作用是选择经验风险和模型复杂度同时较小的模型。下面从过拟合的角度来理解正则化。 #过拟合问题 例子说明#xff0c;线性回归问题#xff08;房价#xff09; 分析#xff1a; 1#xff09;左边第一幅图正则化的作用是选择经验风险和模型复杂度同时较小的模型。下面从过拟合的角度来理解正则化。 #过拟合问题 例子说明线性回归问题房价 分析 1左边第一幅图图中获得拟合模型是这样一条直线但是实际上这并不是一个很好的模型。这些数据明显表明随着房子面积增大住房价格的变化趋于稳定或者说越往右越平缓。因此线性回归并没有很好拟合训练数据。这种情况称为欠拟合underfitting或者叫做高偏差high bias。这两种叫法大致相似都表示没有很好地拟合训练数据。 2第二幅图中间加入一个二次项也就是说数据使用二次函数去拟合。拟合出曲线的拟合效果很好。 3在第三幅图中对于该数据集用一个四次多项式来拟合。因此在这里我们有五个参数θ0到θ4通过给定的五个训练样本我们可以得到如右图的拟合曲线。从该曲线来看一方面似乎对训练数据做了一个很好的拟合因为这条曲线通过了所有的训练样本。但是这实际上是一条很扭曲的曲线它不停上下波动。事实上它并不是一个预测房价的好模型。把这类情况叫做过拟合(overfitting)也叫高方差(high variance)。 结论 在拟合过程中使用一个高阶多项式进行拟合这个函数能很好的拟合训练集能拟合几乎所有的训练数据但这也就面临函数可能太过庞大的问题变量太多。同时如果缺乏足够的数据集训练集去约束这个变量过多的模型那么就会发生过拟合。 过度拟合的问题通常发生在变量特征过多的时候。这种情况下训练出的方程总是能很好的拟合训练数据也就是说我们的代价函数可能非常接近于 0 或者就为 0。但是这样的曲线千方百计的去拟合训练数据这样会导致它无法泛化到新的数据样本中以至于无法预测新样本价格。在这里术语泛化指的是一个假设模型能够应用到新样本的能力。新样本数据是指没有出现在训练集中的数据。
问题提出 一般而言过多的特征变量同时只有非常少的训练数据会导致过度拟合的问题为了解决过拟合问题有以下两个方法 减少特征的维度 1.人工特征选择 2.模式选择算法 正则化 1.保留所有的特征但是会减小特征变量的数量级参数数值的大小θ(j) 2.这个方法很有效当很多特征时每一个特征都对预测y产生影响 抑制过拟合的具体操作 正则化代价函数正则化项正则线性回归正则逻辑回归参考资料机器学习之正则化
