海南网站seo,nginx ssl wordpress,廊坊森德科技有限公司,国外网站能否做百科参考资料逐步回归的基本思想是将变量逐个引入模型#xff0c;每引入一个解释变量后都要进行F检验#xff0c;并对已经选入的解释变量逐个进行t检验#xff0c;当原来引入的解释变量由于后面解释变量的引入变得不再显著时#xff0c;则将其删除。以确保每次引入新的变量之前回归方程…逐步回归的基本思想是将变量逐个引入模型每引入一个解释变量后都要进行F检验并对已经选入的解释变量逐个进行t检验当原来引入的解释变量由于后面解释变量的引入变得不再显著时则将其删除。以确保每次引入新的变量之前回归方程中只包含显著性变量。这是一个反复的过程直到既没有显著的解释变量选入回归方程也没有不显著的解释变量从回归方程中剔除为止。以保证最后所得到的解释变量集是最优的。依据上述思想可利用逐步回归筛选并剔除引起多重共线性的变量其具体步骤如下先用被解释变量对每一个所考虑的解释变量做简单回归然后以对被解释变量贡献最大的解释变量所对应的回归方程为基础再逐步引入其余解释变量。经过逐步回归使得最后保留在模型中的解释变量既是重要的又没有严重多重共线性。至今我们已经有更好算法跳过共线性问题没有必要在商业脚本里加入逐步回归代码。实际中变量相互关联因此通过逐步回归思路删除变量解决共线性问题并非最佳思路。更好算法可参考课程《python风控建模实战lendingClub》http://dwz.date/b626本文作为学术探讨介绍逐步回归原理和python代码。当基于最小二乘法训练线性回归模型而发生过拟合现象时最小二乘法没有办法阻止学习过程。前向逐步回归的引入则可以控制学习过程中出现的过拟合它是最小二乘法的一种改进或者说调整其基本思想是由少到多地向模型中引入变量每次增加一个直到没有可以引入的变量为止。最后通过比较在预留样本上计算出的错误进行模型的选择。实现代码如下wine_data的表结构如下图所示wine_data中部分属性的统计信息如下上述代码的输出结果为上述代码绘制的图像如下RMSE与属性数量的关系图像错误直方图实际值与预测值的散点图逐步回归练习和代码python信用评分卡建模(附代码)https://ke.qq.com/course/3063615?tuindcbf0ba逐步回归的基本思想是将变量逐个引入模型每引入一个解释变量后都要进行F检验并对已经选入的解释变量逐个进行t检验当原来引入的解释变量由于后面解释变量的引入变得不再显著时则将其删除。以确保每次引入新的变量之前回归方程中只包含显著性变量。这是一个反复的过程直到既没有显著的解释变量选入回归方程也没有不显著的解释变量从回归方程中剔除为止。以保证最后所得到的解释变量集是最优的。本例的逐步回归则有所变化没有对已经引入的变量进行t检验只判断变量是否引入和变量是否剔除“双重检验”逐步回归简称逐步回归。例子的链接(原链接已经失效)4项自变量1项因变量。下文不再进行数学推理进对计算过程进行说明对数学理论不明白的可以参考《现代中长期水文预报方法及其应用》汤成友官学文张世明著论文《逐步回归模型在大坝预测中的应用》王晓蕾等逐步回归的计算步骤计算第零步增广矩阵。第零步增广矩阵是由预测因子和预测对象两两之间的相关系数构成的。引进因子。在增广矩阵的基础上计算每个因子的方差贡献挑选出没有进入方程的因子中方差贡献最大者对应的因子计算该因子的方差比查F分布表确定该因子是否引入方程。剔除因子。计算此时方程中已经引入的因子的方差贡献挑选出方差贡献最小的因子,计算该因子的方差比查F分布表确定该因子是否从方程中剔除。矩阵变换。将第零步矩阵按照引入方程的因子序号进行矩阵变换变换后的矩阵再次进行引进因子和剔除因子的步骤直到无因子可以引进也无因子可以剔除为止终止逐步回归分析计算。a.以下代码实现了数据的读取相关系数的计算子程序和生成第零步增广矩阵的子程序。注意pandas库读取csv的数据结构为DataFrame结构此处转化为numpy中的(n-dimension arrayndarray)数组进行计算b.第二部分主要是计算公差贡献和方差比。c.第三部分调用定义的函数计算方差贡献值计算结果此处没有编写判断方差贡献最大的子程序因为在其他计算中我还需要变量的具体物理含义所以不能单纯的由计算决定对变量的取舍此处看出第四个变量的方查贡献最大计算第四个预测因子的方差比(粘贴在了代码中)并查F分布表3.280进行比对,22.83.28,引入第四个预报因子。(前三次不进行剔除椅子的计算)d.第四部分进行矩阵的变换。e.进行完矩阵变换就循环上面步骤进行因子的引入和剔除再次计算各因子的方差贡献前三个未引入方程的方差因子进行排序得到第一个因子的方差贡献最大计算第一个预报因子的F检验值大于临界值引入第一个预报因子进入方程。进行矩阵变换计算方差贡献可以看出还没有引入方程的因子2和3方差贡献较大的是因子2计算因子2的f检验值5.0263.28,故引入预报因子2继续进行矩阵转换计算方差贡献这一步需要考虑剔除因子了有方差贡献可以知道已引入方程的因子中方差贡献最小的是因子4分别计算因子3的引进f检验值0.0183和因子4的剔除f检验值1.863均小于3.28(查F分布表)因子3不能引入因子4需要剔除此时方程中引入的因子数为2在此对矩阵进行变换计算方差贡献已引入因子(因子1和2)方差贡献最小的是因子1为引入因子方差贡献最大的是因子4计算这两者的引进f检验值和剔除f检验值不能剔除也不能引进变量此时停止逐步回归的计算。引进方程的因子为预报因子1和预报因子2借助上一篇博客写的多元回归。对进入方程的预报因子和预报对象进行多元回归。输出多元回归的预测结果一次为常数项第一个因子的预测系数第二个因子的预测系数。参考《Python机器学习——预测分析核心算法》Michael Bowles著https://baike.baidu.com/item/%E9%80%90%E6%AD%A5%E5%9B%9E%E5%BD%92/585832?fraladdinhttps://blog.csdn.net/qq_41080850/article/details/86506408https://blog.csdn.net/qq_41080850/article/details/86764534https://blog.csdn.net/Will_Zhan/article/details/83311049如果想了解更多相关知识欢迎同学报名学习python金融风控评分卡模型和数据分析http://dwz.date/b9vv
