最好的网站代运营公司,品牌建设的重要性与意义,公司网站维护要做什么,公司 宜宾网站建设线性回归诊断--R 【转载时请注明来源】#xff1a;http://www.cnblogs.com/runner-ljt/ Ljt 勿忘初心 无畏未来 作为一个初学者#xff0c;水平有限#xff0c;欢迎交流指正。 在R中线性回归#xff0c;一般使用lm函数就可以得到线性回归模型#xff0c;但是得到的模型…线性回归诊断--R 【转载时请注明来源】http://www.cnblogs.com/runner-ljt/ Ljt 勿忘初心 无畏未来 作为一个初学者水平有限欢迎交流指正。 在R中线性回归一般使用lm函数就可以得到线性回归模型但是得到的模型到底合不合适在我们使用所得到的线性模型之前就需要进行回归诊断。 线性回归的诊断主要是检验线性回归模型的假设是否成立。 线性回归模型 yΘ0Θ1x1Θ2x2.......Θmxmε 自变量与因变量之间是线性关系 基本假设 1随机干扰项 ε 服从零均值同方差零协方差相互独立的正态分布 E(εi)0 ; var(εi)σ2 ; cov(εi , εj)0 ; εi~N(0,σ2) 2随机干扰项 ε 与解释变量间不相关 cov(Xi , εi) 0 一显著性检验 1回归方程显著性 F 检验 看自变量 X1 , X2 .....Xm 从整体上对随机变量Y是否有明显的影响 。 原假设 H0Θ1 Θ2.....Θm0 H0 若被接受则表明随机变量Y与X1 , X2 .....Xm 之间的关系由线性回归模型表示不合适 P值α : 拒绝原假设 。即在显著性水平 α 下Y 与 X1 , X2 .....Xm 有显著的线性关系回归方程是显著的。自变量全体对因变量产生线性影响 2回归系数显著性 t 检验看单个的自变量 Xi 对Y是否有明显影响。 原假设 H0i Θi 0 H0i 若被接受则表明自变量Xi 对因变量Y的线性效果不显著 P值α : 拒绝原假设 。即在显著性水平 α 下Y 与 Xi 有显著的线性关系。 对于一元线性回归这两种检验是等价的 对于多元线性回归这两种检验是不等价的: F检验显著说明Y对自变量X1 , X2 .....Xm 整体的线性回归效果是显著的但不等于Y对每个自变量Xi 的效果都显著;反之某个或某几个Xi 的系数不显著回归方程显著性的F检验仍然有可能是显著的。由于某些自变量不显著因而在多元回归中并不是包含在回归方程中的自变量越多越好需要剔除对Y无显著影响的自变量。 二拟合优度 拟合优度用于检验回归方程对样本观测值的拟合程度。 样本决定系数 R2 SSR/SST 1 - SSE/SST R2属于[0,1] R2 越接近 1 表明回归拟合的效果越好 R2 越接近 0 表明回归拟合的效果越差。 与F检验相比R2 可以更清楚直观地反映回归拟合的效果但是并不能作为严格的显著性检验。需要指出的是拟合优度并不是检验模型优劣的唯一标准有时为了使模型从结构上有较合理的经济解释在样本量n 较大时R2 等于0.7左右我们也给回归模型以肯定态度。需要注意的是 R2与回归方程汇中自变量的数目以及样本量n有关当样本量n与自变量的个数接近时R2易接近于1其中隐含着一些虚假的成分。 下面结合实例对R语言中线性拟合函数lm的结果进行分析 head(bank)y x1 x2 x3 x4
1 1018.4 96259 2239.1 50760 1132.3
2 1258.9 97542 2619.4 39370 1146.4
3 1359.4 98705 2976.1 44530 1159.9
4 1545.6 100072 3309.1 39790 1175.8
5 1761.6 101654 3637.9 33130 1212.3
6 1960.8 103008 4020.5 34710 1367.0fline-lm(y~x1x2x3x4,databank)summary(fline)Call:
lm(formula y ~ x1 x2 x3 x4, data bank)Residuals:Min 1Q Median 3Q Max
-487.35 -78.89 -2.65 137.02 403.78 Coefficients:Estimate Std. Error t value Pr(|t|)
(Intercept) -4.168e03 1.193e03 -3.495 0.002998 **
x1 5.842e-02 1.216e-02 4.805 0.000194 ***
x2 4.142e-01 3.218e-02 12.871 7.41e-10 ***
x3 -1.384e-02 8.520e-03 -1.624 0.123826
x4 -7.062e-01 1.750e-01 -4.035 0.000959 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1Residual standard error: 217.7 on 16 degrees of freedom
Multiple R-squared: 0.9982, Adjusted R-squared: 0.9978
F-statistic: 2222 on 4 and 16 DF, p-value: 2.2e-16 回归结果的诊断 1F-statistic 回归方程显著性 F 检验中的F统计量其P值2.2e-160.05 表明Y 与 X1 , X2 ,X3,X4有显著的线性关系回归方程整体是显著的。 2Coefficients Estimate 即回归系数的估计值其对应的 P(|t|)为各回归系数t检验的P值。 从回归结果看X3的P值为0.1238260.05,表明X3对Y没有显著影响应考虑删除变量X3其他三个变量的P值都0.05,对Y 都有显著的影响。 ---------以上两个回归检验的结果也表明自变量整体对于因变量有显著影响并不表明每个自变量对因变量都有显著影响。 3Multiple R-squared ; Adjusted R-squared 分别表示 ‘拟合优度’ ‘修正的拟合优度’ 拟合优度值为 0.9982 很接近于 1 表明回归方程对样本观测值的拟合程度较高。 相关图形诊断 1残差图 残差图分析法是一种直观、方便的分析方法。它以残差ei 为纵坐标以其他适宜的变量如样本拟合值为横坐标画散点图,主要用来检验是否存在异方差。 一般情况下当回归模型满足所有假定时残差图上的n个点的散布应该是随机的无任何规律。如果残差图上的点的散布呈现出一定趋势随横坐标的增大而增大或减小则可以判断回归模型存在异方差。 异方差某一因素或某些因素随着解释变量观测值的变化而对被解释变量产生不同的影响导致随机误差产生不同方差。 当存在异方差时普通最小二乘估计存在以下问题 i 参数估计值虽然是无偏的但不是最小方差线性无偏估计 ii 参数的显著性检验失效 iii 回归方程的应用效果极不理想。 2Q-Q图 Q-Q图主要用来检验样本是否近似服从正态分布。 对于标准状态分布而言Q-Q图上的点近似在YX直线附近。 3标准化残差方根散点图 此图类似于残差图只是其纵坐标变为了标准化残差的绝对值开方。 4Cook距离图 库克距离用来判断强影响点是否为Y的异常值点。 一般认为 当D0.5时认为不是异常值点当D0.5时认为是异常值点。 par(mfrowc(2,2))plot(fline,whichc(1:4))从回归的四个图形结果来看 残差图 Residuals vs Fitted : 图上的点基本服从随机分布可以认为不存在异方差的情况 标准Q-Q图 Normal Q-Q : 图上的点基本都在yx直线附件可认为样本近似服从正态分布 标准化残差方根散点图 Scale-Location类似与残差图点的分布基本是随机的。 库克距离图 Cook‘s distance : 最大的库克距离为0.3左右可以认为没有异常值点。 转载于:https://www.cnblogs.com/runner-ljt/p/4581622.html
