重庆手机网站制作,免费地方门户网站系统,网站建设工作进度计划表,在网站制作意见征集是怎么做的文章目录皮尔逊相关系数假设检验下面来看一个例子斯皮尔曼(spearman)相关系数注意皮尔逊相关系数 总体皮尔逊#xff08;Pearson#xff09;相关系数 如果有 A:{A1,A2,⋯,An}A:\{A_1, A_2, \cdots, A_n\}A:{A1,A2,⋯,An} 和 Y:{Y1,Y2,⋯,Yn}Y:\{Y_1, Y_2, \cdots, Y_n\…
文章目录皮尔逊相关系数假设检验下面来看一个例子斯皮尔曼(spearman)相关系数注意皮尔逊相关系数 总体皮尔逊Pearson相关系数 如果有 A:{A1,A2,⋯,An}A:\{A_1, A_2, \cdots, A_n\}A:{A1,A2,⋯,An} 和 Y:{Y1,Y2,⋯,Yn}Y:\{Y_1, Y_2, \cdots, Y_n\}Y:{Y1,Y2,⋯,Yn} 这两组数据并且这两组数据都是总体数据。即调查所有对象而得出的数据那么可以求出总体均值为E(X)∑i1nXin,E(Y)∑i1nYinE(X) \frac{\sum_{i 1}^{n}X_i}{n}, E(Y) \frac{\sum_{i 1}^{n}Y_i}{n}E(X)n∑i1nXi,E(Y)n∑i1nYi 同时总体协方差也就可以表示为Cov(X,Y)∑i1n(Xi−E(X))(Yi−E(Y))nCov(X, Y) \frac{\sum_{i 1}^{n}(X_i - E(X))(Y_i - E(Y))}{n}Cov(X,Y)n∑i1n(Xi−E(X))(Yi−E(Y)) 协方差可以理解为 XXX 和 YYY 的变化方向是否相同。但是协方差要受到量纲的影响因此不适合作为比较。 有了协方差以及总体均值那么总体皮尔逊(Pearson)相关系数便可表示为ρCov(X,Y)σ∑i1n(Xi−E(X))σXYi−E(Y)σYn\rho \frac{Cov(X, Y)}{\sigma} \frac{\sum_{i 1}^{n}\frac{(X_i - E(X))}{\sigma_{X}}\frac{Y_i - E(Y)}{\sigma_Y}}{n}ρσCov(X,Y)n∑i1nσX(Xi−E(X))σYYi−E(Y)其中σX\sigma_XσX 和 σY\sigma_YσY 表示 XXX 和 YYY 的标准差计算公式为σX∑i1n(Xi−E(X))2n,σY∑i1n(Yi−E(Y))2n\sigma_X \sqrt{\frac{\sum_{i 1}^{n}(X_i - E(X))^2}{n}}, \sigma_Y \sqrt{\frac{\sum_{i 1}^{n}(Y_i - E(Y))^2}{n}}σXn∑i1n(Xi−E(X))2,σYn∑i1n(Yi−E(Y))2我们还可以得出∣ρXY∣≤1|\rho_{XY}| \leq 1∣ρXY∣≤10≤ρ≤10 \leq \rho \leq 10≤ρ≤1 时表示 XXX 和 YYY 之间成正相关关系反之则成负相关关系。 样本皮尔逊(Pearson)系数 样本均值Xˉ∑i1nXin,Yˉ∑i1nYin\bar{X} \frac{\sum_{i 1}^{n}X_i}{n}, \bar{Y} \frac{\sum_{i 1}^{n}Y_i}{n}Xˉn∑i1nXi,Yˉn∑i1nYi 样本协方差为Cov(X,Y)∑i1n(Xi−Xˉ)(Yi−Yˉ)n−1Cov(X, Y) \frac{\sum_{i 1}^{n}(X_i - \bar{X})(Y_i - \bar{Y})}{n - 1}Cov(X,Y)n−1∑i1n(Xi−Xˉ)(Yi−Yˉ) 注意分母是 n−1n - 1n−1 而不是 nnn ! ! 样本皮尔逊(Pearson)相关系数rXYCov(X,Y)SXSYr_{XY} \frac{Cov(X, Y)}{S_X S_Y}rXYSXSYCov(X,Y) 其中SX∑i1n(Xi−Xˉ)2n−1,∑i1n(Yi−Yˉ)2n−1S_X \sqrt{\frac{\sum_{i 1}^{n}(X_i - \bar{X})^2}{n - 1}}, \sqrt{\frac{\sum_{i 1}^{n}(Y_i - \bar{Y})^2}{n - 1}}SXn−1∑i1n(Xi−Xˉ)2,n−1∑i1n(Yi−Yˉ)2 同样分母都是 n−1n - 1n−1 哦 关于皮尔逊相关系数容易理解错误的点 ∙\bullet∙ 必须要在两个变量线性相关时求出的相关系数才能说明这两个变量的相关性 ∙\bullet∙ 异常点对于线性相关系数的影响很大不能一概而论 ∙\bullet∙ 相关系数为0只能说明这两个变量不是线性相关的但也有可能会有其他更为复杂的关系。 使用皮尔逊相关系数之前需要 ∙\bullet∙ 做出散点图确定这两个变量是否初步拥有线性相关关系 不确定两个变量的关系及时相关系数很大也无法判断。 确定两个变量具有线性相关关系计算皮尔逊(Pearson)相关系数时可以直接在 MatlabMatlabMatlab 中调用 corrceofcorrceofcorrceof 函数来计算。
假设检验
假设检验一般有如下几个步骤
提出原假设 H0H_0H0 以及备择假设 H1H_1H1 (两个假设互补)在原假设成立的条件下利用要检验的量构造一个满足某一分布的统计量分布一般有标准正态分布、ttt 分布、χ2\chi^2χ2 分布、FFF 分布根据这个统计量将检验对象带入统计量得到一个检验值。确定置信水平99%, 95%, 90%一般选取95%根据置信水平确定临界值。由检验值和临界值的大小来判断假设是否能够显著接受。
下面来看一个例子
首先必须画出散点图确定是否有相关性哦
经过 MatlabMatlabMatlab 处理后可得的相关系数表为 这是一个对称矩阵矩阵中的数据表示行和列的相关系数。
提出假设 H0H_0H0 rrr 0H1H_1H1 rrr ≠ 0提出满足分布的统计量 可以构造统计量为trn−21−r2t r\sqrt{\frac{n - 2}{1 - r^2}}tr1−r2n−2可以证明 ttt 时服从自由度为 n−2n - 2n−2 的 ttt 分布。带入得检验值 看第一行、第二列的值为0.0580样本数为730因此 t∗0.0580730−21−0.058021.5676t^* 0.0580\sqrt{\frac{730 - 2}{1 - 0.0580^2}}1.5676t∗0.05801−0.05802730−21.5676给定置信水平确定临界值 给定置信水平为 95%根据 ttt 分布表查阅对应的临界值 比较检验值是否在接受域或者拒绝域。
{若在拒绝域结论在95%的置信水平上我们拒绝原假设r显著不为0若在接受域结论在95%的置信水平上我们无法拒绝原假设\left\{\begin{aligned} \text{若在拒绝域结论在95\%的置信水平上我们拒绝原假设r显著不为0} \\ \text{若在接受域结论在95\%的置信水平上我们无法拒绝原假设}\end{aligned}\right.{若在拒绝域结论在95%的置信水平上我们拒绝原假设r显著不为0若在接受域结论在95%的置信水平上我们无法拒绝原假设 补充P值判断法 根据得到的检验值 t∗t^*t∗可以计算出这个检验值对应的概率。{若是单侧检验可在 Matlab 中P1−tcdf(t∗,728)若是双侧检验可在 Matlab 中P(1−tcdf(t∗,728))×2\left\{\begin{aligned} \text{若是单侧检验可在 Matlab 中} P 1 - tcdf(t^*, 728) \\ \text{若是双侧检验可在 Matlab 中} P (1 - tcdf(t^*, 728)) \times 2 \end{aligned} \right.{若是单侧检验可在 Matlab 中P1−tcdf(t∗,728)若是双侧检验可在 Matlab 中P(1−tcdf(t∗,728))×2 皮尔逊相关系数假设检验的条件 ∙\bullet∙ 实验数据满足正态分布 ∙\bullet∙ 实验数据不能差距太大 ∙\bullet∙ 魅族样本之间时独立抽样的 在平常的题目中可以当作第二个和第三个条件成立。但是第一个条件必须需要经过检验检验成立才能使用皮尔逊(Pearson)相关系数检验。 正态分布检验 ∙\bullet∙ 正态分布 JBJBJB 检验大样本 n30n 30n30 时 对于一个随机变量{Xi}\{X_i\}{Xi} 假设其偏度为 SSS峰度为 KKK那么可以构造JB统计量JBn6[S2(K−3)24]JB \frac{n}{6}[S^2 \frac{(K - 3)^2}{4}]JB6n[S24(K−3)2]可以证明如果 {Xi}\{X_i\}{Xi} 是正态分布那么在大样本情况下 JB−χ2(2)JB - \chi^2(2)JB−χ2(2) (自由度为2的卡方分布) 注正态分布的偏度为 0峰度为 3 那么假设检验的步骤如下 H0H_0H0该变量服从正态分布H1H_1H1该随机变量不服从正态分布。 然后可以计算变量的偏度和峰度得到检验值 JB∗JB^*JB∗ 并计算出其相应的 ppp 值。 将 ppp 值与 0.05 作比较小于 0.05 则可拒绝原假设否则不能拒绝原假设。 可以在 MatlabMatlabMatlab 中调用 [h,p]jbtest(column,置信水平)[h, p] jbtest(column, \text{置信水平})[h,p]jbtest(column,置信水平)hhh 表示 JB∗JB^*JB∗ 的值ppp 表示对应的 ppp 值。 ∙\bullet∙ 夏皮洛-威尔克(Shapiro-wilk)检验 H0H_0H0该随机变量服从正态分布H1H_1H1该随机变量不服从正态分布 计算出威尔克统计量后可以求出对应的 ppp 值 将 ppp 值与 0.05 比较如果小于 0.05 则可以拒绝原假设否则不能拒绝原假设。 计算威尔克统计量可以使用 SPSSSPSSSPSS 工具。 ∙\bullet∙ Q−Q图Q-Q \text{图}Q−Q图 直接在 MatlabMatlabMatlab 中调用 qqplot(column)qqplot(column)qqplot(column) 函数做出图像如果 QQQQQQ 图近似于一条直线该随机变量满足正态分布。 注意作 QQQQQQ 图要求数据量非常大做出图像才会更加准确。
斯皮尔曼(spearman)相关系数
一种定义 XXX 和 YYY 为两组数据其斯皮尔曼相关系数定义为rs1−6∑i1ndi2n(n2−1)r_s 1 - \frac{6\sum_{i 1}^{n}d_i^2}{n(n^2 - 1)}rs1−n(n2−1)6∑i1ndi2其中did_idi 为 XiX_iXi 和 YiY_iYi 之间的等级差一个数的等级 将它的一列数按照从小到大排序后这个数的位置 同样rsr_srs 位于 -1 和 1 之间 |X|Y|X的等级|Y的等级|等级差|等级差的平方| |–|--|–|--|–|--| |3|5|2|1|1|1| |8|10|5|4.5|0.5|0.25| |4|8|3|3|0|0| |7|10|4|4.5|-0.5|0.25| |2|6|1|2|-1|1| 根据公式rs1−6∑i1ndi2n(n2−1)r_s 1 - \frac{6\sum_{i 1}^{n}d_i^2}{n(n^2 - 1)}rs1−n(n2−1)6∑i1ndi2可得rs1−6×(10.250.251)5×240.875r_s 1 - \frac{6\times(10.250.251)}{5\times24} 0.875rs1−5×246×(10.250.251)0.875另一种定义 等级之间的皮尔逊相关系数
XYX的等级Y的等级等级差等级差的平方35211181054.50.50.2548330071044.5-0.50.252612-11
rank_X [2 5 3 4 1]
rank_Y [1 4.5 3 4.5 2]
R corrcoef(rank_X, rank_Y)在 MatlabMatlabMatlab 中可以使用 corr()corr()corr() 函数corr(rankX,rankY,′type′,′Spearman′)corr(rank_X, rank_Y, type, Spearman)corr(rankX,rankY,′type′,′Spearman′) 注意MatlabMatlabMatlab 中使用的是第二种计算方法
∙\bullet∙ 小样本情况下(n30n 30n30)可以直接查表
∙\bullet∙ 大样本情况下可以构造统计量为rsn−1r_s\sqrt{n - 1}rsn−1 H0H_0H0rs0r_s 0rs0H1H_1H1rs≠0r_s ≠ 0rs0 计算检验值 z∗rsn−1z^* r_s\sqrt{n - 1}z∗rsn−1并求出对应的 ppp 值与 0.05 比较。{若是单侧检验P1−normcdf(z∗)若是双侧检验P(1−normcdf(z∗))×2\left\{\begin{aligned} \text{若是单侧检验}P 1 - normcdf(z^*) \\ \text{若是双侧检验}P (1 - normcdf(z^*))\times 2 \end{aligned} \right.{若是单侧检验P1−normcdf(z∗)若是双侧检验P(1−normcdf(z∗))×2或者直接在 MatlabMatlabMatlab 中[R,P]corr(rankX,rankY,′type′,′Spearman′)[R, P] corr(rank_X, rank_Y, type, Spearman)[R,P]corr(rankX,rankY,′type′,′Spearman′)
注意 皮尔逊相关系数条件连续数据、正态分布、线性关系。 因此要使用皮尔逊相关系数 首先要是连续数据 然后画散点图初步确定线性关系 接着还要进行正态分布检验 最后才能使用。 当这些条件满足时也可以使用斯皮尔曼相关系数但是效率没皮尔逊相关系数高。 上述条件任意不满足就用斯皮尔曼相关系数不能使用皮尔逊相关系数。 两个定序数据也可以使用斯皮尔曼相关系数不能使用皮尔逊相关系数。
有什么好的建议烦请告知hhh~~~
