相關係數是如何影響線性回歸的

時間 2021-06-03 10:09:14

1樓:衛小雲

線性回歸中的自變數存在多重共線性(Multicollinearity)時,OLS estimator 會存在很大的問題。當存在perfect multicollinearity時,即某一自變數是其他幾個自變數的線性組合(e.g.

)時, 不可逆;當存在Imperfect multicollinearity時,

某些自變數的引數估計可能會變得不顯著,其standard error會變大,從而導致置信區間變大以及t-statistics不顯著;

OLS estimate會不穩定,對資料很敏感;

例如假設有Model 1: ,Model 2: ,Model 3: 。如果

和 存在很高的相關性,那麼可能會出現的情況是:

Model 1中 顯著, Model 2中 顯著,但是Model 3中 和 卻不顯著或者其t-statistics相比Model 1,Model 2變小了;

Model 3中 很大,但是各個引數的t-statistics都不顯著;

實際上,現實情況下很多資料都會存在多重共線性,只是嚴不嚴重的問題。鑑別多重共線性可以用VIF(Variance Inflation Factor)去鑑定多重共線性是否嚴重。

如何理解皮爾遜相關係數(Pearson Correlation Coefficient)?

簡單地說就是兩個 維向量的夾角余弦。考慮相關係數 記 則 記 維向量 則 其中 是兩個 維向量的夾角 所以Pearson相關係數就是資料中心化後的組成兩個 維向量的夾角余弦。顯然 兩個向量方向相同時,兩者嚴格正相關兩個向量方向相反時,兩者嚴格負相關 兩個向量垂直時,兩者完全不相關 Near 來個簡單...

統計學裡面有哪幾種常用的相關係數?

1.Pearson product moment correlation coefficient 就是常見的線性相關係數 以上兩個是rank correlation coefficienthttps en.m.wikipedia.org wiki Correlation coefficient以上三...

心理統計裡的相關係數和顯著性值怎麼理解?

Kelly Marrison 顯著性檢驗只能告訴你差異或者相關是否顯著,不能用它來看差異的大小或相關的強度。顯著性檢驗依賴樣本量。很大的樣本,即使實驗處理的效果只有丁點,仍然會有顯著性。至於相關的話,顯著性檢驗只看兩個是否有相關,如果不顯著代表沒相關。我們不用p值看強度。判斷強度,靠的是效應量。這通...