線性回歸什麼時候會fail,導致regression equation無答案?

時間 2021-06-08 11:27:33

1樓:哈德遜河畔的鵝

大概寫點證明,結論是normal equation必有解,唯一或無窮取決於 是否full rank。

首先來證明 和 的null space一樣。

若任意向量 在 的null space中,則 ,那麼 ,所以 也在 的null space中;

若 ,則 ,所以 , 也在 的null space中。

即證。因為 的row space是null space的orthogonal complements,所以X的row space和 的一樣;又因為 對稱,所以也就是 的column space和 的一樣。所以normal equation:

必有解。

如果用pseudo inverse來表示解的話,總能得到乙個解,這個解在所有解中的norm最小。

2樓:Eliot Alexander

太多了。

雖然不太關心數學細節,MinL知友提到的矩陣滿秩是個要求。只是這是數學求解的要求,數學建模上要求還有多自變數共線性、Fisher檢驗整個模型不顯著(方差齊性)、不滿足正態分佈等。線性回歸的要求很高的。

雖然數學建模的條件不滿足不影響求解,但是不符的話做出來的模型也是錯的,可能很多人不關心。

3樓:

Min.L的回答已經說得很清楚了,所以你的問題如果考慮的是一般意義上的線形回歸,這就不是regression equation無答案的問題,而是係數的解不唯一的問題。時刻牢記矩陣表示式(X'X)^-1X'Y(手機打字見諒)有助於你理解OLS估計是咋來的。

不過正好我畢設做的模型用的是least squares estimator但是他就有要求X'X必須滿秩否則係數無解(或者準確說是cannot be defined)。但這不是傳統意義上的線性模型了,而是可加風險性模型,它的表示式看上去跟線性模型長得很像,估計的卻是cumulative coefficient,所以就會存在如果無法滿足X'X滿秩的話B(t)無解。(但是這裡的X也跟傳統意義上的自變數不一樣,它是每個event time t都對應著乙個矩陣)你要是對這個感興趣可以搜一搜,具體比較複雜無法手機三言兩語打出來.

Aalen 1989,A linear regression model for the analysis of life times.

4樓:Min.L

從regression equation是否有解的角度來看,除非X秩為零,否則基本都是可以解的;用g-inverse就好: 維矩陣 的乙個g-inverse 被定義為使得 成立的任一 維矩陣(g-inverse不唯一)。對於回歸模型 ,實際上就是解正規方程組

可以證明 列空間相等,所以正規方程組一定有解。乙個特解長成這樣:

(不唯一)

但是 是唯一的,即對於任意的 都保持不變。

然而,如果想要做推斷,那麼就需要對模型加更多的假設。多重共線性之類的問題只是會使得假設檢驗不可靠,屬於inference的問題;但是解還是可以解的。

mamamoo什麼時候回歸,想四姐了?

知明篤行 對!單人solo都so完了,四姐什麼時候回歸!四代團今年九兔,bp,小女友都回歸了!就剩紅毛和媽木了!剛剛查了一下,四姐居然才大半年沒有回歸?我覺得都一年多了嗚嗚嗚 但是按理說愛豆兩次回歸是不應該間隔一年的,所以媽木的回歸應該是安排上了?但是彩虹橋最近好像在搞師妹團紫吻?單人和團體預告都出...

那些奶奶帶的孩子,什麼時候回歸父母?

善哉 孩子大了自然就傾向父母這邊了 指的是正常家庭 因為隔輩人畢竟歲數大了,能給孩子的只是寵愛,溺愛!而隨著孩子的年齡增長以及興趣愛好各個方面,孩子和老人會很難達成共識,也就是所謂的代溝,所以說到時候孩子自然而然的就和父母交流溝通的多了! yang415260 我也剛開始被奶奶搶走真的很無奈但是工作...

豬肉什麼時候才能回歸十元時代?

不是還沒到10元嗎?現在國內豬肉多少錢一斤呢?12,15,還是18元?我前幾天買了個肘子大概8元一斤左右吧。大概八斤吧,70多塊人民幣。可能我們這裡是資本主義制度,所以剝削了養豬的農民?太可惡了!要不直接回歸憑票時代的了,價錢更便宜。瀉藥。很難回去了。因素很多,貨幣,非洲豬瘟的控制,供需關係,國際市...