對於高斯分布,怎麼直觀理解極大似然估計得到的方差是有偏的?

時間 2021-06-08 11:24:29

1樓:羅楊

終於再次拿起了PRML的書,開始重頭看一次。

其實在課程上學的時候就想當然的認為應該是的,反正公式都在那了。今天再讀問了下自己:why???

(2)其次,很好理解的是:結合PRML書上P28頁的那個圖1.15,我們每一次採集N個點作為資料的擬合點求其最大似然估計;重複M次。

可以想象:我們在這M次上得到方差的方差的期望恰好等於原來資料集D(x)的方差,條件其實是十分苛刻的:這要求我們每一次採集樣本都要採集到的D(X)最左和最右的兩個資料點!!!!

(一維分布),然後資料空間是乙個連續的分布,從無窮多個點裡每一次都要採集到最左和最右的點這個可能性多麼的低可想而知,幾乎為零,這也就是為什麼如果你的N趨於無窮,那麼你得到的方差的期望才約等於原資料集的方差。那麼小於的原因也很容易有前面這個點想到,我們更多的是取到中間的資料點,這必然方差是估計小了的。。

感覺十分大白話了。。。。如有錯誤,請指出。

2樓:靜學社-學無止境

沒人說過極大似然估計就一定無偏。某個估計方法是否好,是從這個方法在各種情況下的使用情況來看的,如果各種條件下這個方法都還行,那麼我們就可以使用這個方法。

其實數理統計學對於乙個估計值是否好是有明確要求的,某個估計方法是否好就要看這個方法估計出的估計量是否符合這個要求。

最大似然估計出的方差雖然是有偏的,但是這個值比無偏的樣本方差的值要小。這就是最大似然估計出的方差的優點。

一般在估計某個總體引數的時候我們會挑選最合適的方法。比如矩估計,自助法,最小二乘法等,哪個最合適就用哪個。估計總體均值,你可以使用樣本均值,也可以用極大似然法,矩估計法,這三個方法得到的估計值一樣的好。

當然了你也可以從樣本裡隨機抽乙個值作為總體均值的估計,這個估計值是無偏的,但是它的方差比較大,所以這個方法不如前面三個方法好。

3樓:

無公式。

方差是隨機變數距離均值 的離散程度,如圖藍色線為資料真實的標準差。

但往往真實 是不知道的,因此我們根據觀測值求到了樣本均值 ,根據計算的估計標準差為紅色箭頭,可以看到估計的方差總是小於真實方差的

高斯分布和高斯核函式有什麼聯絡?

驀風星吟 首先,這裡要明確的是,在數學,物理等等自然科學領域裡面,叫做高斯的東西太多太多,不過從概率統計方面而言,但凡與高斯沾邊的,其實本質就是exp x 2 即指數的負二次方形式,因為在一些地方也叫做Squared Exponential,比如高斯過程領域。至於為什麼自然界,科學界的種種都會用到e...

如何理解和學習隨機高斯分布矩陣的各種性質?

廖振宇 如果題主對無線通訊,訊號處理稍微了解並且有興趣,推薦這本書 Romain Couillet 如果是需要更數學層面的,我覺得首選 tao 的Topics in Random Matrix Theory,另外 Pastur 的http www.ams.org books surv 171 sur...

如何直觀理解高斯定理?

18 10 16 01 37 讓我們先複習一下高中基礎就能理解的知識 電通量 穿過某一曲面電場線的條數叫做這個面的電場強度通量 可與高中物理3 2磁通量對照 靜電場的電場線的性質 主要是 有源性 有起點終點,不中斷 無旋性 永遠不閉合 永不相交性 任何一點場強只有乙個確定的方向 高斯定理文字表述 通...