如何通俗的理解spike and slab prior?

時間 2022-01-15 06:30:44

1樓:balabalala

spike-slab是對prior的一種較為形象的描述。

比如,考慮線性回歸模型 ,,。在貝葉斯統計的框架下,我們需要對回歸係數 設定先驗分布,結合模型的似然函式,得到引數的後驗分布,進而進行推斷。

正如「先驗」二字的含義,先驗分布體現了我們對回歸係數 的先驗認識。如果我們事先已知線性回歸模型是稀疏的,也就是說,一部分解釋變數對響應變數沒有解釋作用,不應包含在模型中,對應的回歸係數的值為0。這樣的話,我們的先驗分布中就應該包含「稀疏係數」這個先驗資訊。

這種情況下,我們可以使用先驗分布: ,,其中 , 意味著 對應的變數 應包含在模型中;意味著變數 不包含在模型中。因此, 可以選擇集中於0點的「spike」分布, 可以選擇取值較為廣泛的「slab」分布。

2樓:

mixture Laplace prior能很好的對sparse signal建模。mixture spike and slab prior 已經發表了不少文章。在機器學習,大資料,遺傳學中已發表了不少文章,建模效果很好,變數選擇和引數估計都不錯。

如何通俗的理解sortino ratio(索提諾比率)?

要理解Sortino ratio,首先要了解Sharpe ratio。因為可以這麼說,Sortino ratio就是Sharpe Ratio的改進版。我們先看一下Sharpe ratio的公式 其中 代表資產的期望收益率,代表無風險收益率,是資產的標準差,該比率是計算投資組合每承受一單位總風險,能夠...

如何通俗的理解射影幾何?

我記得看過 高等幾何 和 命題人講座 解析幾何 裡面就有講射影幾何,我原來只是用它解過某些高考壓軸解析幾何 現在imo裡沒有多少解析幾何的題了 不過用歸用,對於這種奇奇怪怪的東西我有一段時間卻是無法理解。實際上 射影幾何 就是傳說中5行字就能證明 微分幾何 中四頁紙才能證明的 彭賽列閉合定理 的邪門...

如何通俗理解元資料?

元資料 metadata 是描述物件的資料,對物件的屬性 操作及聯絡的描述性資訊。現實世界的一本書可以當作是乙個物件,而描述這本書的資訊,比如書名 作者 出版時間 頁數 分類等等都是物件的屬性。書可以看,可以借閱,可以買賣,這些和書相關的行為都是物件的操作。而一本書可以由某個人購買,也可以由圖書館收...