貝葉斯調參是如何對離散變數調整的

時間 2021-06-03 10:15:29

1樓:Ding Zhaohai

blog.csdn.net/linxid/article/details/81189154這篇部落格,示例介紹

2樓:Mdddlg

被大師兄 @呂文龍 叫過來回答問題。。

先說結論,可以。

只要輸入變數仍然可以表示為向量,就可以直接扔進Gaussian Process (GP)和Bayesian Optimization (BO)那一套流程去跑。但是會造成最優解偏離(acquisition function失誤)、計算冗餘和GP建模失敗等一系列問題。

這些問題對那些最優解已知的數值函式還是挺致命的,但是對大型工程中的黑盒函式優化也沒那麼嚴重,所以目前學界對相關問題的研究也就僅僅侷限在修改或建立新的kernel(或者說correlation function),使之更加適用於離散和混合變數,以便緩解上述的問題。

不過類似的基於surrogate model的優化方法也有其他的一些思路,總結如下:

(參考:https://

eldorado.tu-dortmund.de

/bitstream/2003/37870/1/DissertationZaef18.pdf

)當然這也只是我半年來學習的小小見解,知乎大神雲集,希望可以有大佬能提供更efficient更fancy的方法,救救孩子。。。

你對貝葉斯統計都有怎樣的理解?

yangqingter 貝葉斯學派和頻率學派是認識論發展的結果。西方哲學史從柏拉圖和亞里斯多德到大陸理性主義和英國經驗主義到演繹法和歸納法就是這麼一路過來的。 認為事情是不可知的,隨機的,random not fixed.然鵝在給random刻畫特徵的時候,某些特徵也可以是random的。這樣就形成...

如何看待NIPS2017圖靈獎得主貝葉斯網路之父Judea Pearl講座無人問津?

下圖就是Judea Pearl這次講座的conclusion,我覺得他說的挺對的。另外分享乙個前幾個月的小經歷。今年早些時候參加IJCAI,做learning theory的session chair,開場我還說了個超冷的笑話 終於遇到乙個和deep無關的session了。當然沒人笑 講笑話從來不是...

如何簡單易懂地理解貝葉斯非引數模型?

vvnw 先捋一捋引數模型和非引數模型的區別。引數模型就是知道變數的分布,但是不知道這個分布的引數,比如知道x服從引數為p的二項分布,因此我們在經過試驗得到x的樣本後,要反推回p到底是什麼。非引數模型都是不知道變數的分布,更不用說什麼引數了,比如對於變數x,現在有一堆試驗得到的x的樣本,我們要做的,...