概率圖模型為什麼沒有損失函式

時間 2021-05-29 22:53:40

1樓:

有的哦,這類無監督學習一般是去最大化觀測資料x的概率p(x; \theta ),也就是極大似然估計,\theta 是要訓練的模型。之後的處理往往把概率取對數方便後續化簡運算(像是topic model裡避免很多小概率值連乘結果過小就用對數化成求和,然後再取負值當做perplexity了),也就是負對數似然當做損失函式去最小化。而這裡的似然函式跟判別模型中的目標函式內涵是一致的。

另一方面你提到的mcmc和vi是解決intractable積分的方法,前者模擬隨機取樣例如Metropolis–Hastings、Gibbs等;而後者實質上是用偽分布逼近目標intractable的分布的方法(一般是最小化這倆的KL散度來完成)。So上述這些概念跟「目標函式」這個概念並不並列(像是Gibbs搞往往是要求先驗後驗共軛分布可以直接得到模型引數的取樣公式;你要是用VI推一下就會發現熟悉的目標函式or損失函式,有興趣的話可以試著用Gibbs和VI求解一下LDA對比對比你就應該明白了)。概率圖模型在確定似然可解或者化簡了似然函式後最大化的過程(如果滿足條件的話)可以用梯度下降啊BFGS等方法去優化;而對於含有隱變數的模型往往用EM進行求解。

2樓:hekko hello

我覺得你說的這是兩種不同方同的東西,乙個是模型的引數學習,另乙個是模型的分布推理。

損失函式的目的是評價引數的好壞,用於在未知引數情況下,從資料中挑選更好的引數。而MCMC取樣或變分推斷是在概率圖模型中進行分布推理的兩種方法,其是在已知引數的情況下,求解某些變數分布的途徑。所以兩者不能直接進行比較。

實際上概率圖模型中也存在引數的學習,一般會使用極大似然法,以似然函式作為引數評價的好壞,你也可以稱似然函式為概率圖模型損失函式。

你可以參與下《概率圖模型: 原理與技術》這本書,裡面將概率圖模型的內容分成表示、推理和學習三部分,對理解概率圖模型很有幫助~

感知機的損失函式為什麼可以採用函式間隔 忽略1 w

輝子 M是誤分類的集合,當全部都正確分類之後 2.5 中的L w,b 就等於0 隨機從誤分類集M中選出乙個點進行迭代,只需要在該點 xi,yi 處 3 式左側y wx b 0即可,3 式的大小無所謂 若是 3 式小於0,則一直在該點迭代,直到大於0為止。根據感知機演算法的收斂性,存在超平面使得L w...

為什麼多標籤分類(不是多類分類)損失函式可以使用Binary Cross Entropy?

陳明明 多標籤分類的每一類都是二分類的話,就可以用Binary Cross Entropy。loss相當於所有類的loss加權求和。Pytorch等工具裡自帶的函式可以指定每一類loss的權重。 老杜 舉例說,乙個樣本可以同時打上狗,動物,寵物三個標籤,其實就是三個判斷 是否是狗,是否是動物,是否是...

為什麼波函式概率幅的平方可以表示概率密度呢?

樂學者 在量子力學中,波函式是希爾伯特空間中的向量。所謂向量,它是這樣的乙個量 它由一組基底和與基底相對應的分量所組成,且這一組成是線性的。例如三維歐氏空間中的向量,它可以寫成 的形式,其中 就是基底,就是相應基底的分量。另外,對於向量,你除了可以用某組基底來對這個向量進行表示之外,你還可以給這個向...