1樓：ser jamie
可以參考我寫的知乎文章，條件隨機場教程(Conditional Random Field Tutorial) 中，第七章訓練問題
2樓：James Li
3樓：「已登出」
寫在前面的部分：條件隨機場結構各種各樣，我們來個最簡單的線性條件隨機場，推導的方法也用最簡單的梯度下降法。想必要對條件隨機場進行引數估計的一定對CRF有所理解，一些基本概念再次忽略，可以參考「an introduction to conditional random fields for relational learning」這篇文章，或者這篇blog：
Introduction to Conditional Random Fields 寫的很好。
上圖，CRF的概率模型，給定observations 求某一latent states序列的概率。
其中分母Z(x)是歸一因子：
公式(2) 中的y就是所有可能的序列，如果乙個序列有個8個latent states，每個state有6個可能的取值，那麼所有可能序列就有6的8次方。由此可見計算他時開銷是相當大的。給出極大似然函式的對數表示式：
其中N是訓練序列的個數，那麼梯度下降法的方式大概是這樣的（其實是梯度上公升髮求最大值）：
為了簡單起見，我們把N去掉，最後加上也一樣，變成：
對第k個特徵函式求偏導，得到：
好了，我們把主力集中在第二項，因為第一項已經很簡單了：
把分母Z(x)帶入，得到：
Z(x)對於乙個訓練序列來講是常數，所以可以拿到括號裡面，化簡得到：
這一步很漂亮，接著：
推導完畢，這個式第一項是真實值，第二項是期望值，當倆者相等時，梯度為0，迭代停止。計算p(y|x)比較麻煩，可以用dynamic programming來求解，類似vertebi。也可以用pseudo-likelihood，而不是maximum-likelihood.
具體參考：
[1]. Zhan, Kai, Steven Faux, and Fabio Ramos. "Multi-scale Conditional Random Fields for first-person activity recognition.
" Pervasive Computing and Communications (PerCom), 2014 IEEE International Conference on. IEEE, 2014.
[2] Besag, Julian. "Statistical analysis of non-lattice data." The statistician (1975):
179-195.
條件概率屬不屬於隨機變數？為什麼？
楊生 第一，要明白什麼是變數和常量，在數學上通常用乙個符號來表示乙個量，比如在函式中通常用x表示自變數，f表示函式，在概率論中通常用大寫的X表示隨機變數。在此要明白一點 當乙個符號，比如C吧，如果C永遠只取乙個數，則稱這個變數C是常數，如果C可以取兩個以上不同的數值時，就稱C是變數 第二，對於條件概...
如何推導出區間套定理？
蒸汽賽朋克 an bn在n走向無窮時相當於合成了乙個點，也就是那個唯一的點，那個攪攪符號。反過來可以將數軸上一點 其實也就是那個攪攪點 看作an bn的重合，注意是n走向無窮極限下的。 法國球 如果你的實數定義採用dedekind分割定義，那麼應該按照如下方法證明 1，任給乙個單調遞增且有界的有理數...
rocksdb隨機讀效能如何？
張金鵬 可以通過配置 block cache 來提公升讀取效能，特別是在有熱點的情況下，效果非常好。RocksDB 的 block cache 分為 uncompressed block cache 和 compressed block cache，前者用於儲存解壓後的 block 其他資料庫裡面叫...