HMM和RNN是什麼關係？功效上兩者有衝突重疊？

1樓：RandomWalk

隱馬爾可夫模型：狀態離散，觀測可以連續可以離散

迴圈神經網路：狀態連續，觀測連續（也可以離散化）

RNN是更一般化的非線性動態系統。不過它只能描述時間離散的情形。

2樓：

如果你把RNN的recurrent vector（h_）看作是連續值的hidden state，那麼RNN就是一種連續狀態的HMM，而通常的HMM是離散狀態的。RNN的這種定義大概從1980末期大家剛開始做RNN的時候就這麼叫了，以前的文獻裡還有很多人就會把RNN解釋成一種HMM。

3樓：SleepyBag

最大的區別就是：RNN 不是概率模型，HMM 是概率模型。

舉個例子，乙個有兩個狀態的馬爾科夫模型，HMM 模型的轉移矩陣可能是，但不可能是。而 RNN 別說，只要神經網路樂意，，也能給你學出來。

而建模的不同也導致了學習方法的不同：

RNN 是用梯度下降法來求解的；但梯度下降不能保證滿足概率大於 0 的約束，所以 HMM 不能用梯度下降，而是用 EM 演算法求解。如果想進一步了解的話，可以看 @蘇劍林大佬的這篇文章：

梯度下降和EM演算法：系出同源，一脈相承 - 科學空間|Scientific Spaces

4樓：知雲學堂

「HMM「和」「RNN」的關係就像「桌子」和「板子」，不是一回事，但也不是完全沒關係。

在機器學習分類中，「HMM」被劃分為「經典機器學習演算法」，「RNN」則為「經典的深度學習模型」。

由於「深度學習模型」的驚人有效性（有非常強大的變換能力與泛化能力），所以在「影象」、「自然語言」這樣的領域，「深度學習模型」是完勝「經典機器學習演算法」的。

「狀態機「包含「狀態「和」變換「兩個方面，可以認為是「世界」的基礎模型。「狀態機」的思想影響非常大，可以說「計算機」就是「狀態機」。而「馬爾可夫過程」描述的是「狀態機」的「概率轉換模型」。

「概率轉換模型」忽略了狀態變換的細節，只是從概率統計的方面去解釋。

在實際情況中，複雜問題，完整的「概率轉換模型」比較難獲取。那麼通過取樣，獲取部分的「概率轉換模型」，是否可以推導出完整的「概率轉換模型」，"HMM"就是用來幹這個的，應該是統計學家構造出來的問題。

「RNN「一般被稱作是「圖靈完備」的，跟「狀態機「思想有類似之處。從「RNN」的結構來說，對「序列」問題可以有效的處理。而「自然語言」可以認為是序列問題。

5樓：姚成祥

1.DL/RNN中用的是distributed representation,100個二值節點能表示2^100種狀態, 而PGM/HMM中用的是One-hot的表示方式,Hidden variable也不可能太多,因而能表示的狀態數有限.

2.設計DL時一般不會為每個節點定義特別的意義,訓練結束後通過視覺化的方法才可能看出某些節點的特徵;而PGM的節點一般要精心設計

引用自：

Sina Visitor System

6樓：

RNN:迴圈神經網路

HMM：隱馬爾可夫模型

HMM RNN LSTM(看完神清氣爽)，樓主可以看下我給的這個鏈結，看完應該是會懂。不用感謝，我只是大自然的搬用工，湊巧看到了，湊巧前幾天自己剛好看過，湊巧就分享了。

應該是很清晰的文。

7樓：

瀉藥。馬爾科夫是數學家，RNN是一種神經網路模型，功效上…… 奇怪的問題。如果你是指馬爾科夫網，那是無向圖模型，概率圖模型的兩大類之一（另一大類是貝葉斯網，有向圖模型）。

HMM是一種特殊的馬爾科夫網。神經網路可以看成特定的概率圖模型。馬爾科夫網和RNN根本不在乙個概念層面上。

8樓：

RNN與HMM的本質區別是RNN沒有馬爾科夫假設，可以考慮很長的歷史資訊。另外HMM本質是乙個概率模型，而RNN不是。

在好多傳統領域，經典模型仍然在發揮這作用，我記得周志華的乙個PPT曾經講過，「就算某一天深度學習被淘汰了，經典的機器學習演算法也未必會淘汰「」。

個人觀點，不比糾結於哪個模型更強大，哪個模型可以完全取代誰，每個模型的產生其實都是有歷史條件的。經典模型和時髦模型都尤其存在的價值。