1樓：Ao Sun
應該是假設「不可約」吧，「可約」的話結論不一定對。例如我假設每個狀態都是吸收態，狀態空間上的任意函式都是調和函式，當然也是上調和。
記轉移矩陣 所確定的的離散時間馬氏鏈為 ，狀態空間 可列。先證明必要性：假設 是非負上調和函式，那麼 是乙個非負的上鞅， 那麼用下鞅的a.
s.收斂定理我們知道 ，其中 是乙個可積的隨機變數。若 常返且不可約，那麼對於所有的 有 （這個留作題主的練習），對 求期望得到 ，那麼由概率測度的單調性一定有 對於所有的 成立。
考慮乙個概率為1的事件 定義如下：
。取 ，對於任意的 0" eeimg="1"/>，存在 ，對於所有的 ，我們有 。又因為存在 使得 ，所以對於所有的 有。由 的任意性可知對於所有的 有。必要性得證。
再證明充分性：我們用反證法，假設 非常返 （因為不可約所以每個狀態都是非常返），先驗證函式 是乙個上調和函式且 ，其中 是狀態 的首中時。對於所有的 我們有：
那麼我們接下來證明 不是乙個常數。還是反證，假設 。顯然 要嚴格小於1。取 滿足 0" eeimg="1"/>，由上式可以推出：
矛盾！命題得證。
如何理解馬爾科夫過程的主方程的推導過程？
簡單來說，主方程就是流入減去流出。拿前面的藍色藝林回答的第10式 即主方程 來說，最後第一項就是從別的引數的流入過程，第二項是流出過程。為什麼加上不變的？因為p是概率，不是概率流。打個比方說，你本來有10塊錢，你每隔1秒鐘給m個人1分錢，另有n個人，每隔1秒鐘給你2塊錢。你下一秒的錢數應該等於，別人...
強化學習 馬爾科夫決策過程和貝爾曼方程
Dantezy 我站起身來，道 龍友兄，原來還是我先走一步。獄卒摸出乙個黑紗頭罩，輕聲道 楚帥，請海涵。我不知道為什麼到我這兒就要戴頭罩了，所以只有帝君一家才能享受不蒙面處斬的待遇吧。我任由他把黑布罩到我臉上，一步步跟著他出去，上了斷頭台。斷頭台的利刃已經拉起，上面雖然擦了一下，還沾著血跡。這些血是...
為什麼馬爾科夫過程的 時間 平均等於系綜平均？
microball 對一般隨機過程中的觀測量 U，時間平均不一定存在 U可能持續增加 相空間平均可能也不存在 系統可能不滿足遍歷條件 所以這兩種平均不見得都有定義。當都有定義時也不一定相等，可能跟系統的初始條件有關。要證明兩種平均相等，常用的充分條件是 Doeblin 條件，這在 Doob 的書 S...