1樓：tsuka okami
不算很懂，強答一波，就當是指個方向吧。
連續熵或差分熵（differential entropy），
但是這玩意就是模擬離散熵寫出來的，而非推導得來，其實它是錯誤的，不能表示資訊量，從量綱上也可以出是錯誤的。
Jaynes 通過引入不變測度 來修正連續熵，
是將連續變數 x 進行量化後的離散點的極限密度。由於 ，所以通常又去掉這項，於是
於是 Jaynes 連續熵變成了 m 到 p 的負 KL 散度，表徵的是實際分布為 但是我們認為是 時的資訊增益。
但是 Jaynes 這麼處理，是因為他關心的是最大熵問題，而不是真正的資訊量（資料編碼問題），而這樣處理的好處是使得擁有了離散熵的一些屬性（像個熵的樣子）。
也許有其他更好的方法來處理連續變數的熵 ... （答主非專業，懂的很少）
2樓：deantzzz
Entropy的公式
根據table4.2可以自己畫出答案中的class label和split point；
對於連續屬性的劃分，需要畫個分段表。由table4.2可得a3<=2時有1個正項和0個負項，a3>2時有3個正項和5個負項，以此類推得到下表：
然後計算熵，split point = 2時：
Entropy=1/9*[-(1log2(1)+0log2(0))]+8/9*[-(3/8log2(3/8)+5/8log2(5/8))]=0.8484
其它同理。
原表一共有9條記錄，答案中a3=7.0之後的記錄都是負項，省略了。
連續型隨機變數隨機變數取某一具體值的概率是絕對意義上的0嗎？
hwd 以下為第二次補充 設有連續型隨機變數 在 2，3 的概率為1，且均勻分布。x 2.1的概率為0，但並非不可能發生 x 3.1的概率也為0，且絕對不可能發生。對比可知，兩者在發生與否上截然不同。人為引入 可能性 這一概念，可能性 0 為不可能發生 可能性 0 為可能發生。那麼是什麼原因造成這種...
為什麼隨機變數的分布函式要右連續？
hwd 看了周漢唐老師的回答，他說到有兩種定義，第二種定義F x P 不知是哪本教材哪個文獻釆用了文中所謂第二種定義？分布函式本質上是從左側 向右側 的乙個概率累加的過程。在沿著x軸向右滑動累加時，當指標指向x1，即當x x1時，隨機事件 x1隨即被觸發，分布函式F x 上跳P1高度後繼續平走待下一...
隨機變數x和另乙個隨機變數y x的關係是什麼？
Ellery Holmes X Y 0變為常數，失去隨機性 是的，Y已經由X表示了，所以Y的隨機性由X的隨機性完全決定了，Y與X取值恒等 隨機變數是乙個對映，為了用我們熟悉的函式表示式來研究抽象的樣本空間概率是概率空間上的集合函式，隨機變數是樣本空間上的函式，所以概率通過表示為隨機變數的函式而間接表...