熵和方差有什麼關係?

時間 2021-06-03 15:11:20

1樓:

各位,有必要區分一下離散和連續變數的情形,兩者的熵性質並不完全相同。

如 @Mather King 所說的「如果給定熵,方差有下界。」等結論中,「熵」指的是連續變數的微分熵。如果是給定離散變數的熵值,則方差沒有非平凡的下界。

例如Pr(X=0)=Pr(X= )=1/2( 0" eeimg="1"/>),此時H[X]=2 log 2,與 無關。但方差顯然會隨著 減小而趨於0. 容易看出,這種情況下方差大小基本由 控制,跟熵值沒有什麼關係。

2樓:

對於所有方差為某個常數的分布,熵有上界,由正態分佈取到。

類似地,如果給定熵,方差有下界。

高維也有類似結果:給定合法的協方差矩陣,熵有上界,由正態分佈取到。

反過來的界是沒有的。給定熵(大於零),方差可以任意大;給定方差(大於零),熵可以任意小。

3樓:TniL

看一下兩者的定義式就知道了,兩者沒有必然的關係。

以連續型隨機變數為例,方差:

熵:可以看到,隨機分布的熵只和概率有關,和變數的取值無關;而方差與隨機變數的取值有關。

在常見的概率分布中,可以觀察到方差和熵是正相關的。在單峰的概率分布中,概率mass越分散,方差越大,熵也就越大。如果是其他特殊的情況,這就不一定成立了。舉個例子就知道了。

構造乙個均勻分布 ,其中概率密度函式

密度影象為

此時,方差為

熵(取底數為2)為

現在將概率mass切割為兩個部分,令

密度影象為

這時,方差為

熵仍然保持不變,為

其他任意的概率分布也可以類似地操作,將任意概率分布切分為兩個部分並向均值兩端「平移」,熵不會改變,但是方差都會相應地變大。

可以看出這兩者沒有必然聯絡。

熵與溫度有什麼關係?

草木無情 熱力學第2定律邏輯 1,第2類永動機有很多種類,每一種類背後是一自然現象 A機 違反熱動力學的不可逆性 擴散 熱傳導,摩擦等 動力學 B機 利用卡諾效率的差異 可逆熱力學 熱力學2,A和B屬於不同學科,兩者之間是平行關係,沒有邏輯上的相互必然性。熱2邏輯 經驗歸納,否定A機 B機不可製造 ...

戀愛和生活有什麼關係?

Tina娜 當然有很大的關係了,你的戀愛決定著你戀愛後的生活情況,如果你的戀愛很甜蜜,那麼你的生活也隨之甜蜜,如果不順利,那麼你的生活質量會下降。恩.對的 柴柴阿 生活可以沒有戀愛。戀愛必須要生活。戀愛多簡單,整天吃吃喝喝玩玩樂樂,不用考慮很多有關於財公尺油鹽的東西。不用考慮房租吖,水電費吖。而生活...

夸克和量子有什麼關係?

自學生 量子,是最小的數量單位,是最小的 一對的正和反 的半數。都是萬物共同統一的一對標準,都是原理規律基準的元點和半徑模型。因我文化低,敬請大家指導和幫助 乙個很普通的名字 不止一次被人問,量子 到底是個什麼子。憂愁。量子是個泛稱,不是某種具體的粒子!量子最早對應的英文是 quanta 指的是能量...