1樓：科技方子春
哇我們來看有限狀態機
有限狀態機大家知道叭，就是乙個機器，只有有限多個狀態，每一時刻它處在乙個狀態，接受乙個輸入，根據輸入和當前狀態，跳轉到另乙個狀態並產生輸出，如此迴圈。
現在我們有兩個狀態分別為m，n的狀態機，我們想讓它倆模擬乙個大狀態機，於是讓第乙個狀態機接受輸入，然後產生的輸出再輸入給第二個。顯然該大狀態機的輸出，只由此刻輸入和此刻兩小狀態機的狀態決定，也就是說它最多只能有m*n個狀態。
顯然，無論多麼誇張的組合方式，都沒法把若干個小狀態機用無狀態的函式組合成乙個狀態數超過它們狀態數之積的大狀態機，取對數之後就變成它們狀態數之對數之和。
顯然這個式子正是資訊理論裡面的熵的公式。
然後我們再來看，一堆熱源也是可以用無狀態的機械組合起來模擬乙個大熱源，比如說，有兩團氣體，我從一團裡面吸熱，它壓強下降，另一團氣體通過機械就會給它做功，我吸熱的時候是分不出它跟一整團氣體的區別來的。顯然根據熱力學第二定律，無論用多麼誇張的組合方式，組合出的大熱源的熵都沒法大於小熱源的熵之和。
現在知道它們有什麼聯絡了叭。(光速逃
兔責宣告：以上內容純屬本人臆想，如果你信以為真，拿去用了，結果出錯，本人概不負責
2樓：草木無情
熱力學第2定律邏輯：
1,第2類永動機有很多種類，每一種類背後是一自然現象：
A機：違反熱動力學的不可逆性（擴散、熱傳導，摩擦等）--動力學；
B機：利用卡諾效率的差異（可逆熱力學）--熱力學2,A和B屬於不同學科，兩者之間是平行關係，沒有邏輯上的相互必然性。
熱2邏輯：經驗歸納，否定A機==》B機不可製造==》所有物質卡諾效率：1-T1/T2.
3,熱2邏輯違反A和B不能互推的物理邏輯。
4, 熱2把「不可逆」拔高，其實只是動力學經驗。
3樓：
有些細節沒太搞清楚，但還是強答一下。
玻爾茲曼熵是一種特殊的資訊熵。
對任意乙個隨機變數，定義乙個量來描述它的不確定度，這個量叫做資訊熵。也就是說，任何乙個隨機變數，都可以用它的資訊熵來描述它的不確定度。而玻爾茲曼熵就是乙個特定隨機變數的資訊熵，這個隨機變數是系統的某個狀態量。
於是，所有資訊熵有的性質，都可以直接套用到玻爾茲曼熵上面。但是，由於玻爾茲曼熵只是一種特殊的資訊熵，玻爾茲曼熵的一些特殊性質，不能套用到所有資訊熵上，例如著名的熵增定律。
4樓：
哈哈， @何史提 和 @董玉龍 寫的實在太好了。我補充一條大家很熟悉，但是可能意識不到的東西。著名的決策樹（decision tree）演算法其實就是基於資訊熵的改變來進行運作的。
一般的教科書裡不太喜歡講那個decision tree是怎麼來的。就好像這玩意是窮舉搞出來的一樣。
然後基於這個決策樹東西，其他很多非常fancy的演算法比如random forest就出來了。
5樓：
2023年夏農參照2023年吉布斯給出的熵表示式，gibbs entropy和 Shannon entropy的定義都是基於概率的概念,所以都有乙個負號。因為利用狀態數有其便利的一面 ,為避免混淆,一些統計力學書中把熵公式寫成 S =klogΩ的形式, 用Ω表示同巨集觀狀態相恰的微觀狀態數.這個熵公式的美妙之處在於, 若體系的狀態數或機率具有可分解性(facto rizability)
Gibbs的熵表示式
其中 pi 是微觀狀態 i 在系統漲落中出現的機率 , 2023年夏農提出了資訊熵 (一種關於事件
發生的不確定性的度量 , a measure of uncertainty)
的定義它反映了「發生概率越小的事件其發生包含越多的資訊」的思想 .夏農資訊熵的定義是熱力學的另一種延伸！
夏農資訊熵使的資訊定量化，成為了通訊理論的基礎。
參考:物理學咬文嚼字《熵非商》
6樓：Max Snow
最近在做這方面的科研，回答乙個~
關於資訊熵的系統介紹可以看看我另乙個答案：資訊熵是什麼？ - 資料探勘，這個答案的主要內容也摘自那個答案。
首先，要糾正乙個很多人特別容易犯的認識錯誤（也是最高票答案的錯誤），就是覺得資訊熵是粗粒化的熱力學熵，實際上這是不對的。
7樓：於航
我記得資訊理論課上老師好像講過，夏農初步設計出資訊理論模型後，關於乙個表示資訊不確定性的量的名字他一直沒想好。有次給自己的乙個同事講自己剛剛建立的模型，同事提醒他說這個量和熱力學的熵很像啊。於是夏農也叫自己的量（資訊）熵了。
8樓：dzhou
資訊熵：確定條件越多，這個熵越小，很多機器翻譯追求的就是這個越小（越小就越準確嘛！）；
熱力學熵：總是從有序往無序走，本來是碼好的麻將，結果推散了；一般熵會越來越大；追求的也是要小。
9樓：市井粗人
感覺兩者相近
資訊熵：描述資訊的不確定性，熵值越高，不確定性越高，要描述清楚需要的其他資訊量就越高
物理熵：描述混亂狀態，熵值越高，混亂程度越高你看，不確定程度、混亂程度是不是一樣的
10樓：有了有了
克勞修斯熵是一種巨集觀態，表達的能量可以做功的潛力，與熱效率有關。
玻爾茲曼熵是一種微觀態，表達的是能量分布是否有序，有序就代表做功潛力大。有序和無序是乙個事物的兩個方面。
夏農熵也是一種微觀態，表達的是編碼的有序程度。有序程度高，熵值小。有序和無序同樣是乙個事物的兩個方面。
至於熵應用到社會領域，我個人覺得很有合理性，沒什麼值得吐槽的。前提只要合理定義什麼是有序，什麼是無序假設合理，倒是蠻適用的個人觀點
11樓：
資訊熵也分解釋啊，比如你是von Neumann 熵，shanon熵，Renyi熵，多了。
至於資訊熵和熱力學熵的對應，在很多經典熱力學體系中是對應的，但量子情況略有區別。具體的難以在知乎裡面說清楚
12樓：「已登出」
資訊學的熵可以理解成乙個拉格朗日量
考慮要求q= p的時候S極大而且
於是有如果Q不是P的話，可以認為是相對資訊熵（好吧，其實是要去減去乙個S(P,P))，Q=P的S(P,P)為資訊熵
很多時候S(Q,P)用來衡量兩個分布之間的差距（具體可見The Statistical Learning Theory 第一章）
好了，這麼簡單把資訊熵推到出來了，有什麼物理意義呢....
假設p和x可以分離
考慮絕熱過程，然後我們可以看到S(P,P)的不變其實就是動量造成的S(P,P)的變化和位置造成的 S(P,P)的變化補償了
現在我還沒有想清楚相對熵的物理意義，也就是 S(Q,P) - S(P,P)的物理意義我還沒有想清楚
13樓：高老師
先放乙個差強人意的wikipedia的詞條：Entropy in thermodynamics and information theory 其中關鍵的一段：
Theoretical relationship
...However, a connection can be made between the two. If the probabilities in question are the thermodynamic probabilities pi:
, the (reduced) Gibbs entropy
σ can then be seen as simply the amount of Shannon information needed
to define the detailed microscopic state of the system, given its
macroscopic description. Or, in the words of G. N. Lewis
writing about chemical entropy in 1930,"Gain in entropy always means
loss of information, and nothing more". To be more concrete, in the
discrete case using base two logarithms, the reduced Gibbs entropy is
equal to the minimum number of yes/no questions needed to be answered in
order to fully specify the microstate, given that we know the
macrostate.
...我的解釋：
熱力學熵和夏農的資訊熵的基本物理意義、測量方法、數學形式完全一致，不存在本質區別；
但二者的應用領域不一樣：
一百四十年前，熵的主要用途是用於研究熱機（蒸汽機、內燃機..），主要使用巨集觀形式（克勞修斯形式）；從一百多年前世界進入量子時代以後，研究主要使用熵的微觀形式（玻爾茲曼形式）；
資訊熵的主要用途是通訊和計算機等人工系統；
因為過去這二者的應用領域不一樣、且後者在專門領域非常成功、成功到大部分使用者都不必去關心其原始的物理意義，這又造成了一些將熵與資訊熵應用到社會領域的『偽專家』使用了一些爭議性的概念甚至錯誤的概念，結果反而一些似是而非的認識在公眾範圍裡形成了影響；
現在和未來，這二者的應用領域會出現越來越多的重疊，所以這二者本質上完全相同的事實會被越來越多人認識到。
1. 熱力學熵的玻爾茲曼形式和資訊熵的基本意義完全一樣，都是『（擁有某種觀測能力的觀測者）描述乙個系統所需的資訊量』。
對於乙個具有i個狀態，每個狀態出現概率為的系統來說，
【更正：感謝 @yourself go
董玉龍：資訊熵與熱力學統計物理中的熵有什麼區別和聯絡？ 】
Boltzmann Entropy 是
，Gibbs entropy 是
當系統趨向於平衡態時，吉布斯熵退化為玻爾茲曼熵。
Information Entropy 是：
吉布斯熵和資訊熵形式上唯一的區別只是計算對數以e為底還是以2為底、結果以nats為單位或以bit為單位。為便於比較，本文下面計算熱力學熵也以2為底。
具體演示一下：對乙個有三個硬幣的系統：
（a）如果硬幣是可分辨的（這等價於同乙個硬幣按順序拋三次、或者拋三個長相不一樣的硬幣、或者雖然三個硬幣長相一樣但我在三個可分辨的坑里分別拋...），系統一共有8種可能的狀態。
問：如果我想描述這個系統處於什麼狀態，我需要多少資訊（這是個物理問題）？如果A知道了系統處於什麼狀態，A想告訴B這個事實，需要用多少資訊（這是個通訊問題）？
計算一下：
系統的玻爾茲曼熵和資訊熵一樣，都是3 bits。
（b）如果我是乙個能力有限的觀測者，硬幣對我來說是不可分辨的（這等價於拋三個全同硬幣、或者同乙個硬幣拋三次但我不考慮順序、或者雖然三個硬幣長相不一樣但我不考慮這個差異），系統一共有4種可能的狀態：。
問：如果我想知道這個系統處於什麼狀態，我需要多少資訊？如果A知道了系統處於什麼狀態，A想告訴B這個事實，需要用多少資訊？
計算：為什麼不是2bits呢？因為這四個狀態的概率分布是不均等的，是有偏的——『一切皆有可能，但可能性大小不同』——也就是說，當我觀察這個系統之前，我不是完全不知道它會處於在狀態，而是知道它會有比較大的可能處在H1T2和H2T1，所以，這個系統對我的不確定程度並沒有2bits那麼高。
（c）如果我是乙個物理學家，硬幣對我來說是可分辨的，經過研究，我宣布這個系統的物理學熵是3。這時，假設還有A和B兩個觀察能力有缺陷的通訊工程師，他們不能分辨三個硬幣的區別，而且還不識數，只能分辨三個硬幣中H多還是T多。但是他們依然很勤奮，基於這個三硬幣系統設計了一套通訊系統，這個系統是這樣的：
A和B之間每次傳遞三個硬幣，這就完成了一段資訊的傳輸，同時A和B約定，三個硬幣中如果H多則代表0，T多則代表1，這就完成了資訊的編碼解碼。
對物理學家來說，這個系統的玻爾茲曼熵是3。對於通訊工程師來說，基於這個三硬幣系統構建的通訊編碼的資訊熵是1（計算略）。
2. 描述乙個系統所需的資訊量（資訊熵）與觀測的精細程度相關，這個精細度存在物理極限，達到物理極限時，玻爾茲曼熵就是資訊熵，系統的物理狀態數就是這個系統包含的/攜帶的資訊量的上限。
我的三硬幣系統可能有3bits資訊（情況a），也可能有1.81bits資訊（情況b），也可能只有1bits資訊（情況c），也可能完全不包含資訊（如果我甚至不能識別硬幣正反面）。對於觀測能力不同的人來說，資訊量是不同的。
觀測粒度細則資訊量大，觀測粒度粗則資訊量小。
之所以現在人們往往不覺得資訊熵和熱力學熵有什麼關係，是因為對物理系統的微觀觀測和描述早已到達了亞原子水平，而目前的資訊科技對物理系統進行編碼的精細程度還停留在相對粗粒度的分子/原子團水平（如微波通訊、快閃儲存器晶元）。但是，如果我們生活在乙個資訊科技高度發達的未來世界裡，所有的基本粒子都能被我們用於編碼，那麼很明顯的，這個世界裡的人遲早要面對乙個可怕的『編碼極限』，也就是說，當這個世界的資訊量達到（或接近）這個世界本身的玻爾茲曼熵之後，就無法增長了。理論上這是真的，『未知的世界』的『未知程度』存在乙個極限，宇宙攜帶的資訊量也有乙個極限——只不過現在人類的編碼水平離這個未來世界還很遠，所以現在我們編碼考慮效率和容錯時，編碼介質的玻爾茲曼熵基本上是完全無關的乙個東西。
資訊科技的發展（從微觀上量子計算、量子通訊，到巨集觀上大資料對社會的細粒度干預），會使資訊熵的用途越來越和統計物理趨同，所以區分這兩者的差異會顯得越來越沒有必要。
3. 熵的理論出發點是『能量可用於做功的程度』，『混亂度』只是熵的一種引申意義
本來說完1和2這個問題就應該說解釋清楚了，但是針對現在對熵的普遍的認識誤區還要多說兩句。『熵描述系統的混亂度』是蒸汽時代對熵的物理意義的簡便理解，把這個引申意義隨意引申到社會領域，這是『從哲學思辨角度對物理概念隨意發揮』的無良學者對相關領域的公眾認知造成的最大的（負）貢獻。
在蒸汽時代，熵描述的是（處於某個溫度T的）一團氣體分子的熱運動分布接近最概然分布的程度、也就是一團氣體的『混亂度』。但是，『混亂度』並不是研究熱力學的工程師和學者真正關心的——他們關心的是『不混亂的程度』、也就是這團熱氣包含的能量可用於做功的潛力大小。這才是熵這個概念被發明出來、被使用的原因。
物理學家不斷探索微觀世界，然後不斷轉化成工程技術的進步，使我們從『蒸汽時代』來到了『原子時代』——從使用熱力學熵觀察描述熱機工質，讓熱氣為我們做功，到使用玻爾茲曼熵描述原子、亞原子物質，讓雷射、奈米機器為我們做功，都是在利用有序的物理物件蘊含的能量/價值。從這裡也能看出，『資訊熵』——描述編碼（資訊）的有序程度、以及這種有序蘊含的利用價值——這個概念的用法和熱力學熵、和玻爾茲曼熵沒有任何不同，唯一不同只是觀測物件從『天然』的換成了『人工』的。
掌握了這個原則，所以就可以吐槽市面上各種對熵的誤用了。
請問究竟如何理解熵的熱力學定義？
智商稅 對這個式子的理解方法是 它不是用來定義熵的，它是用來定義溫度的。別忘了溫度這之前沒有定義。而事實上，熵這個東西應該視為概率論的概念，將樣本空間劃分為互不交叉 總和為整體的一組事件後，熵就是這一組事件的概率的負對數值的加權和 睎xii 理解熵的定義離不開熱力學第二定律，而究其根本，是因為人們在...
很多人把熱力學裡的熵定律套用在生活上，把熵增哲學化，這樣做真的符合定律本身嗎？熵定律沒有其適用範圍嗎？
阿克學長 這件事本質上和遇事不決，量子力學是一樣的。最好忽悠的物件不是完全不懂的小白，小白你說啥都半信半疑 而是剛剛懂一點還自以為有判斷力的半瓶醋，他們是真的是明明知道有坑也會往裡跳。熵增加原理有適用條件 有哲學意義 能推廣到各個領域。這些都沒錯，但是，在生活中動輒熵增加的人，大概率是不能到達上述的...
熱力學第二定律的開爾文說法和熵變有什麼關係？
賈明子 我們知道，熵的克勞修斯推導法就是從卡諾定理出發的。也就是說，只要連線到卡諾定理，這個關係就明白了。大略講，這個表述和熵的連線是這樣的，首先，卡爾文表述可以直接匯出兩個結論 所有的 同樣熱源和冷源的 可逆熱機熱效率相等 給定冷熱源下，可逆熱機效率最高 其次，上述第乙個結論說明所有可逆過程中存在...