該定理被稱為無噪編碼定理，它經常在信息理論書中以笨拙的方式得到證明。定理的要點是計算每個變量的最小位數，您需要對從$ 1 ... K $中選擇的N個相同隨機變量的值進行編碼，這些變量的值$ i $在$ 1 $和$ K $之間是$ p_i $。在N大限制內，每個變量平均需要的最小位數被定義為隨機變量中的信息。這是您需要在計算機中記錄的每個變量的最小信息位數，以便以完美的保真度記住N個副本的值。

如果變量是均勻分佈的，那麼答案很明顯：對於N次擲有$ K ^ N $個可能性，對於$ CN $個比特有$ 2 ^ {CN} $個可能性，因此對於大N來說$ C = \ log_2（k）$。少於CN個比特，您將無法對隨機變量的值進行編碼，因為它們的可能性均相同。除此之外，您將擁有更多空間。這是統一隨機變量中的信息。

對於一般分佈，您只需一點點大數定律即可得到答案。如果您有許多隨機變量的副本，則概率之和等於1，

$$ P（n_1，n_2，...，n_k）= \ prod_ {j = 1} ^ N p_ {n_j} $$

對於大的N，此概率由類型i的值數等於$ Np_i $的那些配置所控制，因為這是類型i的平均數。因此，任何典型配置上的P值都是：

$$ P（n_1，...，n_k）= \ prod_ {i = 1} ^ k p_i ^ {Np_i} = e ^ {N \ sum p_i \ log（p_i）} $$

因此對於概率不是非常小的那些可能性，概率或多或少是恆定的並且等於上述值。這些並非不可能的可能性的總數M（N）是使概率之和等於1所需要的。

$$ M（N）\ prope e ^ {-N \ sum p_i \ log（p_i）} $$

要對每N個簽中實現M（N）個可能性中的哪個進行編碼，因此您需要一些足以對所有這些可能性進行編碼的B（N）位：

$$ 2 ^ {B（N）} \ propto e ^ {-N \ sum p_i \ log（p_i）} $$

這意味著

$$ {B（N）\ over N} =-\ sum p_i \ log_2（p_i）$$

所有次導常數都被較大的N限制所淘汰。這就是信息，上面的漸近等式是Shannon無噪聲編碼定理。要使其嚴謹，您需要對大量估計值進行一些仔細的限制。考慮一下您選擇隨機變量的兩個值併兩次獲得相同值的可能性：

$$ P_2 = \ sum p_i ^ 2 $$

這顯然是一個估計要選擇多少個不同的值。如果您問以k為單位獲得相同值k次的概率是什麼，則為

$$ P_k = \ sum p_i p_i ^ {k-1} $$

如果您問$ k = 1 + \ epsilon $投擲後重合的概率是多少，您將獲得香農熵。

信息中的熵

要從Shannon信息中恢復統計機制，您可以得到：

信息的熵

p>

• 宏觀守恆量（或其熱力學共軛物），能量，動量，角動量，電荷和粒子數的值
• 宏觀約束（或其熱動力共軛物）

然後，微觀結構的統計分佈是相空間上的最大熵分佈（盡可能少的信息為您所知），滿足以下約束：數量與宏觀數量相匹配。

從基本假設中得出$ \ sum p \ log p $公式的最佳（IMHO）推導方法是Shannon最初給出的公式：

Shannon（1948）一種通信數學理論。貝爾系統技術雜誌。 http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6773024

但是，香農並不關心物理學，而是關心電報，因此他的論證出現在信息傳遞的背景，而不是統計機制。要了解香農的作品與物理學的相關性，最好的參考文獻是埃德溫·傑恩斯（Edwin Jaynes）的論文。他寫了幾十篇關於這個問題的論文。我最喜歡的是公認的相當長的

Jaynes，E.T.，1979年，“我們站在最大熵的什麼位置？”在“最大熵形式主義”一書中，R。D. Levine和M. Tribus（編輯），M。I. T. Press，劍橋，麻薩諸塞州，第2頁。 15; http://bayes.wustl.edu/etj/articles/stand.on.entropy.pdf

如果需要熵是廣義的，並且取決於微觀狀態概率$ p $，則可以理解熵$ S =-\ sum p \ ln p $的函數形式。

考慮一個由兩個獨立的子系統A和B組成的系統$ S_ {AB} $。然後$ S_ {AB} = S_A + S_B $和$ p_ {AB} = p_A p_B $，因為A和B解耦了。

$$ S_ {AB} =-\ sum p_ {AB} \ ln p_ {AB} =-\ sum p_ {A} \ sum p_B \ ln p_A-\ sum p_ {A} \ sum p_B \ ln p_B $ $

$$ =-\ sum p_ {A} \ ln p_A-\ sum p_B \ ln p_B = S_A + S_B $$此自變量有效直到一個因數，結果就是玻爾茲曼統計力學中的常數$ k_B $：$ S =-k_B \ sum p \ ln p $，這是由於Gibbs所致，早於Shannon。

從純粹的物理學角度來解決這個問題，這就是系統的吉布斯熵。首先，儘管可以擴展熵的概念，但我們通常在討論平衡熱力學，這當然是首次引入吉布斯熵的地方。

您當然是正確的，在技術上可以完全描述動力學他們的運動方程式，但是對於熱力學這個主題並沒有太大的需求。我的意思是說，熱力學在某些方面不像物理學中的其他學科那樣“基礎性”，因為它沒有嘗試對正在研究的系統提供所有內容的完整描述。您通常是在討論大型系統（因此要尋找宏觀屬性），或者討論與大型環境交互的小型系統。 （例如，談論電子的溫度並沒有太多意義）。實際上，搜索這樣的系統的確定性描述是完全不切實際的（即使沒有混沌理論和量子力學，方程式的數量也是如此）

使用平衡統計熱力學（它是根據微觀描述的平均值尋找經典熱力學的正當理由），因此，我們從等式原理開始先驗概率表示對於一個孤立的系統，該系統長期以來一直處於單獨狀態（模糊，但基本上處於平衡狀態），系統可用的每個微狀態都同樣可能被佔據。這是一個很大的假設，並且很多人希望能夠對其進行正確的論證，但是人們經常在對稱性上爭論不休（根據您掌握的信息，我們沒有理由假設某個特定的微狀態比任何其他）。不僅如此，它還可以工作。

玻爾茲曼（Boltzmann）假定隔離系統的熵為$ S = k \ ln（\ Omega）$，其中$ \ Omega $是系統可用的微狀態數（假設離散數量的微狀態，尤其是當您談論玻耳茲曼/吉布斯熵時。這是一個假設，但必須與經典的熱力學熵保持一致。當您考慮系統與環境熱接觸且微態概率不再相等時，吉布斯熵是對此的自然擴展。您可以證明它與許多系統的經典熱力學熵是一致的，並且確實表明瞭如何將熵視為衡量系統微觀細節不確定性的指標。