1. 首頁 > 生活百科 > >

熵增 熵( 二 )

生活百科


考慮兩個特殊的硬幣，之一個硬幣正面朝上 (H, Head) 的概率為80%，背面朝上 (T, Tail) 的概率為 20% 。另一個硬幣的正面朝上和反面朝上的概率分別為 60% 和 40% 。如果我們同事拋兩枚硬幣，那么有四種可能：正正，正反，反正，反反 。對應的概率分別為[0.48, 0.32, 0.12, 0.08] 。

熵增 熵

文章插圖
兩個獨立事件的聯合熵等于獨立事件的熵的和
將這些概率帶入到熵的公式中，我們能夠看到：
就跟我們設想的一樣，兩個獨立事件的聯合熵等于各個獨立事件的熵的和 。
基本性質3：加入發生概率為0的結果并不會有影響假設有一個游戲，獲勝條件如下：（a）只要#1號結果出現，你就贏了 。（b）你可以在兩個概率分布 A 和 B 中選一個進行游戲 。分布 A 有兩種可能，#1號結果為 80% 概率，#2號結果為 20% 概率 。分布 B 有三種結果，#1號結果80%，#2號結果20%，#3號結果0%.
熵增 熵

文章插圖
增加第三個概率為0的結果并不會有什么不同
給定 A 和 B 兩個選擇，你會選哪個？可能正確的反應應該是聳聳肩或白個眼 。第三個結果的加入并沒有增加或減少這個游戲的不確定性 。誰關心到底是用A還是B呀，因為用哪個都是一樣的 。
熵的公式也滿足這個性質：
即，增加一個概率為0的結果，并不會影響對于不確定性的度量 。
基本性質4：不確定性的度量應該是連續的最后一個基本性質是連續性 。
連續性的最直觀的解釋就是沒有斷開或者空洞 。更精確的解釋是：輸出（在我們的場景下是不確定性）中任意小的變化，都可以由輸入（概率）中足夠小的變化得到 。
對數函數在定義域上每個點都是連續的 。在子集上有限數量函數的和和乘積也是連續的 。由此可能得出熵函數也是連續的 。
唯一性定理
Khinchin（1957）證明，滿足上述四種基本屬性的唯一函數族具有如下形式：
熵增 熵

文章插圖
其中λ是正常數 。Khinchin稱之為唯一性定理 。將λ設為1，并使用以2為底的對數就得到了香農熵 。
重申一下，使用熵作為不確定性度量是因為它具有我們期望的屬性，并且是從滿足上面提到的四個屬性的函數族中做出的很自然的選擇 。
其他屬性除了上述用于Khinchin的唯一性定理中的四個基本屬性，熵還具有一些其他的性質，下面就介紹其中的一些 。
性質5：具有更多可能結果的均勻分布有更大的不確定性比如你可以在拋硬幣試驗和拋骰子試驗中做出一個選擇，如果硬幣正面朝上或者骰子1那面朝上就算贏 。你會選擇那個試驗？如果你想更大化收入，肯定會選擇硬幣 。如果只是想體驗下不確定性，那可能就會選骰子 。
熵增 熵

文章插圖
隨著等概率結果的數量的增加，不確定性的度量也應該增加 。
這正是熵所做的：H（1/6，1/6，1/6，1/6，1/6，1/6）> H（0.5，0.5）
一般來說，L(k)為具有K個結果的均勻分布的熵，我們能夠得到：
對于m>n，有
性質6：事件擁有非負的不確定性你知道什么是負的不確定性嗎？反正我也不知道 。
對于一個用戶友好的不確定性度量來說，無論輸入是什么，應該總會返回一個非負的結果 。
熵的公式同樣滿足這個性質，我們來看一下公式：
熵增 熵

文章插圖
概率是定義在0-1的范圍內的，因此是非負的 。所以概率的對數是負的 。概率乘概率的對數不會改變符號 。因此求和之后應該是負的，最終負負得正 。所以對于所有的輸入，熵都是非負的 。
性質7：有確定結果的事件具有0不確定性假設你擁有一個魔法硬幣，無論你怎么拋，硬幣總是正面朝上 。
熵增 熵

文章插圖
你會怎么量化這個魔法硬幣的不確定性，或者其他情況下有確定結果的事件的不確定性？這中情況下就沒有不確定性，所以結果也很自然，不確定性為0 。
熵的定義也滿足這個性質 。
假設結果i一定會發生，即p_i=1，所以H(X)為：
即，確定事件的熵為0 。
性質8：調轉參數順序沒有影響這是另一個顯而易見的理想性質 ?？紤]兩種情況，之一個，拋硬幣正面朝上的概率和背面朝上的概率分別為80%和20% 。第二個情況里概率正好相反：正面朝上和背面朝上的概率分別為20%和80% 。

推薦閱讀