1. 首頁 > 生活百科 > >

熵增 熵( 三 )

生活百科


熵增 熵

文章插圖
兩種拋硬幣試驗都有相同的熵，即H(0.8, 0.2) = H(0.2, 0.8) 。
更通用的形式，對于個結果的試驗，我們有：
實際上這對于有任何數量結果的試驗都適用 。我們可以以任意的方式調整參數的順序，而所有的結果都是一樣的 。
總結回顧一下，香農熵是一種不確定性的度量 。
它被廣泛的適用，因為它滿足了我們想要的一些標準（同時也是因為我們生活中充滿了不確定性） 。唯一性定理告訴我們，只有一個函數族具有我們想要的四種基本性質 。香農熵是這個函數族的一個很自然的選擇 。
熵的性質有（1）對于均勻分布有更大的熵；（2）對于獨立事件熵是可加的；（3）具有非零概率的結果數量增加，熵也會增加；（4）連續性；（5）非負性；（6）確定事件的熵為0；（7）參數排列不變性 。
【熵增熵】via TowardsDatascience，雷鋒網 AI 科技評論編譯

推薦閱讀