交叉熵（Cross-Entropy）

交叉熵是一個在機器學習領域經常提到的概念。它經常用作代價(損失)函式，而均方誤差或平均絕對誤差在使用梯度優化的方法時往往效果不佳，一些飽和的神經網路輸出單元結合這些代價函式時會產生非常小的梯度，這也是交叉熵代價函式比均方誤差或平均絕對誤差更受歡迎的原因。在學習交叉熵之前，我們先來了解下其他的基礎概念：

1.什麼是自資訊(self-information)？

定義：假設X$X$是一個離散型隨機變數，其取值集合為χ$\chi$，概率分佈函式為p(x)=P(X=x),x∈χ$p(x)=P(X=x),x\in \chi$,我們定義事件X=x0$X=x_0$的自資訊為：

I(x0)=−log(

p(x0))$I(x_0)=-log(p(x_0))$

可以理解為，一個事件發生的概率越大，則它所攜帶的資訊量就越小，而當p(x0)=1$p(x_0)=1$時，熵將等於0，也就是說該事件的發生包含的資訊量小。
舉個例子，小明平時不愛學習，考試經常不及格，而小王是個勤奮學習的好學生，經常得滿分，所以我們可以做如下假設：
事件A：小明考試及格，對應的概率P(xA)=0.1$P(x_A)=0.1$，資訊量為I(xA)=−log(0.1)=3.3219$I(x_A)=-log(0.1)=3.3219$ .
事件B：小王考試及格，對應的概率P(xB)=0.999$P(x_B)=0.999$，資訊量為I(xB)=−log(0.999)=0.0014$I(x_{}$

B)=−log(0.999)=0.0014

可以看出，結果非常符合直觀：小明及格的可能性很低(十次考試只有一次及格)，因此如果某次考試及格了（大家都會說：XXX竟然及格了！），必然會引入較大的資訊量，對應的I$I$值也較高。而對於小王而言，考試及格是大概率事件，在事件B發生前，大家普遍認為事件B的發生幾乎是確定的，因此當某次考試小王及格這個事件發生時並不會引入太多的資訊量，相應的I$I$值也非常的低。

2.什麼是熵（Entropy）？

定義：對於一個隨機變數X$X$而言，它的所有可能取值的資訊量的期望（E[I(x)]$E[I(x)]$）就稱為熵。
當X$X$是離散的：

H(X)=E[I(x)]=−∑x∈

Xp(x)logp(x)$H(X)=E[I(x)]=-\sum _{x\in X}p(x)logp(x)$
當X$X$是連續的隨機變數：熵定義為：
H(X)=−∫x∈Xp(x)logp(x)dx$H(X)=-{\int }_{x\in X}p(x)logp(x)dx$

自資訊只能處理單個的輸出。而熵是對整個概率分佈中不確定性總量進行量化。

約定：p=0$p=0$時，定義0log0=0$0log0=0$。通常對數以2為底或者e為底，這是熵的單位稱作位元（bit）或者納特（nat）
當隨機變數只取兩個值的時候，即X$X$分佈為：P(X=1)=p，P(X=0)=1−p，0<=p<=1$P(X=1)=p，P(X=0)=1-p，0<=p<=1$
此時，熵隨p$p$的變化為：

圖為分佈為伯努利分佈時，熵和概率的關係

還是通過上邊的例子來說明，假設小明的考試結果是一個0-1分佈X$X$只有兩個取值{0：不及格，1：及格}，在某次考試結果公佈前，小明的考試結果有多大的不確定度呢？你肯定會說：十有八九不及格！因為根據先驗知識，小明及格的概率僅有0.1,90%的可能都是不及格的。怎麼來度量這個不確定度？求期望！不錯，我們對所有可能結果帶來的額外資訊量求取均值（期望），其結果不就能夠衡量出小明考試成績的不確定度了嗎。
即：
HA(x)=−[p(xA)log(p(xA))+(1−p(xA))log(1−p(xA))]=0.4690$H_{A(x)}=-[p(x_A)log(p(x_A))+(1-p(x_A))log(1-p(x_A))]=0.4690$
對應小王的熵：
HB(x)=−[p(xB)log(p(

相關推薦

交叉熵、熵和相對熵的通俗易懂解釋

交叉熵（Cross-Entropy） 交叉熵是一個在機器學習領域經常提到的概念。它經常用作代價(損失)函式，而均方誤差或平均絕對誤差在使用梯度優化的方法時往往效果不佳，一些飽和的神經網路輸出單元結合這些代價函式時會產生非常小的梯度，這也是交叉熵代

熵、聯和熵與條件熵、交叉熵與相對熵是什麼呢？詳細解讀這裡有！

熵是一個很常見的名詞，在物理上有重要的評估意義，自然語言處理的預備知識中，熵作為資訊理論的基本和重點知識，在這裡我來記錄一下學習的總結，並以此與大家分享。 資訊理論基本知識 1、熵 2、聯和熵與條件熵 3、互資訊 4、交叉熵與相對熵 5、困惑度 6、總結 1、熵 熵也被稱為自資訊，描述一個隨機變數的不確定性

Linux環境下openssl交叉編譯、安裝和裁剪

最近的專案需求中依賴libcrypto和libssl庫，所以需要編譯安裝openssl0.9.8e，花了差不多一天的時間終於成功安裝和裁剪，現在總結並分享個人的方法，貼出來供大家參考和指正。 方法如下（不同的平臺要根據實際環境更改相應的編譯工具）： 一、配置： ./conf

線程和進程的通俗易懂解釋（還有你想看的圖片喲）

ces col 情況下 clas 可能 鍵盤輸入 產生 處理 color 　　QQ程序如果沒有運行，那它只是程序，而不是進程，一旦運行了QQ程序，那它就成了進程。QQ程序一旦運行成了進程，操作系統如windows就要分配給QQ運行的內存空間，CPU運行的時間以及其它資源，這

傅立葉變換的意義和理解（通俗易懂）

這篇文章的核心思想就是：要讓讀者在不看任何數學公式的情況下理解傅立葉分析。 傅立葉分析不僅僅是一個數學工具，更是一種可以徹底顛覆一個人以前世界觀的思維模式。但不幸的是，傅立葉分析的公式看起來太複雜了，所以很多大一新生上來就懵圈並從此對它深惡痛絕。老實說，這麼有意思的東西居然成了大學裡的殺

這是轉載的 java反射機制與原理，原作者講解的相對很通俗易懂

轉自這裡 Java的反射機制是Java特性之一，反射機制是構建框架技術的基礎所在。靈活掌握Java反射機制，對大家以後學習框架技術有很大的幫助。 那麼什麼是Java的反射呢？        大

response重定向和request轉發 通俗易懂

在做web專案時我們經常會用到轉發和重定向，而對於初學者來說總是被他們倆個搞得一頭霧水，他們兩個貌似給人神祕感，其實是我們還不夠了解他們。 為什麼response重定向和為什麼request是轉發？ 當我們些許的去思考這個問題的時候，是否和我一樣有恍然大悟的感覺呢。 r

關於x86、i386、i486、i586和i686等名詞的解釋

一、x86與i386、i486、i586、i686等         x86或80x86是英特爾Intel首先開發製造的一種微處理器體系結構的泛稱。         該系列較早期的處理器名稱是以數字來表示，並以“86”作為結尾，包括Intel 8086、80186、80286、80386以及80486

通俗易懂解釋知識圖譜（Knowledge Graph）

1. 前言 隨著大資料的應用越來越廣泛，人工智慧也終於在幾番沉浮後再次煥發出了活力。除了理論基礎層面的發展以外，本輪發展最為矚目的是大資料基礎設施、儲存和計算能力增長所帶來的前所未有的資料紅利。 未來伴隨著深度學習對於大資料的紅利消耗殆盡，如果基礎理論方面沒有新的突破，深度學習模型效果的天花板將日益迫近。

java Condition條件變數的通俗易懂解釋

最近在看pthread方面的書，看到條件變數一節的時候，回憶了下java中條件變數的使用方式。 java中條件變數都實現了java.util.concurrent.locks.Condition介面，條件變數的例項化是通過一個Lock物件上呼叫newCondition(

通俗易懂解釋java反射機制（一）

Java的反射機制是Java特性之一，反射機制是構建框架技術的基礎所在。靈活掌握Java反射機制，對大家以後學習框架技術有很大的幫助。  那麼什麼是Java的反射呢？        大家都知道，要讓Java程式能夠執行，那麼就得讓Java類要被Java虛擬機器載入。Java

資訊熵、交叉熵與相對熵(KL散度)的關係，還介紹了聯合資訊熵和條件熵、互資訊（資訊增益）的概念

@(關於機器學習的其他)[KL散度][資訊熵][交叉熵] 1、資訊量 資訊量用一個資訊所需要的編碼長度來定義,而一個資訊的編碼長度跟其出現的概率呈負相關,因為一個短編碼的代價也是巨大的,因為會放棄所有以其為字首的編碼方式,比如字母”a”用單一個

通俗的解釋交叉熵與相對熵

其中 函數 tar 大小 四種 表示 static nbsp 如果 原文　　如何通俗的解釋交叉熵與相對熵? 相關公式： 假設現在有一個樣本集中兩個概率分布 p,q，其中 p 為真實分布，q 為非真實分布。假如，按照真實分布 p 來衡量識別一個樣本所需要的編碼長度的期望為：

資訊理論複習筆記（1）：資訊熵、條件熵，聯合熵，互資訊、交叉熵，相對熵

文章目錄 1.1 資訊和資訊的測量 1.1.1 什麼是資訊 1.1.1 資訊怎麼表示 1.2 資訊熵 1.3 條件熵和聯合熵

KL散度(相對熵)、交叉熵的解析

1 前言 注意兩個名詞的區別： 相對熵：Kullback–Leibler divergence 交叉熵：cross entropy KL距離的幾個用途： ① 衡量兩個概率分佈的差異。 ② 衡量利用概率分佈Q 擬合概率分佈P 時的能量損耗，也就是說擬合以後丟失了

熵、最大似然估計（相對熵）、KL散度、交叉熵相互關係及程式碼計算

1 熵 熵其實是資訊量的期望值，它是一個隨機變數的確定性的度量。熵越大，變數的取值越不確定，越無序。 公式: H(X)=E[I(x)]=−E[logP(x)]=-∑P(xi)logP(xi) 熵代表資訊量，基於P分佈自身的編碼長度，是最優的編碼長度。 2 ML

熵、聯合熵、條件熵、相對熵、交叉熵、互資訊

[1] https://www.cnblogs.com/kyrieng/p/8694705.html 熵 H (

資訊、資訊熵、條件熵、資訊增益、資訊增益比、基尼係數、相對熵、交叉熵

參考： http://www.cnblogs.com/fantasy01/p/4581803.html?utm_source=tuicool http://blog.csdn.net/xbmatrix/article/details/58248347 https://www

熵、資訊量、資訊熵、交叉熵-個人小結

一、理解熵 1、首先看到這個詞會產疑問，熵是什麼？誰定義的？用來幹什麼的？為什麼機器學習會用到熵？ 有了這些疑問後慢慢的開始探索～ 複製程式碼 熵，熱力學中表徵物質狀態的參量之一，用符號S表示，其物理意義是體系混亂程度的度量。 克勞修斯(T.Clausius) 於1854年提出熵(entropie)的概念

機器學習基礎（五十八）—— 夏農熵 相對熵（KL散度）與交叉熵

分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！