最近聯絡了決策樹的作者Ｑｕｉｎｌａｎ教授，搞清了網上對Ｃ４．５的一些不夠前沿的描述，
《Inferring Decision Trees Using the Minimum Description Length Principle*》
《Improved Use of Continuous Attributes in　Ｃ４．５》
對這兩篇文章做下總結：

我們一般希望決策樹可以稍微簡化點,要不然就太亂了.
所以這篇論文怎麼簡化決策樹呢?
作者提出使用MDL來簡化決策樹,簡化的衡量指標是MDL,也就是ＭＤＬ編碼最短原則.
為什麼使用ＭＤＬ來衡量決策樹？論文中提到，這個就是一個合理的ａｒｔｉｆｉｃｅ，也就是作者設定的一個合理的量化標準．
遵循這個標準對決策樹進行簡化

所謂的MDL，就是從傳送方傳送＂編碼後的決策樹模型＋不遵守模型的一些例外資料＂給接收方,要求傳送的長度最短.

正好１９96年以前,作者說有文章吐槽Quinlan的C4.5容易對"連續數值"的特徵有偏袒，也就是說，從ＩＤ３的熵增益到Ｃ４．５的熵增益率作為判據以後，依然會出現分割時，傾向於選擇連續數值特徵作為分割特徵的問題．

Ｑｕｉｎｌａｎ教授看到有文章吐槽以後就對Ｃ４．５進行了最後一次改進，改進的文章就是《Improved Use of Continuous Attributes in　Ｃ４．５》
這篇文章中的Ｃ４．５也是最後一個版本Ｃ４．５－Ｒｅｌｅａｓｅ８

下面詳細解釋ＭＤＬ的原理．

這裡的ＭＤＬ：有ｓｅｎｄｅｒ和ｒｅｃｅｉｖｅｒ兩方，
兩方具備相同的資料集，但是限定：
ｒｅｃｅｉｖｅｒ的資料集沒有類別標籤，也就是裸資料
現在想讓ｓｅｎｄｅｒ把這個分類規則傳送給ｒｅｃｅｉｖｅｒ
要求這個分類規則最短，這個就是決策樹的ＭＤＬ原則．

假如，一個連續數值的特徵有Ｎ個取值，那麼就有Ｎ－１個候選閾值．
我們採用獨熱編碼的話，從ｓｅｎｄｅｒ－＞ｒｅｃｅｉｖｅｒ，就需要Ｎ－１ｂｉｔ，
為了省事兒，我們進行壓縮，需要ｂｉｔ數為log2(N-1)
例如：
某連續特徵取值有９個，那麼候選閾值是８個
ｓｅｎｄｅｒ傳送０１１
那麼ｒｅｃｅｉｖｅｒ解碼後是３，選擇第３個（從第０個開始數）候選閾值作為該特徵的分割閾值
這樣呢，傳輸成本就從原來的８ｂｉｔ下降為ｌｏｇ２（８）＝３個ｂｉｔ，節省了５個ｂｉｔ

所以，Ｒｏｓｓ　Ｑｕｉｎｌａｎ教授對於決策樹的簡化與我們一般人理解的不同，我們一般可能百度上看個什麼部落格，深度淺一些啊，就是一個比較簡化的決策樹的．而Ｑｕｉｎｌａｎ教授對於＂決策樹簡化的量化程度＂，是依據於ＭＤＬ原則的．

所謂的ＭＤＬ有一些限定：
ｓｅｎｄｅｒ與ｒｅｃｅｉｃｅｒ可以事先約定第幾個ｂｉｔ的數值代表什麼含義．
ｓｅｎｄｅｒ與ｒｅｃｅｉｃｅｒ可以事先約定可能的取值的列表，例如ｓｅｎｄｅｒ告訴ｒｅｃｅｉｖｅｒ對連續特徵進行分割時，第幾個閾值作為分割閾值，那麼這裡至少需要ｌｏｇ２（Ｎ－１）ｂｉｔ才能表達是第幾個．

這篇文章中，ｌｏｇ２（Ｘ）的含義，其實是，對Ｘ採用二進位制編碼，我需要幾個ｂｉｔ？

另外，這篇論文的相關實現中，關於分支數量是：
離散的特徵可以２分支及以上．連續的特徵的對應分支一律２分支，連續的特徵，不存在多分支．

整個C4.5-Release8演算法的細節總結如下面連結所示：
https://blog.csdn.net/appleyuchi/article/details/83154696
關於ＭＤＬ＋決策樹的具體例項可以看下面的連結：
https://blog.csdn.net/appleyuchi/article/details/83216608

這兩個連結都聯絡Ｒｏｓｓ　Ｑｕｉｎｌａｎ教授看過，已經沒問題了．

先總結下ＭＤＬ：
ＭＤＬ的原因：希望ｓｅｎｄｅｒ給ｒｅｃｅｉｖｅｒ的決策樹編碼規則最小＋ｅｘｃｅｐｔｉｏｎ編碼最小
ＭＤＬ的好處：進一步降低＂優選連續數值特徵＂為分割特徵的＂傾向性＂

所謂的ｅｘｃｅｐｔｉｏｎ指的是，決策樹不完美或者輸入資料有噪聲的時候，導致按照這個決策樹規則判定的結果是錯的，這個時候就需要對這些例外（ｅｘｃｅｐｔｉｏｎ）的案例進行編碼，從ｓｅｎｄｅｒ傳輸到ｒｅｃｅｉｖｅｒ．

另外，關於第一個連結中的連續數值特徵的判據使用，再做一些補充．
$\frac{D·Ｇａｉｎ（D,T）-log2(N-1)}{Ｄ·Ｓｐｌｉｔ（Ｄ,T）}$
表示的是:
$\frac{類別標籤列的熵編碼ｂｉｔ數－劃分特徵的熵編碼ｂｉｔ數－閾值的編碼ｂｉｔ數}{劃分特徵的熵編碼ｂｉｔ數}$

前面提到了ｅｘｃｅｐｔｉｏｎ，那麼上面的分子是啥呢？它的含義在第二篇文章中有提到：
MDL thus provides aframework for trading off the complexity of a theory against its accuracy on the training data $D$.
The exceptions cost associated with a set of cases $D$ is
asymptotically equivalent to $|D|·Ｉｎｆｏ（Ｄ）$ so that $｜Ｄ｜·Ｇａｉｎ（Ｄ,T）$ measures the reduction in exceptions cost when $D$ is partitioned by a test $T$
也就是說，當Ｄ被Ｔ分割時，分割前後產生的例外（也就是不滿足決策樹分類規則的所有資料）的編碼成本的降低ｂｉｔ數（ｒｅｄｕｃｔｉｏｎ），
當Ｄ被Ｔ分割時，需要的編碼成本是:
$D·\sum_{i=1}^{k}\frac{D_i}{D}·Ｉｎｆｏ（Ｄ_i）＋\log_2(N-1)$
這裡的Ｎ是連續特徵的取值的種數．
這裡的ｋ＝２，Ｃ４．５的連續特徵分割時，都是二樹叉的，不存在多樹叉．
只有離散特徵才是多樹叉．
這裡的例外（exception）什麼意思呢？舉例：
特徵　類別
０．１　　０
０．３　　１
０．６　　０
０．８　　０
如果現在分割閾值＝０．５
那麼此時連續特徵轉化為離散特徵處理，也就將區間分成兩個子區間
那麼前兩條資料中，０．１和０．３對應的類別分別是０和１，也就是說，
決策樹的規則中到這一步為止，使用該特徵不能完美描述資料集，
這個時候就存在ｅｘｃｅｐｔｉｏｎ，為了對ｅｘｃｅｐｔｉｏｎ進行編碼（ＭＤＬ的要求）
每個子區間需要消耗的編碼數量為 $Di·Ｉｎｆｏ（Ｄｉ）$
所以，用來確定到底選擇哪個特徵作為分割特徵的判據變成：
到底選擇哪個特徵，能夠使得ｅｘｃｅｐｔｉｏｎ的編碼數落差最大（文中提到的ｒｅｄｕｃｔｉｏｎ　ｉｎ　ｅｘｃｅｐｔｉｏｎｓ　ｃｏｓｔ）．

因為我們分割的時候，資料集每經過一個節點，資料集總量就會下降，所以ｅｘｃｅｐｔｉｏｎ的意思就是當前資料集不能使用＂已經經過的樹枝（也就是從根節點到當前節點的一堆判定規則）＂來判定，所以稱為ｅｘｃｅｐｔｉｏｎｓ

以上是為了精確地理解Ｃ４．５的最新版本，
但是呢，面試的時候，不要說這麼多，因為面試官也是打工的，
比較浮躁，你就說熵增益最大就行了．