一、什麼是決策樹（decision tree）——機器學習中的一個重要的分類演算法

決策樹是一個類似於資料流程圖的樹結構：其中，每個內部節點表示一個屬性上的測試，每個分支代表一個屬性輸出，而每個樹葉結點代表類或者類的分佈，樹的最頂層是根結點

根據天氣情況決定出遊與否的案例

二、決策樹演算法構建

2.1決策樹的核心思路

• 特徵選擇：從訓練資料的特徵中選擇一個特徵作為當前節點的分裂標準（特徵選擇的標準不同產生了不同的特徵決策樹演算法）。
• 決策樹生成：根據所選特徵評估標準，從上至下遞迴地生成子節點，直到資料集不可分則停止決策樹停止聲場。
• 剪枝：決策樹容易過擬合，需要剪枝來縮小樹的結構和規模（包括預剪枝和後剪枝）。

2.2  熵的概念：度量資訊的方式

實現決策樹的演算法包括ID3、C4.5演算法等。常見的ID3核心思想是以資訊增益度量屬性選擇，選擇分裂後資訊增益最大的屬性進行分裂。

一條資訊的資訊量大小和它的不確定性有直接的關係，要搞清楚一件非常不確定的事情，或者是我們一無所知的事情，需要大量的資訊====>資訊量的度量就等於不確定性的 多少。也就是說變數的不確定性越大，熵就越大

資訊熵的計算公司

S為所有事件集合，p為發生概率，c為特徵總數。

資訊增益（information gain）是指資訊劃分前後的熵的變化，也就是說由於使用這個屬性分割樣例而導致的期望熵降低。也就是說，資訊增益就是原有資訊熵與屬性劃分後資訊熵（需要對劃分後的資訊熵取期望值）的差值，具體計算如下：

三、IDE3決策樹的Python實現

以下面這個不同年齡段的人買電腦的情況為例子建模型演算法

'''
Created on 2018年7月5日
使用python內的科學計算的庫實現利用決策樹解決問題 
@author: lenovo
'''
#coding:utf-8
from sklearn.feature_extraction import DictVectorizer
#資料儲存的格式 python自帶不需要安裝
import csv 
#預處理的包
from sklearn import preprocessing
from sklearn.externals.six import StringIO
from sklearn.tree import tree 
from sklearn.tree import export_graphviz
'''
檔案儲存格式需要是utf-8
window中的目錄形式需要是左斜槓 F:/AA_BigData/test_data/test1.csv
excel表格儲存成csv格式並且是utf-8格式的編碼
'''
'''
決策樹資料來源讀取
scklearn要求的資料型別 特徵值屬性必須是數值型的
需要對資料進行預處理
'''
#裝特徵的值
featureList=[] 
#裝類別的詞
labelList=[]
with open("F:/AA_BigData/test_data/decision_tree.csv", "r",encoding="utf-8") as csvfile:
    decision =csv.reader(csvfile)
    headers =[]
    row =1
    for item in decision:
       if row==1:
          row=row+1
          for head in item:
              headers.append(head)
       else:
           itemDict={}
           labelList.append(item[len(item)-1])
           for num in range(1,len(item)-1):
#                print(item[num])
               itemDict[headers[num]]=item[num]
           featureList.append(itemDict)  
print(headers)
print(labelList)
print(featureList)
'''
將原始資料轉換成包含有字典的List
將建好的包含字典的list用DictVectorizer物件轉換成0-1矩陣
'''
vec =DictVectorizer()
dumyX =vec.fit_transform(featureList).toarray();
#對於類別使用同樣的方法
lb =preprocessing.LabelBinarizer()
dumyY=lb.fit_transform(labelList)
print(dumyY)
'''
 1.構建分類器——決策樹模型
 2.使用資料訓練決策樹模型
'''
clf =tree.DecisionTreeClassifier(criterion="entropy")
clf.fit(dumyX,dumyY)
print(str(clf))
'''
1.將生成的分類器轉換成dot格式的 資料
2.在命令列中dot -Tpdf iris.dot -o output.pdf將dot檔案轉換成pdf圖的檔案
'''
#視訊上講的不適用python3.5
with open("F:/AA_BigData/test_data/decisiontree.dot", "w") as wFile:
   export_graphviz(clf,out_file=wFile,feature_names=vec.get_feature_names())
    
    
    
 

Graphvize對決策樹的視覺化