python使用sklearn實現決策樹的方法示例
1. 基本環境
安裝 anaconda 環境, 由於國內登陸不了他的官網 https://www.continuum.io/downloads,不過可以使用國內的映象站點: https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/
新增繪圖工具 Graphviz http://www.graphviz.org/Download_windows.php
安裝後, 將bin 目錄內容新增到環境變數path 即可
參考blog : https://www.jb51.net/article/169878.htm
官網技術文件 : http://scikit-learn.org/stable/modules/tree.html#tree-algorithms-id3-c4-5-c5-0-and-cart
2. 遇到的一些問題
csv 檔案讀取 https://docs.python.org/3.5/library/csv.html?highlight=csv#module-csv
https://docs.python.org/2/library/csv.html?highlight=csv#module-csv
3. 實現
資料檔案:
這是一個給定 4 個屬性, age, income, student,credit_rating 以及 一個 標記屬性 class_buys_computer 的資料集, 我們需要根據這個資料集進行分析並構建一顆決策樹
程式碼實現:
核心就是呼叫 tree 的 DecisionTreeClassifier 方法對資料進行 訓練得到一顆決策樹
# -*- coding: utf-8 -*- """ Created on Sun Dec 25 11:25:40 2016 @author: Administrator """ from sklearn.feature_extraction import DictVectorizer import csv from sklearn import tree from sklearn import preprocessing from sklearn.externals.six import StringIO import pydotplus from IPython.display import Image # Read in the csv file and put features into list of dict and list of class label allElectornicsData = open('AllElectronics.csv','r') reader = csv.reader(allElectornicsData) # headers = reader.next() python2.7 supported 本質獲取csv 檔案的第一行資料 #headers = reader.__next__() python 3.5.2 headers = next(reader) print(headers) featureList = [] labelList = [] for row in reader: labelList.append(row[len(row) - 1]) rowDict = {} for i in range(1,len(row) - 1): rowDict[headers[i]] = row[i] featureList.append(rowDict) print(featureList) print(labelList) # Vetorize features vec = DictVectorizer() dummyX = vec.fit_transform(featureList).toarray() print("dummyX: " + str(dummyX)) print(vec.get_feature_names()) print("labelList: " + str(labelList)) # vectorize class labels lb = preprocessing.LabelBinarizer() dummyY = lb.fit_transform(labelList) print("dummyY: ",str(dummyY)) # Using decision tree for classification ===========【此處呼叫為演算法核心】============ #clf = tree.DecisionTreeClassifier(criterion='entropy') clf = tree.DecisionTreeClassifier(criterion='gini') clf = clf.fit(dummyX,dummyY) print("clf: ",str(clf)) # Visualize model # dot -Tpdf iris.dot -o ouput.pdf with open("allElectronicInformationGainOri.dot",'w') as f: f = tree.export_graphviz(clf,feature_names = vec.get_feature_names(),out_file = f) # predict oneRowX = dummyX[0,:] print("oneRowX: " + str(oneRowX)) newRowX = oneRowX newRowX[0] = 1 newRowX[2] = 0 print("newRowX: " + str(newRowX)) predictedY = clf.predict(newRowX) print("predictedY: " + str(predictedY))
輸出結果:
ID3 演算法
CART 演算法
4. 決策樹的優缺點
決策樹的優勢
- 簡單易用,而且輸出的結果易於解釋,樹能夠被圖形化,加深了直觀的理解。
- 幾乎不需要對資料進行預處理。
- 演算法的開銷不大,而且決策樹一旦建立,對於未知樣本的分類十分快,最壞情況下的時間複雜度是O(w),w是樹的最大深度。
- 能夠用於多類的分類。
- 能夠容忍噪點。
決策樹的劣勢
- 容易過擬合。
- 容易被類別中佔多數的類影響而產生bias,所以推薦在送入演算法之間先平衡下資料中各個類別所佔的比例。
- 決策樹採用的是自頂向下的遞迴劃分法,因此自定而下到了末端枝葉包含的資料量會很少,我們會依據很少的資料量取做決策,這樣的決策是不具有統計意義的,這就是資料碎片的問題。
以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支援我們。