機器學習實戰sklearn 構建決策樹
阿新 • • 發佈：2018-11-30
使用sklearn 房價資料集構建決策樹
1、匯入資料集
%matplotlib inline
import matplotlib.pyplot as plt
import pandas as pd
# 匯入資料
from sklearn.datasets.california_housing import fetch_california_housing
housing = fetch_california_housing()
print(housing.DESCR)
print(housing.data.shape)
print(housing.data[0])2、構建決策樹
# max_depth:樹的最大深度， # 構建樹模型，例項化樹 from sklearn import tree dtr = tree.DecisionTreeRegressor(max_depth = 2) # 選擇特徵 dtr.fit(housing.data[:, [6, 7]], housing.target) #要視覺化顯示 首先需要安裝 graphviz http://www.graphviz.org/Download..php dot_data = \ tree.export_graphviz( dtr, out_file = None, feature_names = housing.feature_names[6:8], filled = True, impurity = False, rounded = True )
3、視覺化
import pydotplus
graph = pydotplus.graph_from_dot_data(dot_data)
graph.get_nodes()[7].set_fillcolor("#FFF2DD")
from IPython.display import Image
Image(graph.create_png())
# 儲存決策樹為圖片
graph.write_png("dtr_white_background.png")結果：
決策樹各引數：
- 1.criterion gini or entropy - 2.splitter best or random 前者是在所有特徵中找最好的切分點 後者是在部分特徵中（資料量大的時候） - 3.max_features None（所有），log2，sqrt，N 特徵小於50的時候一般使用所有的 - 4.max_depth 資料少或者特徵少的時候可以不管這個值，如果模型樣本量多，特徵也多的情況下，可以嘗試限制下 - 5.min_samples_split 如果某節點的樣本數少於min_samples_split，則不會繼續再嘗試選擇最優特徵來進行劃分如果樣本量不大，不需要管這個值。如果樣本量數量級非常大，則推薦增大這個值。 - 6.min_samples_leaf 這個值限制了葉子節點最少的樣本數，如果某葉子節點數目小於樣本數，則會和兄弟節點一起被剪枝，如果樣本量不大，不需要管這個值，大些如10W可是嘗試下5 - 7.min_weight_fraction_leaf 這個值限制了葉子節點所有樣本權重和的最小值，如果小於這個值，則會和兄弟節點一起被剪枝預設是0，就是不考慮權重問題。一般來說，如果我們有較多樣本有缺失值，或者分類樹樣本的分佈類別偏差很大，就會引入樣本權重，這時我們就要注意這個值了。 - 8.max_leaf_nodes 通過限制最大葉子節點數，可以防止過擬合，預設是"None”，即不限制最大的葉子節點數。如果加了限制，演算法會建立在最大葉子節點數內最優的決策樹。如果特徵不多，可以不考慮這個值，但是如果特徵分成多的話，可以加以限制具體的值可以通過交叉驗證得到。 - 9.class_weight 指定樣本各類別的的權重，主要是為了防止訓練集某些類別的樣本過多導致訓練的決策樹過於偏向這些類別。這裡可以自己指定各個樣本的權重如果使用“balanced”，則演算法會自己計算權重，樣本量少的類別所對應的樣本權重會高。 - 10.min_impurity_split 這個值限制了決策樹的增長，如果某節點的不純度(基尼係數，資訊增益，均方差，絕對差)小於這個閾值則該節點不再生成子節點。即為葉子節點 。 - n_estimators:要建立樹的個數
全部原始碼：
# coding: utf-8
# In[1]:
get_ipython().run_line_magic('matplotlib', 'inline')
import matplotlib.pyplot as plt
import pandas as pd
# In[2]:
# 匯入資料
from sklearn.datasets.california_housing import fetch_california_housing
housing = fetch_california_housing()
print(housing.DESCR)
# In[3]:
housing.data.shape
# In[4]:
housing.data[0]
# In[5]:
# max_depth:樹的最大深度，
# 構建樹模型，例項化樹
from sklearn import tree
dtr = tree.DecisionTreeRegressor(max_depth = 2)
# 選擇特徵
dtr.fit(housing.data[:, [6, 7]], housing.target)
# In[6]:
#要視覺化顯示 首先需要安裝 graphviz http://www.graphviz.org/Download..php
dot_data = tree.export_graphviz(
dtr,
out_file = None,
feature_names = housing.feature_names[6:8],
filled = True,
impurity = False,
rounded = True
)
# In[7]:
#pip install pydotplus
import pydotplus
graph = pydotplus.graph_from_dot_data(dot_data)
graph.get_nodes()[7].set_fillcolor("#FFF2DD")
from IPython.display import Image
Image(graph.create_png())
# In[8]:
graph.write_png("dtr_white_background.png")
# In[9]:
from sklearn.model_selection import train_test_split
# 資料切分，test_size：測試集，random_state：隨機種子
# housing.data：資料， housing.target：標籤
data_train, data_test, target_train, target_test = train_test_split(housing.data, housing.target, test_size = 0.1, random_state = 42)
dtr = tree.DecisionTreeRegressor(random_state = 42)
dtr.fit(data_train, target_train)
dtr.score(data_test, )
# In[10]:
from sklearn.ensemble import RandomForestRegressor
rfr = RandomForestRegressor( random_state = 42)
rfr.fit(data_train, target_train)
rfr.score(data_test, target_test)
# ## 樹模型引數:
#
# - 1.criterion gini or entropy
#
# - 2.splitter best or random 前者是在所有特徵中找最好的切分點 後者是在部分特徵中（資料量大的時候）
#
# - 3.max_features None（所有），log2，sqrt，N 特徵小於50的時候一般使用所有的
#
# - 4.max_depth 資料少或者特徵少的時候可以不管這個值，如果模型樣本量多，特徵也多的情況下，可以嘗試限制下
#
# - 5.min_samples_split 如果某節點的樣本數少於min_samples_split，則不會繼續再嘗試選擇最優特徵來進行劃分如果樣本量不大，不需要管這個值。如果樣本量數量級非常大，則推薦增大這個值。
#
# - 6.min_samples_leaf 這個值限制了葉子節點最少的樣本數，如果某葉子節點數目小於樣本數，則會和兄弟節點一起被剪枝，如果樣本量不大，不需要管這個值，大些如10W可是嘗試下5
#
# - 7.min_weight_fraction_leaf 這個值限制了葉子節點所有樣本權重和的最小值，如果小於這個值，則會和兄弟節點一起被剪枝預設是0，就是不考慮權重問題。一般來說，如果我們有較多樣本有缺失值，或者分類樹樣本的分佈類別偏差很大，就會引入樣本權重，這時我們就要注意這個值了。
#
# - 8.max_leaf_nodes 通過限制最大葉子節點數，可以防止過擬合，預設是"None”，即不限制最大的葉子節點數。如果加了限制，演算法會建立在最大葉子節點數內最優的決策樹。如果特徵不多，可以不考慮這個值，但是如果特徵分成多的話，可以加以限制具體的值可以通過交叉驗證得到。
#
# - 9.class_weight 指定樣本各類別的的權重，主要是為了防止訓練集某些類別的樣本過多導致訓練的決策樹過於偏向這些類別。這裡可以自己指定各個樣本的權重如果使用“balanced”，則演算法會自己計算權重，樣本量少的類別所對應的樣本權重會高。
#
# - 10.min_impurity_split 這個值限制了決策樹的增長，如果某節點的不純度(基尼係數，資訊增益，均方差，絕對差)小於這個閾值則該節點不再生成子節點。即為葉子節點 。
# - n_estimators:要建立樹的個數
# In[11]:
from sklearn.grid_search import GridSearchCV
# min_samples_split：樣本個數，n_estimators：
# cv：進行幾次交叉驗證
tree_param_grid = { 'min_samples_split': list((3,6,9)),'n_estimators':list((10,50,100))}
grid = GridSearchCV(RandomForestRegressor(),param_grid=tree_param_grid, cv=5)
grid.fit(data_train, target_train)
grid.grid_scores_, grid.best_params_, grid.best_score_
# In[12]:
rfr = RandomForestRegressor( min_samples_split=3,n_estimators = 100,random_state = 42)
rfr.fit(data_train, target_train)
rfr.score(data_test, target_test)
# In[13]:
pd.Series(rfr.feature_importances_, index = housing.feature_names).sort_values(ascending = False)