2. 程式人生 > >spark實現決策樹

spark實現決策樹

阿新 • • 發佈：2019-02-02

我們以iris資料集（iris）為例進行分析。iris以鳶尾花的特徵作為資料來源，資料集包含150個數據集，分為3類，每類50個數據，每個資料包含4個屬性，是在資料探勘、資料分類中非常常用的測試集、訓練集。決策樹可以用於分類和迴歸，接下來我們將在程式碼中分別進行介紹。

  1. 匯入需要的包：
from pyspark.ml.linalg import Vector,Vectors
from pyspark.sql import Row
from pyspark.ml import Pipeline
from pyspark.ml.feature import IndexToString,StringIndexer,
 
VectorIndexer
  1. 讀取資料，簡要分析：
    讀取文字檔案，第一個map把每行的資料用“,”隔開，比如在我們的資料集中，每行被分成了5部分，前4部分是鳶尾花的4個特徵，最後一部分是鳶尾花的分類；我們這裡把特徵儲存在Vector中，建立一個Iris模式的RDD，然後轉化成dataframe；然後把剛剛得到的資料註冊成一個表iris，註冊成這個表之後，我們就可以通過sql語句進行資料查詢；選出我們需要的資料後，我們可以把結果打印出來檢視一下資料。
def f(x):
    rel = {}
    rel['features'] = Vectors.dense(float(x[0]),float
 
(x[1]),float(x[2]),float(x[3]))
    rel['label'] = str(x[4])
    return rel
 
data = spark.sparkContext.textFile("file:///usr/local/spark/iris.txt").map(lambda line: line.split(',')).map(lambda p: Row(**f(p))).toDF()
 
data.createOrReplaceTempView("iris")
 
df = spark.sql("select * from iris")
 
rel = df.
 
rdd.map(lambda t : str(t[1])+":"+str(t[0])).collect()
for item in rel:
    print(item)
Iris-setosa:[5.1,3.5,1.4,0.2]
Iris-setosa:[4.9,3.0,1.4,0.2]
Iris-setosa:[4.7,3.2,1.3,0.2]
Iris-setosa:[4.6,3.1,1.5,0.2]
Iris-setosa:[5.0,3.6,1.4,0.2]
Iris-setosa:[5.4,3.9,1.7,0.4]
Iris-setosa:[4.6,3.4,1.4,0.3]
.....
Iris-versicolor:[5.7,2.8,4.1,1.3]
Iris-virginica:[6.3,3.3,6.0,2.5]
Iris-virginica:[5.8,2.7,5.1,1.9]
Iris-virginica:[7.1,3.0,5.9,2.1]
Iris-virginica:[6.3,2.9,5.6,1.8]
Iris-virginica:[6.5,3.0,5.8,2.2]
Iris-virginica:[7.6,3.0,6.6,2.1]
Iris-virginica:[4.9,2.5,4.5,1.7]
Iris-virginica:[7.3,2.9,6.3,1.8]
Iris-virginica:[6.7,2.5,5.8,1.8]
Iris-virginica:[7.2,3.6,6.1,2.5]
Iris-virginica:[6.5,3.2,5.1,2.0]
Iris-virginica:[6.4,2.7,5.3,1.9]
Iris-virginica:[6.8,3.0,5.5,2.1]
Iris-virginica:[5.7,2.5,5.0,2.0]
Iris-virginica:[5.8,2.8,5.1,2.4]
Iris-virginica:[6.4,3.2,5.3,2.3]
Iris-virginica:[6.5,3.0,5.5,1.8]
Iris-virginica:[7.7,3.8,6.7,2.2]
Iris-virginica:[7.7,2.6,6.9,2.3]
Iris-virginica:[6.0,2.2,5.0,1.5]
Iris-virginica:[6.9,3.2,5.7,2.3]
Iris-virginica:[5.6,2.8,4.9,2.0]
Iris-virginica:[7.7,2.8,6.7,2.0]
... ...
  1. 進一步處理特徵和標籤，以及資料分組：
//分別獲取標籤列和特徵列，進行索引，並進行了重新命名。
labelIndexer = StringIndexer().setInputCol("label").setOutputCol("indexedLabel").fit(df)
 
featureIndexer = VectorIndexer().setInputCol("features").setOutputCol("indexedFeatures").setMaxCategories(4).fit(df)
 
//這裡我們設定一個labelConverter，目的是把預測的類別重新轉化成字元型的。
labelConverter = IndexToString().setInputCol("prediction").setOutputCol("predictedLabel").setLabels(labelIndexer.labels)
//接下來，我們把資料集隨機分成訓練集和測試集，其中訓練集佔70%。
trainingData, testData = data.randomSplit([0.7, 0.3])
  1. 構建決策樹分類模型：
//匯入所需要的包
from pyspark.ml.classification import DecisionTreeClassificationModel,DecisionTreeClassifier
from pyspark.ml.evaluation import MulticlassClassificationEvaluator
//訓練決策樹模型,這裡我們可以通過setter的方法來設定決策樹的引數，也可以用ParamMap來設定（具體的可以檢視spark mllib的官網）。具體的可以設定的引數可以通過explainParams()來獲取。
dtClassifier = DecisionTreeClassifier().setLabelCol("indexedLabel").setFeaturesCol("indexedFeatures")
//在pipeline中進行設定
pipelinedClassifier = Pipeline().setStages([labelIndexer, featureIndexer, dtClassifier, labelConverter])
//訓練決策樹模型
modelClassifier = pipelinedClassifier.fit(trainingData)
//進行預測
predictionsClassifier = modelClassifier.transform(testData)
//檢視部分預測的結果
predictionsClassifier.select("predictedLabel", "label", "features").show(20)
+---------------+---------------+-----------------+
| predictedLabel|          label|         features|
+---------------+---------------+-----------------+
|    Iris-setosa|    Iris-setosa|[4.3,3.0,1.1,0.1]|
|    Iris-setosa|    Iris-setosa|[4.6,3.4,1.4,0.3]|
|    Iris-setosa|    Iris-setosa|[4.6,3.6,1.0,0.2]|
|    Iris-setosa|    Iris-setosa|[4.8,3.0,1.4,0.1]|
|    Iris-setosa|    Iris-setosa|[4.8,3.1,1.6,0.2]|
|    Iris-setosa|    Iris-setosa|[4.8,3.4,1.6,0.2]|
|    Iris-setosa|    Iris-setosa|[4.9,3.0,1.4,0.2]|
|    Iris-setosa|    Iris-setosa|[4.9,3.1,1.5,0.1]|
|    Iris-setosa|    Iris-setosa|[5.0,3.5,1.3,0.3]|
|    Iris-setosa|    Iris-setosa|[5.1,3.3,1.7,0.5]|
|    Iris-setosa|    Iris-setosa|[5.1,3.4,1.5,0.2]|
|    Iris-setosa|    Iris-setosa|[5.1,3.7,1.5,0.4]|
|    Iris-setosa|    Iris-setosa|[5.1,3.8,1.9,0.4]|
|Iris-versicolor|Iris-versicolor|[5.2,2.7,3.9,1.4]|
|    Iris-setosa|    Iris-setosa|[5.4,3.9,1.3,0.4]|
|Iris-versicolor|Iris-versicolor|[5.7,2.8,4.5,1.3]|
|Iris-versicolor|Iris-versicolor|[5.8,2.7,4.1,1.0]|
|    Iris-setosa|    Iris-setosa|[5.8,4.0,1.2,0.2]|
| Iris-virginica|Iris-versicolor|[5.9,3.2,4.8,1.8]|
|Iris-versicolor|Iris-versicolor|[6.1,2.9,4.7,1.4]|
+---------------+---------------+-----------------+
only showing top 20 rows
  1. 評估決策樹分類模型：
evaluatorClassifier = MulticlassClassificationEvaluator().setLabelCol("indexedLabel").setPredictionCol("prediction").setMetricName("accuracy")
 
accuracy = evaluatorClassifier.evaluate(predictionsClassifier)
 
print("Test Error = " + str(1.0 - accuracy))
Test Error = 0.05882352941176472
 
treeModelClassifier = modelClassifier.stages[2]
 
print("Learned classification tree model:\n" + str(treeModelClassifier.toDebugString))
Learned classification tree model:
DecisionTreeClassificationModel (uid=DecisionTreeClassifier_4e57b26beacfd363271a) of depth 3 with 7 nodes
  If (feature 2 <= 1.9)
   Predict: 2.0
  Else (feature 2 > 1.9)
   If (feature 3 <= 1.6)
    If (feature 2 <= 4.9)
     Predict: 0.0
    Else (feature 2 > 4.9)
     Predict: 1.0
   Else (feature 3 > 1.6)
    Predict: 1.0

​ 從上述結果可以看到模型的預測準確率為 0.94以及訓練的決策樹模型結構。

  1. 構建決策樹迴歸模型：
//匯入所需要的包
from pyspark.ml.regression import DecisionTreeRegressionModel,DecisionTreeRegressor
from pyspark.ml.evaluation import RegressionEvaluator
//訓練決策樹模型
dtRegressor = DecisionTreeRegressor().setLabelCol("indexedLabel").setFeaturesCol("indexedFeatures")
//在pipeline中進行設定
pipelineRegressor = Pipeline().setStages([labelIndexer, featureIndexer, dtRegressor, labelConverter])
//訓練決策樹模型
modelRegressor = pipelineRegressor.fit(trainingData)
//進行預測
predictionsRegressor = modelRegressor.transform(testData)
//檢視部分預測結果
predictionsRegressor.select("predictedLabel", "label", "features").show(20)
 
+---------------+---------------+-----------------+
| predictedLabel|          label|         features|
+---------------+---------------+-----------------+
|    Iris-setosa|    Iris-setosa|[4.3,3.0,1.1,0.1]|
|    Iris-setosa|    Iris-setosa|[4.6,3.4,1.4,0.3]|
|    Iris-setosa|    Iris-setosa|[4.6,3.6,1.0,0.2]|
|    Iris-setosa|    Iris-setosa|[4.8,3.0,1.4,0.1]|
|    Iris-setosa|    Iris-setosa|[4.8,3.1,1.6,0.2]|
|    Iris-setosa|    Iris-setosa|[4.8,3.4,1.6,0.2]|
|    Iris-setosa|    Iris-setosa|[4.9,3.0,1.4,0.2]|
|    Iris-setosa|    Iris-setosa|[4.9,3.1,1.5,0.1]|
|    Iris-setosa|    Iris-setosa|[5.0,3.5,1.3,0.3]|
|    Iris-setosa|    Iris-setosa|[5.1,3.3,1.7,0.5]|
|    Iris-setosa|    Iris-setosa|[5.1,3.4,1.5,0.2]|
|    Iris-setosa|    Iris-setosa|[5.1,3.7,1.5,0.4]|
|    Iris-setosa|    Iris-setosa|[5.1,3.8,1.9,0.4]|
|Iris-versicolor|Iris-versicolor|[5.2,2.7,3.9,1.4]|
|    Iris-setosa|    Iris-setosa|[5.4,3.9<

相關推薦

spark實現決策樹

我們以iris資料集（iris）為例進行分析。iris以鳶尾花的特徵作為資料來源，資料集包含150個數據集，分為3類，每類50個數據，每個資料包含4個屬性，是在資料探勘、資料分類中非常常用的測試集、訓練集。決策樹可以用於分類和迴歸，接下來我們將在程式碼中分別進行

我的spark python 決策樹實例

one ray print classes gin array erro parallel depth from numpy import array from pyspark.mllib.regression import LabeledPoint from pyspa

Python實現決策樹應用之判斷隱形眼鏡的型別

程式碼模組一、DecisionTreePlot # -*- coding:utf-8 -*- __author__ = 'yangxin_ryan' import matplotlib.pyplot as plt """ 定義文字框 和 箭頭格式 【 sawtooth 波浪方框, rou

在OpenCV中實現決策樹和隨機森林

目錄 1.決策樹 2.隨機森林 1.決策樹 需要注意的點： Ptr<TrainData> data_set = TrainData::loadFromCSV("mushroom.data",//檔名

Pyhton實現決策樹演算法 MNIST資料集

Pyhton實現決策樹演算法 MNIST資料集 決策樹是一種比較接近人類思維方式的演算法，將樣本通過每個特徵值的資訊增益進行劃分，從而保證每個劃分之後的結果資訊熵的消減量達到最大。具體的原理請大家自己查詢相關資料。 sklearn實現程式碼如下, 準確率可以達到90%左右。 fr

python實現決策樹程式碼

資料圖片 from sklearn.feature_extraction import DictVectorizer import csv from sklearn import preprocessing from numpy import * import nu

python實現決策樹

# -*- coding: utf-8 -*- """ Created on Thu Sep 27 10:40:47 2018 @author: Administrator """ # de template # Importing the libraries impor

python實現決策樹演算法

1. #!/usr/bin/python3 import numpy as np from sklearn import tree from sklearn.metrics import precision_recall_curve from sklearn.metrics

python3實現決策樹(機器學習實戰)

from math import log def calcShannonEnt(dataSet):#計算給定資料集的夏農熵 numEntries = len(dataSet) labelCounts = {} for featVec i

Python實現決策樹對西瓜進行分類

使用的周志華老師書上的例子，因為習主席講過一切不給資料集的演算法都是耍流氓，所以我這裡先給出資料集： 0,色澤,根蒂,敲聲,紋理,臍部,觸感,密度,含糖率,好瓜 1,青綠,蜷縮,濁響,清晰,凹陷,硬滑,0.697,0.46,是 2,烏黑,蜷縮,沉悶,清晰,凹陷,硬滑

機器學習經典演算法詳解及Python實現--決策樹（Decision Tree）

（一）認識決策樹 1，決策樹分類原理 決策樹是通過一系列規則對資料進行分類的過程。它提供一種在什麼條件下會得到什麼值的類似規則的方法。決策樹分為分類樹和迴歸樹兩種，分類樹對離散變數做決策樹，迴歸樹對連續變數做決策樹。 近來的調查表明決策樹也是最經常使用的資料探勘演算法，它

python機器學習實戰2：實現決策樹

1.決策樹的相關知識 在之前的接觸中決策樹直觀印象應該就是if-else的迴圈，if會怎麼樣，else之後再繼續if-else直至最終的結果。在上節講的kNN它其實已經可以完成很多工，但是它最大的缺點就是無法給資料集的內在含義，決策樹的主要優勢在於資料形式非常

Python實現決策樹並且使用Graphvize視覺化

一、什麼是決策樹（decision tree）——機器學習中的一個重要的分類演算法決策樹是一個類似於資料流程圖的樹結構：其中，每個內部節點表示一個屬性上的測試，每個分支代表一個屬性輸出，而每個樹葉結點代表類或者類的分佈，樹的最頂層是根結點根據天氣情況決定出遊與否的案例二、決策

寶具滑 / JS簡單實現決策樹(ID3演算法)

<script> // 文章: https://www.jianshu.com/p/2b50a98cd75c function DecisionTree(config) { if (typeof config == "object" &

詳解決策樹、python實現決策樹

決策樹模型 定義 決策過程 決策樹學習 特徵選擇 資訊增益 計算方法 ID3演算法 決策樹模型 定義 分類決策樹模型是一種描述對例項進行分類的樹形結構。決策樹由節點（Node）和有向邊（directed edge）組成。節

python實現決策樹分類（三）

在上一篇文章中，我們已經構建了決策樹，接下來可以使用它用於實際的資料分類。在執行資料分類時，需要決策時以及標籤向量。程式比較測試資料和決策樹上的數值，遞迴執行直到進入葉子節點。 這篇文章主要使用決策樹分類器就行分類，資料集採用UCI資料庫中的紅酒，白酒資料，主要特徵包括12

python3.5實現決策樹c4.5（連續值版本）

最近學的python決策樹c4.5，網上沒找到連續值的code，自己xjb寫的，歡迎群巨前來指正·····orz # -*- coding: utf-8 -*- """ Created on Wed Mar 7 18:54:11 2018 @author: jkr

Python實現——決策樹實例(離散數據/香農熵)

遍歷 values 最適 比例 刪除 類型 取值 val creat 決策樹的實現太...繁瑣了。 如果只是接受他的原理的話還好說，但是要想用代碼去實現比較糟心，目前運用了《機器學習實戰》的代碼手打了一遍，決定在這裏一點點摸索一下該工程。 實例的代碼在使用上運用了香農熵，並

資料探勘入門系列教程（四）之基於scikit-lean實現決策樹

資料探勘入門系列教程（四）之基於scikit-lean決策樹處理Iris載入資料集資料特徵訓練隨機森林調參工程師結尾 資料探勘入門系列教程（四）之基於scikit-lean決策樹處理Iris 在上一篇部落格，我們介紹了決策樹的一些知識。如果對決策樹還不是很瞭解的話，建議先閱讀上一篇部落格，在來學習這

《統計學習方法》——從零實現決策樹

## 決策樹 決策樹是一種樹形結構，其中每個內部節點表示一個屬性上的判斷，每個分支代表一個判斷結果的輸出，最後每個葉子節點代表一種分類結果。 ## 決策樹學習的三個步驟： - 特徵選擇 通常使用資訊增益最大、資訊增益比最大或基尼指數最小作為特徵選擇的準則。 - 樹的生成 決策樹的生成往往通過計算資訊增益