一、隨機森林基本概念

隨機森林(Random forest) 是一種組成式的有監督學習方法。在隨機森林中，我們同時生成多個預測模型，並將模型的結果彙總以提升預測模型的準確率。

隨機森林演算法(預測和迴歸)主要包括一下三個方面：
1.從原始資料隨機有放回的抽取N個樣本單元，生成決策或者回歸樹。

2.在每一個節點隨機抽取m<M個變數，將其作為分割節點的候選變數。每一個節點處變數數應該一致。

3.最終對每一顆決策或者回歸樹的結果進行整合，生成預測值。

二、隨機森林的優勢

1.在沒有驗證資料集的時候，可以計算袋外預測誤差（生成樹時沒有用到的樣本點所對應的類別可由生成的樹估計，與其真實類別比較即可得到袋外預測）。

2.隨機森林可以計算變數的重要性。

3.計算不同資料點之間的距離，從而進行非監督分類。

三、隨機森林R語言例項

如果資料集的響應變數為類別型，則隨機森林根據預測變數預測一個分類結果；如果資料集的響應變數為連續型，則隨機森林根據預測變數進行迴歸。

1.利用隨機森林預測一個分類結果

載入程式包

library(randomForest)
library(MASS)

載入資料

data(fgl)
str(fgl)

為保證結果大家運算結果一致 設定隨機種子

set.seed(17)

構建隨機森林模型 mtry引數表徵預設在每個節點抽取的變數數

fgl.rf<- randomForest(type ~ .,data=fgl, mtry=2, importance=TRUE,
   do.trace=100)
fgl.rf

混淆矩陣結果可以看出隨機森林對各類別的分類效果。

採用十折交叉驗證對比隨機森林與支援向量機的誤差。十折交叉驗證：用來測試精度。是常用的精度測試方法。將資料集分成十分，輪流將其中9份做訓練1份做測試，10次的結果的均值作為對演算法精度的估計，一般還需要進行多次10倍交叉驗證求均值，例如10次10倍交叉驗證，更精確一點。

library(ipred)
set.seed(131)
error.RF<- numeric(10)
for(iin 1:10) error.RF[i] <-
   errorest(type ~ ., data = fgl,
   model = randomForest, mtry = 2)$error
summary(error.RF)

library(e1071)
set.seed(563)
error.SVM<- numeric(10)
for(i in 1:10) error.SVM[i] <-
   errorest(type ~ ., data = fgl,
   model = svm, cost = 10, gamma = 1.5)$error
summary(error.SVM)

從結果中可以看出隨機森林的誤差要小於支援向量機模型

檢視變數重要性

imp<- as.data.frame(fgl.rf$importance)
head(imp)
attach(imp)
par(mfrow= c(2, 2))
for(i in 1:4){
   data <-imp[order(imp[,i],decreasing=T),]
   plot(data[,i],type = “h”, main =paste(“Measure”, i), ylab=””, xaxt=”n”)
  text(data[,i],rownames(data),cex=0.6,pos=4,col=”red”)
}

由上圖可以看出不同變數在預測不同類別時的重要性

2.基於隨機森林迴歸分析

首先，我們先注意一下隨機森林迴歸和隨機森林分類的差別：（1）預設m_try是p/3而不是p^1/2，其中p表示預測變數數（2）預設節點大小為5而不是1（3）只有一個測量變數的重要性。

data(Boston)
set.seed(1341)
BH.rf<- randomForest(medv ~ ., Boston)
BH.rf

由上圖可以看出隨機森林迴歸模型結果的方差解釋量

對比隨機森林預測結果、多元迴歸預測結果和實際值的差異

forest.pred<- predict(BH.rf, Boston)
fit<- lm(medv ~ ., Boston)
lm.pred<-predict(fit,Boston)
data<- data.frame(Boston$medv, forest.pred1, lm.pred1)
head(data)
library(car)
png(filename= “lm.png”, width = 900, height = 500)
scatterplotMatrix(data)
dev.off()

由上圖可以看出隨機森林結果要優於多元迴歸模型。

3.隨機森林中需要注意的地方：

3.1合理確定決策樹的數量。

3.2合理確定每個節點隨機抽取的變數數

3.3決策樹數量越多，結果越穩定。

作者：吳健 中國科學院大學 R語言、統計學愛好者，尤其擅長R語言和Arcgis在生態領域的應用分享

個人公眾號：統計與程式語言 

∑編輯 | Gemini

來源 | 網路

演算法數學之美微信公眾號歡迎賜稿

稿件涉及數學、物理、演算法、計算機、程式設計等相關領域，經採用我們將奉上稿酬。

投稿郵箱：[email protected]