利用R語言分析挖掘Titanic資料集(一)
阿新 • • 發佈：2019-01-01
簡介
一個實際的資料探勘專案包括6個階段
1)提出正確的問題
問題本身確定了挖掘的對向與目標
2)資料採集
利用檔案的i/o函式，JDBC/ODBC,網路爬蟲技術從不同的系統，例如檔案，資料庫或internet採集資料，稱為原始資料。由於原始資料存在存在格式的無序性與差異性問題，要利用分析工具與視覺化程式來處理它們。
3)資料清洗
包括資料解析，排序，合併，篩選，缺失值插補以其其它各種資料轉化和資料組織過程，最終得到一個合適資料分析的資料結構。
4)基礎資料分析
進行基本的探索性資料分析，包括計算資料的彙總，採用基本的統計，聚類以及視覺化方法來幫助使用者更好的理解資料的特徵，還可以通過圖形來展現發現數據的主要性質，變化趨勢，以及孤立點等。
5)高階資料分析
我們可以通過描述性統計得到有關資料特徵的一個大概特徵。但是我們希望從中得到一個大致推論，讓使用者以此為依據根據輸入引數預測資料特徵，這就必須借用機器學習的方法基於訓練資料生成預測模型，在根據預測模型根據給定輸入預測輸出。
6)模型評估
為了評估生成的模型是否在給定領域能夠得到最優的結果，還要進行模型的篩選。該任務通常包括多個步驟，包括引數的預處理，引數調優，機器學習演算法切換。
下列樣例子，我們將根據titanic獲救乘客的資料，進行一個簡單的資料探勘，具體內容是從資料來源kaggle取得資料（可能要fc),完成資料清洗，執行基本的資料分析分析，判斷哪些屬性對逃生概率有重要的影響。再執行深度資料探勘，構建分類演算法，根據給定的輸入資料預測逃生概率。最後進行模型評估並取得預測模型。
從csv讀取資料
1)從kaggle下載資料
2)設定路徑
> setwd("d:/R-TT")
> getwd()
[1] "d:/R-TT"3)使用read.csv讀取資料
#讀取之後用str（）檢視，""之間沒有空格
> train.data = read.csv("titanic.csv",na.strings = c("NA",""))
> str(train.data)
'data.frame': 891 obs. of 12 variables:
$ PassengerId: int 1 2 3 4 5 6 4)注意
na.strings 代表缺失資料的值(轉化為NA)，不參與運算
3.根據資料型別進行轉化
#將int型資料轉化成factor型.與上面對比有兩列資料轉化為factor
> train.data$Survived = factor(train.data$Survived)
> train.data$Pclass = factor(train.data$Pclass)
> str(train.data)
'data.frame': 891 obs. of 12 variables:
$ PassengerId: int 1 2 3 4 5 6 7 8 9 10 ...
$ Survived : Factor w/ 2 levels "0","1": 1 2 2 2 1 1 1 1 2 2 ...
$ Pclass : Factor w/ 3 levels "1","2","3": 3 1 3 1 3 3 1 3 3 2 ...
$ Name : Factor w/ 891 levels "Abbing, Mr. Anthony",..: 109 191 358 277 16 559 520 629 417 581 ...
$ Sex : Factor w/ 2 levels "female","male": 2 1 1 1 2 2 2 2 1 1 ...
$ Age : num 22 38 26 35 35 NA 54 2 27 14 ...
$ SibSp : int 1 1 0 1 0 0 0 3 0 1 ...
$ Parch : int 0 0 0 0 0 0 0 1 2 0 ...
$ Ticket : Factor w/ 681 levels "110152","110413",..: 524 597 670 50 473 276 86 396 345 133 ...
$ Fare : num 7.25 71.28 7.92 53.1 8.05 ...
$ Cabin : Factor w/ 147 levels "A10","A14","A16",..: NA 82 NA 56 NA NA 130 NA NA NA ...
$ Embarked : Factor w/ 3 levels "C","Q","S": 3 1 3 3 3 2 3 3 3 1 ...Survived(0=NO,1=YES)和Pclass(1=1st,2=2nd,3=3rd)都屬於定類變數，我們使用factor函式將這兩個變數轉化為型別因子
4.檢查缺失值
1)做準備
將屬性Survived和Pclass轉換為因子型別
R用NA(not available)代表缺失值，用NaN代表（not a number）代表不存在的值
2)進行操作
#用is.na()判斷當成屬於值是否包含NA值
is.na(train.data$Age)
[1] FALSE FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
[16] FALSE FALSE TRUE FALSE TRUE FALSE FALSE FALSE FALSE FALSE FALSE TRUE FALSE TRUE TRUE
[31] FALSE TRUE TRUE FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE FALSE TRUE FALSE FALSE
[46] TRUE TRUE TRUE TRUE FALSE FALSE FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE
[61] FALSE FALSE FALSE FALSE TRUE TRUE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
[76] FALSE TRUE TRUE FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE TRUE FALSE FALSE
[91] FALSE FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE
[106] FALSE FALSE TRUE FALSE TRUE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
[121] FALSE TRUE FALSE FALSE FALSE FALSE TRUE FALSE TRUE FALSE FALSE FALSE FALSE FALSE FALSE
[136] FALSE FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
[151] FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE TRUE TRUE FALSE FALSE FALSE FALSE FALSE
[166] FALSE TRUE FALSE TRUE FALSE FALSE FALSE FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE
[181] TRUE TRUE FALSE FALSE FALSE TRUE TRUE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
[196] FALSE TRUE FALSE TRUE FALSE FALSE TRUE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
[211] FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE TRUE FALSE
[226] FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE
[241] TRUE TRUE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE
[256] FALSE TRUE FALSE FALSE FALSE TRUE FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE FALSE
[271] TRUE FALSE FALSE FALSE TRUE FALSE FALSE TRUE FALSE FALSE FALSE FALSE FALSE FALSE TRUE
[286] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE TRUE FALSE FALSE TRUE FALSE
[301] TRUE TRUE FALSE TRUE TRUE FALSE TRUE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
[316] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE FALSE
[331] TRUE FALSE FALSE FALSE TRUE TRUE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
[346] FALSE FALSE TRUE FALSE FALSE FALSE TRUE FALSE FALSE TRUE FALSE FALSE FALSE TRUE TRUE
[361] FALSE FALSE FALSE FALSE TRUE FALSE FALSE TRUE TRUE FALSE FALSE FALSE FALSE FALSE FALSE
[376] TRUE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE TRUE FALSE
[391] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
[406] FALSE FALSE FALSE FALSE TRUE TRUE TRUE FALSE TRUE FALSE TRUE FALSE FALSE FALSE FALSE
[421] TRUE FALSE FALSE FALSE FALSE TRUE FALSE FALSE TRUE FALSE FALSE TRUE FALSE FALSE FALSE
[436] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE FALSE
[451] FALSE TRUE FALSE FALSE TRUE FALSE FALSE TRUE FALSE TRUE FALSE FALSE FALSE FALSE TRUE
[466] FALSE TRUE FALSE TRUE FALSE TRUE FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE
[481] FALSE TRUE FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE
[496] TRUE FALSE TRUE FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE TRUE FALSE FALSE
[511] FALSE TRUE FALSE FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE TRUE FALSE TRUE
[526] FALSE FALSE TRUE FALSE FALSE FALSE TRUE FALSE TRUE FALSE FALSE FALSE FALSE TRUE FALSE
[541] FALSE FALSE FALSE FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE TRUE FALSE FALSE
[556] FALSE FALSE TRUE FALSE FALSE TRUE FALSE FALSE TRUE TRUE FALSE FALSE FALSE TRUE FALSE
[571] FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE FALSE TRUE
[586] FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE TRUE FALSE FALSE TRUE FALSE TRUE FALSE
[601] FALSE TRUE TRUE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE TRUE TRUE TRUE FALSE
[616] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE TRUE
[631] FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE TRUE FALSE
[646] FALSE FALSE FALSE TRUE FALSE TRUE FALSE FALSE TRUE FALSE FALSE TRUE FALSE FALSE FALSE
[661] FALSE FALSE FALSE FALSE FALSE FALSE FALSE TRUE FALSE TRUE FALSE FALSE FALSE FALSE TRUE
[676] FALSE FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
[691] FALSE FALSE TRUE FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
[706] FALSE FALSE FALSE FALSE TRUE FALSE TRUE FALSE FALSE FALSE FALSE FALSE FALSE TRUE FALSE
[721] FALSE FALSE FALSE FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE TRUE FALSE FALSE
[736] FALSE FALSE FALSE TRUE TRUE TRUE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
[751] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE
[766] FALSE TRUE FALSE TRUE FALSE FALSE FALSE FALSE TRUE FALSE FALSE TRUE FALSE TRUE FALSE
[781] FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE FALSE FALSE TRUE FALSE TRUE TRUE FALSE
[796] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
[811] FALSE FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
[826] TRUE TRUE FALSE TRUE FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE TRUE FALSE TRUE
[841] FALSE FALSE FALSE FALSE FALSE FALSE TRUE FALSE FALSE TRUE FALSE FALSE FALSE FALSE FALSE
[856] FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE TRUE FALSE
[871] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE FALSE FALSE
[886] FALSE FALSE FALSE TRUE FALSE FALSE
#is.na()進行了標記，用sum()統計缺失值總數
> sum(is.na(train.data$Age) == TRUE)
[1] 177
#用缺失總數除以非缺失數來計算缺失比例
> sum(is.na(train.data$Age) == TRUE)/length(train.data$Age)
[1] 0.1986532
#用sapply函式來計算所有屬性缺失值的比例：
> sapply(train.data, function(df){
+ sum(is.na(df==TRUE))/length(df)
+ })
PassengerId Survived Pclass Name Sex Age SibSp Parch
0.000000000 0.000000000 0.000000000 0.000000000 0.000000000 0.198653199 0.000000000 0.000000000
Ticket Fare Cabin Embarked
0.000000000 0.000000000 0.771043771 0.002244669
#除了觀察缺失值的比例，我們可以使用Amelia包對缺失值進行視覺化處理
> library(Rcpp)
> library(Amelia)
#使用missmap函式繪製缺失值示意圖
> missmap(train.data,main = "MISSINGMAP")
5.插補缺失值
1）執行以下操作增補缺失值
#首先列出出發港口的分佈。增加了useNA = "alays"的引數設定，展示train.data中最大的兩個港口個數
> table(train.data$Embarked,useNA = "always")
C Q S <NA>
168 77 644 2
#將其中兩個缺失值處理為概率最大的兩個港口
> train.data$Embarked[which(is.na(train.data$Embarked))] = 'S'
> table(train.data$Embarked,useNA = "always")
C Q S <NA>
168 77 646 0
#AGE有很多缺失值，考慮到age與稱乎Name在很大的相關性，我們可以根據將其所屬年齡的平均值進行插補。
#首先將name 轉化成character
>train.data$Name = as.character(train.data$Name)
#strsplit（）把字串按照某個規則進行拆分，\\s表示 空格,回車,換行等空白符, +號表示一個或多個的意思,這裡我們只摘抄了後面幾行展示分類規則。
>strsplit(train.data$Name,"\\s+")
.......
[[883]]
[1] "Dahlberg," "Miss." "Gerda" "Ulrika"
[[884]]
[1] "Banfield," "Mr." "Frederick" "James"
[[885]]
[1] "Sutehall," "Mr." "Henry" "Jr"
[[886]]
[1] "Rice," "Mrs." "William" "(Margaret" "Norton)"
[[887]]
[1] "Montvila," "Rev." "Juozas"
[[888]]
[1] "Graham," "Miss." "Margaret" "Edith"
[[889]]
[1] "Johnston," "Miss." "Catherine"