Titanic: ML from disaster

deal with csv trainning data using pandas etc.

Titanic是kaggle的一個toy級別的入門問題，主要是為了熟悉一下kaggle題目的解題思路，以及用到的處理方法，演算法，以及對應的函式庫的使用。首先，用pandas做資料的讀寫，並且可以大致看一下資料長什麼樣子；然後，用seaborn可以瞭解一下資料的一些統計規律，尤其是各個特徵的分佈情況，為之後選擇何種模型提供一個參考；然後matplotlib可以完成一些比較基本的和底層的視覺化的任務；然後進行建模，可以用scikit-learn，如果用到DL的話，需要考慮tensorflow等；最後進行調參，以及不同模型之間的整合（ensemble），得到最終的結果。

Titanic問題是通過給定船上人員的各種身份資訊，如性別，年齡，姓名，艙位等等，以及是否生還的資訊，希望找到一個合理的模型，或者叫做判據，來對於一個已知身份的人，預測其在這場海難中是否會生還。當然，有這個實際問題來看，其準確率不可能做到1.00，如果做到了，一定是對於這個問題本身過擬合了（overfitting），因為生還與否和每個人的身份，年齡，地位，性別等有一定關係，但是並不是完全由這些因素決定的。我們希望找到一個模型，能夠較大把握的預測生還的機率即可，也就是準確度較高即可。
該問題實際上是一個給定部分可選擇的特徵並且指出特徵的實際含義的情況下的二分類問題。

先看看資料長什麼樣子，對於不方便程式設計處理的做一下預處理，比如填補空缺，或者將字串轉成布林值，以及其他的型別轉換。然後觀察一下統計特徵，先根據經驗選擇要使用的特徵。

import pandas as pd
import numpy as np
import seaborn as sns # 不知道為啥seaborn的簡寫是sns...documentation裡這樣寫就這樣吧
import matplotlib.pyplot as plt

path = './titanic/'
trainset = pd.read_csv( path + 'train.csv')
trainset.describe()

trainset.shape
(891, 12)
trainset.head(3)

trainset.tail(3)

先看一下這些column都是什麼，index在最左邊是標號，一共891個traindata，passengerid就是編號，比index多1，對於特徵無用。survived表示是否生還，0代表死，1代表生。pclass代表票的等級，分別是1,2,3等。 name，sex，age不需要說明。sibsp為 # of siblings / spouses aboard the Titanic，就是兄弟姐妹以及配偶的人數。parch為# of parents / children aboard the Titanic，也就是父母或子女，直系親屬的數量。ticket為票號，fare是票價，cabin是艙位，embarked是登船地點，S，C，Q分別代表三個城市。C = Cherbourg, Q = Queenstown, S = Southampton。

我們先看一下這些資料的分佈，用seaborn直方圖

sns.distplot(trainset['Survived'], kde = False, rug = False)
plt.show()

sns.distplot(trainset['Survived'], kde = True, rug = False) # kde set true when we need ratio (pdf approx) instead of real number
# rug set true, then there are small tick at each observation
plt.show() 

trainset['Survived'].unique()
array([0, 1])

svvd = trainset['Survived']
print 'dead : ' + str(len(svvd[svvd == 0])) + '     ' + str(float(len(svvd[svvd == 0]))/len(svvd)*100) + '%'
print 'survived : ' + str(len(svvd[svvd == 1])) + '     ' + str(float(len(svvd[svvd == 1]))/len(svvd)*100) + '%'

    dead : 549     61.6161616162%
    survived : 342     38.3838383838%

說明死亡率百分之六十多，也就是說，如果直接全部預測死亡的話，還會有60%左右的準確率。相當於recall達到100%，因為FN=0，假陰性為零，這是顯然的，因為我們的預測中根本沒有陰性，所以不存在真假陰性。但是準確率由於有FP，假陽性，所以大概能夠有60%。這個數值應當作為我們的標準，就是benchmark，因為不需要對特徵進行任何分析，直接考慮需要預測的結果的分佈都能達到這樣的準確率。

trainset.Pclass.unique() # 也可以用成員運算子加上column的名稱，作為成員提取某一列

array([3, 1, 2])

sns.distplot(trainset.Pclass,kde=False)
plt.show()

在這891個人中，頭等艙大佬有兩百多，中間的也是兩百左右，吊斯艙有五百左右。

trainset.loc[trainset.Sex == 'male','Sex'] = 0 # loc 定位到sex==‘male’的行，後面表示修改‘sex’column的值
trainset.loc[trainset.Sex == 'female','Sex'] = 1
sns.distplot(trainset.Sex,kde=False)
plt.show()

sns.distplot(trainset[trainset.Sex == 0].Age.dropna(),hist = False, color='black', label='male')
sns.distplot(trainset[trainset.Sex == 1].Age.dropna(),hist = False, color='red', label='female')
plt.title('Age versus Class')
plt.show()

sns.distplot(trainset[trainset.Pclass == 1].Age.dropna(),hist = False, color='blue', label='class 1')
sns.distplot(trainset[trainset.Pclass == 2].Age.dropna(),hist = False, color='green', label='class 2')
sns.distplot(trainset[trainset.Pclass == 3].Age.dropna(),hist = False, color='pink', label='class 3')
plt.title('Age versus Class')
plt.show()

hhh,買得起頭等艙的年齡相對大一些，吊斯們以青年為主。符合我們的認知。

sns.distplot(trainset[trainset.Pclass == 1].Fare.dropna(),hist = False, color='blue', label='class 1')
sns.distplot(trainset[trainset.Pclass == 2].Fare.dropna(),hist = False, color='green', label='class 2')
sns.distplot(trainset[trainset.Pclass == 3].Fare.dropna(),hist = False, color='pink', label='class 3')
plt.title('Fare versus class')

plt.show()

plt.figure()
plt.subplot(121)
sns.distplot(trainset[trainset.Survived == 1].Pclass.dropna(),hist = True, color='blue', label='survived', kde = False)
plt.title('survived')
plt.subplot(122)
sns.distplot(trainset[trainset.Survived == 0].Pclass.dropna(),hist = True, color='red', label='dead', kde = False)
plt.title('dead')
plt.show()

death_number = trainset[trainset.Survived == 0].groupby('Pclass').Survived
alive_number = trainset[trainset.Survived == 1].groupby('Pclass').Survived
death_ratio = death_number.count()/(alive_number.count() + death_number.count())
fig, axes = plt.subplots(1,1,figsize = (5,2),dpi = 100)
axes.bar(range(1,4), death_ratio, width=0.35, facecolor = 'black', edgecolor = 'blue')
axes.set_xticks([1,2,3])
axes.set_xticklabels(['class 1', 'class 2', 'class 3'])
plt.title('death ratio versus class')
plt.show()
plt.close(fig)

alive_fare = trainset[trainset.Survived == 0].Fare
dead_fare = trainset[trainset.Survived == 1].Fare
fig, axes = plt.subplots(1,1)
sns.distplot(alive_fare, hist = False, kde = True, color = 'pink', rug = False, label = 'alive')
sns.distplot(dead_fare, hist = False, kde = True, color = 'black', rug = False, label = 'dead')
plt.title('survived/dead versus fare')
plt.show()

trainset.head(3)

trainset.loc[trainset.Embarked == 'S','Embarked'] = 1
trainset.loc[trainset.Embarked == 'C','Embarked'] = 2
trainset.loc[trainset.Embarked == 'Q','Embarked'] = 3
trainset.tail(3)

traincorr = trainset.dropna().drop('PassengerId',axis=1).corr()
traincorr

sns.heatmap(traincorr,square=True,vmax=0.99,vmin=-0.99)
plt.show()

fare和pclass負相關，顯然。sex和survivd有一定的正相關性，由於sex中男性0,女性1,而survived中0dead，1survived，也是就說女性更容易獲救。age和parch有些負相關，可能因為小孩子age小，有父母陪同，所以parch大，而成年人獨自出行的多。

axes = plt.figure(figsize=(10,5)).add_subplot(111)
sns.violinplot(ax=axes, x = 'Sex',y = 'Age', hue = 'Survived', data=trainset, split = True) # split 將提琴圖從中間分開，不同hue在不同邊
axes.set_xticks([0,1])
axes.set_xticklabels(['male','female'])
plt.show()

可以看出，成年男性死亡率高，男性中獲救的多數是小孩子，而女性獲救的多數為成年人。可以看出在救援過程中，最大限度的照顧到了婦女和兒童，看來當時船上的人還是很遵從紳士精神的。

axes = plt.figure(figsize=(10,3)).add_subplot(111)
sns.violinplot(ax=axes, x = 'Pclass',y = 'Age', hue = 'Survived', data=trainset, split = True)
axes.set_xticks([0, 1, 2])
axes.set_xticklabels(['high class','median class', 'low class'])
plt.show()

axes = plt.figure(figsize=(10,3)).add_subplot(111)
sns.violinplot(ax=axes, x = 'Pclass',y = 'Sex', hue = 'Survived', data=trainset, split = True)
axes.set_xticks([0, 1, 2])
axes.set_xticklabels(['high class','median class', 'low class'])
plt.show()

從上圖看，可以看到各個艙位的男性和女性的生還比例，以及獲救的和死亡的人裡面男性和女性的比例。首先，頭等艙女性生還比例很大，而吊斯艙裡面的女性死亡率比較高，相對的，頭等艙的男性生還比率很低，而吊斯艙的男性生還率是三個艙位裡最大的。說明不同階層的人在災難事件中採取的對策還是不一樣的，相較而言，階層較高的人群可能會更遵守婦女兒童先上船的規則。但是，我們從上圖還能看出，不管那個階層，男性的死亡率都比女性要高很多，女性生還的都是多於死亡的，而男性死亡的遠多於生還的。由此看來，即便對待婦女的態度上確實有階級差異，但是總體來說，船上的男人們都履行了紳士精神，讓本來應該在災難面前力量弱於青壯年男性從而死亡率理應更高的婦女兒童爭取到了更多的機會，說明船上的男士還是很優秀的。

對於資料的EDA到此差不多了，下面要找我們可以選擇用來分類的特徵。由以上分析可以看出，sex和age兩個應該是主要的特徵，pclass也可以列入考慮，fare和pclass有一定的關係，也可以利用。之後，我們可以利用sklearn工具包用這幾個特徵分類一下，檢視結果。

2018年02月22日16:55:26

真是的，無所事事的時候別談什麼將來嘛! —— 漫畫家，空知英秋