文章目錄

• 預測Melbourne房子價格
• 匯入資料，初步分析
• 處理缺失值
• Selecting The Prediction Target選擇預測目標
• Choosing "Features" 選擇特徵
• Building Model: 定義model、訓練fit、預測、評估

預測Melbourne房子價格

有監督模型
採用的決策樹迴歸模型

匯入資料，初步分析

import pandas as pd

melbourne_file_path =r'G:\kaggle\melb_data.csv'
 

melbourne_data = pd.read_csv(melbourne_file_path) 
melbourne_data.columns

Index([u'Suburb', u'Address', u'Rooms', u'Type', u'Price', u'Method',
       u'SellerG', u'Date', u'Distance', u'Postcode', u'Bedroom2', u'Bathroom',
       u'Car', u'Landsize', u'BuildingArea', u'YearBuilt', u'CouncilArea',
       u'Lattitude', u'Longtitude', u'Regionname', u'Propertycount'],
      dtype='object')
 

melbourne_data.head()

5 rows × 21 columns

#多少條記錄
len(melbourne_data)

13580

melbourne_data.describe()
#從count看出，有很多缺失值,比如BuildingArea有6452個NaN

處理缺失值

BuildingArea YearBuilt CouncilArea
48%缺失值 40%缺失值 10%缺失值

#選擇刪除，刪除含有缺失值的記錄（行）
#dropna()
melbourne_data=melbourne_data.dropna(axis=0)#預設為刪除行 預設how='any' 還有一個how='all'，該條記錄所有值為Na值時候才刪除

melbourne_data.head()
#可以看到index為0、3、5....的有NaN值的記錄都被刪了

5 rows × 21 columns

melbourne_data.describe()

Selecting The Prediction Target選擇預測目標

以房價為預測目標

#以[Price]作為真實的y
y= melbourne_data.Price

Choosing “Features” 選擇特徵

作為模型的輸入的那些columns叫做“特徵”
哪些列影響著房價呢？
有時候，把除了target那一列外的所有columns作為特徵
有時候，可能選更少的一些比較好

melbourne_data.columns

Index([u'Suburb', u'Address', u'Rooms', u'Type', u'Price', u'Method',
       u'SellerG', u'Date', u'Distance', u'Postcode', u'Bedroom2', u'Bathroom',
       u'Car', u'Landsize', u'BuildingArea', u'YearBuilt', u'CouncilArea',
       u'Lattitude', u'Longtitude', u'Regionname', u'Propertycount'],
      dtype='object')

#an example:選取這些列作為特徵
melbourne_features=['Rooms', 'Bathroom',  'Landsize', 'Lattitude', 'Longtitude']

#By convention，this data is called X
X= melbourne_data[melbourne_features]
print(X.head()) #6189*5
print(y.head()) #6169*1

   Rooms  Bathroom  Landsize  Lattitude  Longtitude
1      2       1.0     156.0   -37.8079    144.9934
2      3       2.0     134.0   -37.8093    144.9944
4      4       1.0     120.0   -37.8072    144.9941
6      3       2.0     245.0   -37.8024    144.9993
7      2       1.0     256.0   -37.8060    144.9954
1    1035000.0
2    1465000.0
4    1600000.0
6    1876000.0
7    1636000.0
Name: Price, dtype: float64

X.describe()

Building Model: 定義model、訓練fit、預測、評估

使用機器學習庫scikit-learn, 簡稱sklearn
**Steps:

• define: 用哪種模型 決策樹？其他？
• fit: 從資料中獲取模式，即用資料訓練模型 建模的核心
• predict: 預測新樣本
• evaluate: 模型預測的準確程度

#用決策樹做迴歸： DecisionTreeRegressor類
# from sklearn import tree
# clf= tree.DecisionTreeRegressor(random_state=1)
# clf.fit(X, y)
# clf.predict([[3,1.0,122.0, -37.8072,144.9941]])

from sklearn.tree import DecisionTreeRegressor

#Define model
melbourne_model= DecisionTreeRegressor(random_state=1)#random_state=1：確保每次執行是同一個結果
#Fit model
melbourne_model.fit( X, y)
#use model to Predict
melbourne_model.predict([[3,1.0,122.0, -37.8072,144.9941]])

array([1200000.])

melbourne_model.predict(X.head())

array([1035000., 1465000., 1600000., 1876000., 1636000.])