本文轉自：http://blog.csdn.net/qq_27469517/article/details/53482563

整個第四章都是資料預處理。

4.1是資料清洗。就是處理無關資料，缺失或者異常資料等等。

具體看書，就不贅述了，還是上程式碼實踐。

書上給的程式碼是有問題的！

1. #拉格朗日插值程式碼
2. import pandas as pd #匯入資料分析庫Pandas
3. from scipy.interpolate import lagrange #匯入拉格朗日插值函式
4. inputfile = 'data/catering_sale.xls'#銷量資料路徑
5. outputfile = 'tmp/sales.xls'#輸出資料路徑
6. data = pd.read_excel(inputfile) #讀入資料
7. data[u'銷量'][(data[u'銷量'] < 400) | (data[u'銷量'] > 5000)] = None#過濾異常值，將其變為空值
8. #自定義列向量插值函式
9. #s為列向量，n為被插值的位置，k為取前後的資料個數，預設為5
10. def ployinterp_column(s, n, k=5):  
11.   y = s[list(range(n-k, n)) + list(range(n+1, n+1+k))] #取數
12.   y = y[y.notnull()] #剔除空值
13.   return lagrange(y.index, list(y))(n) #插值並返回拉格朗日插值結果
14. #逐個元素判斷是否需要插值
15. for i in data.columns:  
16.   for j in range(len(data)):  
17.     if (data[i].isnull())[j]: #如果為空即插值。
18.       data[i][j] = ployinterp_column(data[i], j)  
19. data.to_excel(outputfile) #輸出結果，寫入檔案

究其原因，應該是

1. data[u'銷量'][(data[u
   '銷量'] < 400) | (data[u'銷量'] > 5000)] = None#過濾異常值，將其變為空值

改正方法主要是 .loc 函式進行修改。

.loc 函式主要是選定指定列操作，參見 http://blog.csdn.net/chixujohnny/article/details/51095817

參考下面這個連結

http://blog.csdn.net/o1101574955/article/details/51627401

給出了修改版：

1. # -*- coding:utf-8 -*-
2. #拉格朗日插值程式碼
3. import pandas as pd #匯入資料分析庫Pandas
4. from scipy.interpolate import lagrange #匯入拉格朗日插值函式
5. inputfile = 'data/catering_sale.xls'#銷量資料路徑
6. outputfile = 'tmp/sales.xls'#輸出資料路徑
7. data = pd.read_excel(inputfile) #讀入資料
8. #data[u'銷量'][(data[u'銷量'] < 400) | (data[u'銷量'] > 5000)] = None #過濾異常值，將其變為空值
9. row_indexs = (data[u'銷量'] < 400) | (data[u'銷量'] > 5000)  #得到過濾資料的索引
10. data.loc[row_indexs,u'銷量'] = None#過濾資料
11. #自定義列向量插值函式
12. #s為列向量，n為被插值的位置，k為取前後的資料個數，預設為5
13. def ployinterp_column(s, n, k=5):  
14.     y = s[list(range(n-k, n)) + list(range(n+1, n+1+k))] #取數
15.     y = y[y.notnull()] #剔除空值
16.     return lagrange(y.index, list(y))(n) #插值並返回拉格朗日插值結果
17. #逐個元素判斷是否需要插值
18. for i in data.columns:  
19.     for j in range(len(data)):  
20.         if (data[i].isnull())[j]: #如果為空即插值。
21. #       data[i][j] = ployinterp_column(data[i], j)
22.             data.loc[j,i] = ployinterp_column(data[i], j)  
23. data.to_excel(outputfile) #輸出結果，寫入檔案

這時候我在 http://blog.csdn.net/aq_cainiao_aq/article/details/53257136 也看見一篇，我沒試過，可以參考。

s為列向量，n為被插值的位置，k為取前後的資料個數，預設為5。

返回的拉格朗日函式有兩個值，y.index應該是插值位置，list(y) 就是結果吧。

可惜沒找到關於 lagrange 函式的說明，只能猜。 

現在的問題是，日期全變成了 ######，想想怎麼修改呢？

其實日期是沒問題的，但是後面多了時分秒，太長了就變成了######。我不想要這個東西。

去百度搜索了很久，http://blog.csdn.net/dm_vincent/article/details/48696857 參考了一下這個，但是感覺沒看懂。

不過呢，插值算是處理好了。

===================================================================================================

4.3講的是資料變換

主要是資料的規範化處理，把資料轉換成“適當的”形式。

程式碼就是狗屎，我自己補充了一下，給的程式碼不僅沒有 print ，還tm少了一個 import，真的服了

1. #-*- coding: utf-8 -*-
2. #資料規範化
3. import pandas as pd  
4. import numpy as np  
5. datafile = 'data/normalization_data.xls'#引數初始化
6. data = pd.read_excel(datafile, header = None) #讀取資料
7. print (data - data.min())/(data.max() - data.min()) #最小-最大規範化
8. print (data - data.mean())/data.std() #零-均值規範化
9. print data/10**np.ceil(np.log10(data.abs().max())) #小數定標規範化