2. 程式人生 > >利用Python進行資料分析——資料規整化：清理、轉換、合併、重塑(七)(4) .

利用Python進行資料分析——資料規整化：清理、轉換、合併、重塑(七)(4) .

阿新 • • 發佈：2019-01-17

1、資料轉換

目前為止介紹的都是資料的重排。另一類重要操作則是過濾、清理以及其他的轉換工作。

2、移除重複資料

DataFrame中常常會出現重複行。下面就是一個例子：

[python] view plaincopyprint?在CODE上檢視程式碼片派生到我的程式碼片
  1. In [4]: data = pd.DataFrame({'k1':['one'] * 3 + ['two'] * 4,  
  2. 'k2':[1, 1, 2, 3, 3, 4, 4]})  
  3. In [5]: data  
  4. Out[5]:   
  5.     k1  k2  
  6. 0  one   1
  7. 1  one   1
  8. 2  one   2
  9. 3  two   
    3
  10. 4  two   3
  11. 5  two   4
  12. 6  two   4
  13. [7 rows x 2 columns]  
In [4]: data = pd.DataFrame({'k1':['one'] * 3 + ['two'] * 4,
                     'k2':[1, 1, 2, 3, 3, 4, 4]})

In [5]: data
Out[5]: 
    k1  k2
0  one   1
1  one   1
2  one   2
3  two   3
4  two   3
5  two   4
6  two   4

[7 rows x 2 columns]
DataFrame的duplicated方法返回一個布林型Series，表示各行是否是重複行： [python] view plaincopyprint?在CODE上檢視程式碼片派生到我的程式碼片
  1. In [6]: data.duplicated()  
  2. Out[6]:   
  3. 0False
  4. 1True
  5. 2False
  6. 3False
  7. 4True
  8. 5False
  9. 6True
  10. dtype: bool  
In [6]: data.duplicated()
Out[6]: 
0    False
1     True
2    False
3    False
4     True
5    False
6     True
dtype: bool
還有一個與此相關的drop_duplicates方法，它用於返回一個移除了重複行的DataFrame： [python] view plaincopyprint?在CODE上檢視程式碼片派生到我的程式碼片
  1. In [7]: data.drop_duplicates()  
  2. Out[7]:   
  3.     k1  k2  
  4. 0  one   1
  5. 2  one   2
  6. 3  two   3
  7. 5  two   4
  8. [4 rows x 2 columns]  
In [7]: data.drop_duplicates()
Out[7]: 
    k1  k2
0  one   1
2  one   2
3  two   3
5  two   4

[4 rows x 2 columns]
這兩個方法預設會判斷全部列，你也可以指定部分列進行重複項判斷。假設你還有一列值，且只希望根據k1列過濾重複項： [python] view plaincopyprint?在CODE上檢視程式碼片派生到我的程式碼片
  1. In [8]: data['v1'] = range(7)  
  2. In [9]: data  
  3. Out[9]:   
  4.     k1  k2  v1  
  5. 0  one   10
  6. 1  one   11
  7. 2  one   22
  8. 3  two   33
  9. 4  two   34
  10. 5  two   45
  11. 6  two   46
  12. [7 rows x 3 columns]  
  13. In [10]: data.drop_duplicates(['k1'])  
  14. Out[10]:   
  15.     k1  k2  v1  
  16. 0  one   10
  17. 3  two   33
  18. [2 rows x 3 columns]  
In [8]: data['v1'] = range(7)

In [9]: data
Out[9]: 
    k1  k2  v1
0  one   1   0
1  one   1   1
2  one   2   2
3  two   3   3
4  two   3   4
5  two   4   5
6  two   4   6

[7 rows x 3 columns]

In [10]: data.drop_duplicates(['k1'])
Out[10]: 
    k1  k2  v1
0  one   1   0
3  two   3   3

[2 rows x 3 columns]
duplicated和drop_duplicates預設保留的是第一個出現的值組合。傳入take_last=True則保留最後一個： [python] view plaincopyprint?在CODE上檢視程式碼片派生到我的程式碼片
  1. In [11]: data.drop_duplicates(['k1', 'k2'], take_last=True)  
  2. Out[11]:   
  3.     k1  k2  v1  
  4. 1  one   11
  5. 2  one   22
  6. 4  two   34
  7. 6  two   46
  8. [4 rows x 3 columns]  
In [11]: data.drop_duplicates(['k1', 'k2'], take_last=True)
Out[11]: 
    k1  k2  v1
1  one   1   1
2  one   2   2
4  two   3   4
6  two   4   6

[4 rows x 3 columns]

3、利用函式或對映進行資料轉換

在對資料集進行轉換時，你可能希望根據陣列、Series或DataFrame列中的值來實現該轉換工作。我們來看看下面這組有關肉類的資料：

[python] view plaincopyprint?在CODE上檢視程式碼片派生到我的程式碼片
  1. In [12]: data = pd.DataFrame({'food':['bacon', 'pulled pork', 'bacon', 'Pastrami', 'corned beef', 'Bacon',   
  2. 'pastrami', 'honey ham', 'nova lox'],  
  3.    ....:                     'ounces':[4, 3, 12, 6, 7.5, 8, 3, 5, 6]})  
  4. In [13]: data  
  5. Out[13]:   
  6.           food  ounces  
  7. 0        bacon     4.0
  8. 1  pulled pork     3.0
  9. 2        bacon    12.0
  10. 3     Pastrami     6.0
  11. 4  corned beef     7.5
  12. 5        Bacon     8.0
  13. 6     pastrami     3.0
  14. 7    honey ham     5.0
  15. 8     nova lox     6.0
  16. [9 rows x 2 columns]  
In [12]: data = pd.DataFrame({'food':['bacon', 'pulled pork', 'bacon', 'Pastrami', 'corned beef', 'Bacon', 
                                      'pastrami', 'honey ham', 'nova lox'],
   ....:                     'ounces':[4, 3, 12, 6, 7.5, 8, 3, 5, 6]})

In [13]: data
Out[13]: 
          food  ounces
0        bacon     4.0
1  pulled pork     3.0
2        bacon    12.0
3     Pastrami     6.0
4  corned beef     7.5
5        Bacon     8.0
6     pastrami     3.0
7    honey ham     5.0
8     nova lox     6.0

[9 rows x 2 columns]
假設你想要新增一列表示該肉類食物來源的動物型別。我們先編寫一個肉類到動物的對映： [python] view plaincopyprint?在CODE上檢視程式碼片派生到我的程式碼片
  1. In [14]: meat_to_animal = {  
  2.    ....:        'bacon': 'pig',  
  3.    ....:        'pulled pork': 'pig',  
  4.    ....:        'pastrami': 'cow',  
  5.    ....:        'corned beef': 'cow',  
  6.    ....:        'honey ham': 'pig',  
  7.    ....:        'nova lox': 'salmon'
  8.    ....: }  
In [14]: meat_to_animal = {
   ....:        'bacon': 'pig',
   ....:        'pulled pork': 'pig',
   ....:        'pastrami': 'cow',
   ....:        'corned beef': 'cow',
   ....:        'honey ham': 'pig',
   ....:        'nova lox': 'salmon'
   ....: }
Series的map方法可以接受一個函式或含有對映關係的字典型物件，但是這裡有一個小問題，即有些肉類的首字母大寫了，而另一些則沒有。因此，我們還需要將各個值轉換為小寫： [python] view plaincopyprint?在CODE上檢視程式碼片派生到我的程式碼片
  1. In [15]: data['animal'] = data['food'].map(str.lower).map(meat_to_animal)  
  2. In [16]: data  
  3. Out[16]:   
  4.           food  ounces  animal  
  5. 0        bacon     4.0     pig  
  6. 1  pulled pork     3.0     pig  
  7. 2        bacon    12.0     pig  
  8. 3     Pastrami     6.0     cow  
  9. 4  corned beef     7.5     cow  
  10. 5        Bacon     8.0     pig  
  11. 6     pastrami     3.0     cow  
  12. 7    honey ham     5.0     pig  
  13. 8     nova lox     6.0  salmon  
  14. [9 rows x 3 columns]  
In [15]: data['animal'] = data['food'].map(str.lower).map(meat_to_animal)

In [16]: data
Out[16]: 
          food  ounces  animal
0        bacon     4.0     pig
1  pulled pork     3.0     pig
2        bacon    12.0     pig
3     Pastrami     6.0     cow
4  corned beef     7.5     cow
5        Bacon     8.0     pig
6     pastrami     3.0     cow
7    honey ham     5.0     pig
8     nova lox     6.0  salmon

[9 rows x 3 columns]
我們也可以傳入一個能夠完成全部這些工作的函式： [python] view plaincopyprint?在CODE上檢視程式碼片派生到我的程式碼片
  1. In [17]: data['food'].map(lambda x: meat_to_animal[x.lower()])  
  2. Out[17]:   
  3. 0       pig  
  4. 1       pig  
  5. 2       pig  
  6. 3       cow  
  7. 4       cow  
  8. 5       pig  
  9. 6       cow  
  10. 7       pig  
  11. 8    salmon  
  12. Name: food, dtype: object  
In [17]: data['food'].map(lambda x: meat_to_animal[x.lower()])
Out[17]: 
0       pig
1       pig
2       pig
3       cow
4       cow
5       pig
6       cow
7       pig
8    salmon
Name: food, dtype: object

說明：

使用map是一種實現元素級轉換以及其他資料清理工作的便捷方式。

4、替換值

利用fillna方法填充缺失資料可以看做值替換的一種特殊情況。雖然前面提到的mao可用於修改物件的資料子集，而replace則提供了一種實現該功能的更簡單、更靈活的方式。我們來看看下面這個Series：

[python] view plaincopyprint?在CODE上檢視程式碼片派生到我的程式碼片
  1. In [18]: data = pd.Series([1., -999, 2., -999, -1000., 3.])  
  2. In [19]: data  
  3. Out[19]:   
  4. 01
  5. 1    -999
  6. 22
  7. 3    -999
  8. 4   -1000
  9. 53
  10. dtype: float64  
In [18]: data = pd.Series([1., -999, 2., -999, -1000., 3.])

In [19]: data
Out[19]: 
0       1
1    -999
2       2
3    -999
4   -1000
5       3
dtype: float64
-999這個值可能是一個表示缺失資料的標記值。要將其替換為pandas能夠理解的NA值，我們可以利用replace來產生一個新的Series： [python] view plaincopyprint?在CODE上檢視程式碼片派生到我的程式碼片
  1. In [20]: data.replace(-999, np.nan)  
  2. Out[20]:   
  3. 01
  4. 1     NaN  
  5. 22
  6. 3     NaN  
  7. 4   -1000
  8. 53
  9. dtype: float64  
In [20]: data.replace(-999, np.nan)
Out[20]: 
0       1
1     NaN
2       2
3     NaN
4   -1000
5       3
dtype: float64
如果你希望一次性替換多個值，可以傳入一個由待替換值組成的列表以及一個替換值： [python] view plaincopyprint?在CODE上檢視程式碼片派生到我的程式碼片
  1. In [21]: data.replace([-999, -1000], np.nan)  
  2. Out[21]:   
  3. 01
  4. 1   NaN  
  5. 22
  6. 3   NaN  
  7. 4   NaN  
  8. 53
  9. dtype: float64  
In [21]: data.replace([-999, -1000], np.nan)
Out[21]: 
0     1
1   NaN
2     2
3   NaN
4   NaN
5     3
dtype: float64
如果希望對不同的值進行不同的替換，則傳入一個由替換關係組成的列表即可： [python] view plaincopyprint?在CODE上檢視程式碼片派生到我的程式碼片
  1. In [22]: data.replace([-999, -1000], [np.nan, 0])  
  2. Out[22]:   
  3. 01
  4. 1   NaN  
  5. 22
  6. 3   NaN  
  7. 40
  8. 53
  9. dtype: float64  
In [22]: data.replace([-999, -1000], [np.nan, 0])
Out[22]: 
0     1
1   NaN
2     2
3   NaN
4     0
5     3
dtype: float64
傳入的引數也可以是字典： [python] view plaincopyprint?在CODE上檢視程式碼片派生到我的程式碼片
  1. In [23]: data.replace({-999: np.nan, -1000: 0})  
  2. Out[23]:   
  3. 01
  4. 1   NaN  
  5. 22
  6. 3   NaN  
  7. 40
  8. 53
  9. dtype: float64  
In [23]: data.replace({-999: np.nan, -1000: 0})
Out[23]: 
0     1
1   NaN
2     2
3   NaN
4     0
5     3
dtype: float64

5、重新命名軸索引

跟Series中的值一樣，軸標籤也可以通過函式或對映進行轉換，從而得到一個新物件。軸還可以被就地修改，而無需新建一個數據結構。接下來看看下面這個簡單的例子：

[python] view plaincopyprint?在CODE上檢視程式碼片派生到我的程式碼片
  1. In [24]: data = pd.DataFrame(np.arange(12).reshape((3, 4)),  
  2.    ....:                     index=['Ohio', 'Colorado', 'New York'],  
  3.    ....:                     columns=['one', 'two', 'three', 'four'])  
In [24]: data = pd.DataFrame(np.arange(12).reshape((3, 4)),
   ....:                     index=['Ohio', 'Colorado', 'New York'],
   ....:                     columns=['one', 'two', 'three', 'four'])
跟Series一樣，軸標籤也有一個map方法： [python] view plaincopyprint?在CODE上檢視程式碼片派生到我的程式碼片
  1. In [25]: data.index.map(str.upper)  
  2. Out[25]: array(['OHIO', 'COLORADO', 'NEW YORK'], dtype=object)  
In [25]: data.index.map(str.upper)
Out[25]: array(['OHIO', 'COLORADO', 'NEW YORK'], dtype=object)
你可以將其賦值給index，這樣就可以對DataFrame進行就地修改了： [python] view plaincopyprint?在CODE上檢視程式碼片派生到我的程式碼片
  1. In [26]: data.index = data.index.map(str.upper)  
  2. In [27]: data  
  3. Out[27]:   
  4.           one  two  three  four  
  5. OHIO        0123
  6. COLORADO    4567
  7. NEW YORK    891011
  8. [3 rows x 4 columns]  
In [26]: data.index = data.index.map(str.upper)

In [27]: data
Out[27]: 
          one  two  three  four
OHIO        0    1      2     3
COLORADO    4    5      6     7
NEW YORK    8    9     10    11

[3 rows x 4 columns]
如果想要建立資料集的轉換版（而不是修改原始資料），比較使用的方式是rename： [python] view plaincopyprint?在CODE上檢視程式碼片派生到我的程式碼片
  1. In [28]: data.rename(index=str.title, columns=str.upper)  
  2. Out[28]:   
  3.           ONE  TWO  THREE  FOUR  
  4. Ohio        0123
  5. Colorado    4567
  6. New York    891011
  7. [3 rows x 4 columns]  
In [28]: data.rename(index=str.title, columns=str.upper)
Out[28]: 
          ONE  TWO  THREE  FOUR
Ohio        0    1      2     3
Colorado    4    5      6     7
New York    8    9     10    11

[3 rows x 4 columns]
特別說明一下，rename可以結合字典型物件實現對部分軸標籤的更新： [python] view plaincopyprint?在CODE上檢視程式碼片派生到我的程式碼片
  1. In [31]: data.rename(index={'OHIO': 'INDIANA'},  
  2.                      columns={'three': 'peekaboo'})  
  3. Out[31]:   
  4.           one  two  peekaboo  four  
  5. INDIANA     0123
  6. COLORADO    4567
  7. NEW YORK    891011
  8. [3 rows x 4 columns]  
In [31]: data.rename(index={'OHIO': 'INDIANA'},
                     columns={'three': 'peekaboo'})
Out[31]: 
          one  two  peekaboo  four
INDIANA     0    1         2     3
COLORADO    4    5         6     7
NEW YORK    8    9        10    11

[3 rows x 4 columns]
rename幫我們實現了：複製DataFrame並對其索引和列標籤進行賦值。如果希望就地修改某個資料集，傳入inplace=True即可： [python] view plaincopyprint?在CODE上檢視程式碼片派生到我的程式碼片
  1. In [32]: # 總是返回DataFrame的引用
  2. In [33]: _ = data.rename(index={'OHIO': 'INDIANA'}, inplace=True)  
  3. In [34]: data  
  4. Out[34]:   
  5.           one  two  three  four  
  6. INDIANA     0123
  7. COLORADO    4567
  8. NEW YORK    891011
  9. [3 rows x 4 columns]  
In [32]: # 總是返回DataFrame的引用

In [33]: _ = data.rename(index={'OHIO': 'INDIANA'}, inplace=True)

In [34]: data
Out[34]: 
          one  two  three  four
INDIANA     0    1      2     3
COLORADO    4    5      6     7
NEW YORK    8    9     10    11

[3 rows x 4 columns]

6、離散化和麵元劃分

為了便於分析，連續資料常常被離散化或拆分為“面元”（bin）。假設有一組人員資料，而你希望將它們劃分為不同的年齡組：

[python] view plaincopyprint?在CODE上檢視程式碼片派生到我的程式碼片
  1. In [35]: ages = [20, 22, 25, 27, 21, 23, 37, 31, 61, 45, 41, 32]  
In [35]: ages = [20, 22, 25, 27, 21, 23, 37, 31, 61, 45, 41, 32]
接下來將這些資料劃分為“18到25”、“26到35”、“35到60”以及“60以上”幾個面元。要實現該功能，你需要使用pandas的cut函式： [python] view plaincopyprint?在CODE上檢視程式碼片派生到我的程式碼片
  1. In [36]: bins = [18, 25, 35

    相關推薦

    利用Python進行資料分析——資料規整化：清理、轉換、合併、重塑(七)(4) .

    1、資料轉換 目前為止介紹的都是資料的重排。另一類重要操作則是過濾、清理以及其他的轉換工作。 2、移除重複資料 DataFrame中常常會出現重複行。下面就是一個例子： [python] view plaincopyprint? In

    利用Python進行NBA比賽資料分析

    分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！        

    pandas資料規整化：清理、轉換、合併、重塑

    資料分析和建模方面的大量程式設計工作都是用在資料準備上的：載入、清理、轉換以及重塑。 許多人選擇使用通用程式語言或unix文字處理工具(如sed或awk)對資料格式進行專門處理。 幸運的是，pandas和python標準庫提供了一組高階的、靈活的、高效的核心函式和演算法，將資料規整化正確的形

    資料規整化：清理、轉換、合併、重塑

    1. 合併資料集 pandas.merge可根據一個或者多個不同DataFrame中的行連線起來。 pandas.concat可以沿著一條軸將多個物件堆疊到一起。默認情況下 concat 是在axis=0上工作的，最終產生一個新的Series axis=1是列 例項方

    pandas數據大發888平臺出租規整化：清理、轉換、合並、重塑

    右連接 foo 規整化 float 數據集 str none num out 數據分析和大發888平臺出租 haozbbs.com Q1446595067建模方面的大量編程工作都是用在數據準備上的：加載、清理、轉換以及重塑。許多人選擇使用通用編程語言或unix文本處理工

    利用Python進行資料分析之第七章 記錄2 資料規整化:清理、轉換、合併、重塑

    索引上的合併 DataFrame中傳入引數left_index=True或者right_index=True（或者兩個都傳入）,表示DataFrame的index（索引）被用作兩個DataFrame連線的連線鍵，如下： dataframe1 = DataFrame({'key':

    利用Python進行資料分析之第七章記錄 資料規整化:清理、轉換、合併、重塑

    合併資料集： pandas物件中的資料可以通過一些內建的方式進行合併： pandas.merge可根據一個或多個鍵將不同DataFrame中的行連線起來。SQL或其它關係型資料庫的使用者對此應該會比較熟悉，因為它實現的就是資料庫的連線操作。 pandas.concat可以沿著一條軸將多個

    利用python進行資料分析之——資料規整化1（ETL）

    待我學有所成，結髮與蕊可好。@夏瑾墨 by Jooey 合併資料集 資料庫風格的DataFrame合併 索引上的合併 軸向連線 1.資料庫風格的DataFrame合併 i

    利用python進行資料分析之——資料規整化2（ETL）

    待我學有所成，結髮與蕊可好。@夏瑾墨 by Jooey 3.資料的軸向連線 Nunpy 有一個用於合併串聯原始Numpy陣列的concatenation函式 import numpy as np import pandas as pd from p

    資料基礎---《利用Python進行資料分析·第2版》第8章 資料規整：聚合、合併和重塑

    之前自己對於numpy和pandas是要用的時候東學一點西一點，直到看到《利用Python進行資料分析·第2版》，覺得只看這一篇就夠了。非常感謝原博主的翻譯和分享。 在許多應用中，資料可能分散在許多檔案或資料庫中，儲存的形式也不利於分析。本章關注可以聚合、合併、重塑資料的方法。 首先

    利用Python進行資料分析——繪圖和視覺化(八)(2)

    1、註釋以及在Subplot上繪圖 除標準的圖表物件之外，你可能還希望繪製一些自定義的註釋（比如文字、箭頭或其他圖形等）。 註釋可以通過text、arrow和annotate等函式進行新增。text可以將文字繪製在圖表的指定座標（x, y），還可以加上一些自定義格式： In [41]: ax.t

    【利用python進行資料分析】繪圖和視覺化

    通常的引入約定是： import matplotlib.pyplot as plt fig,axes=plt.subplots(2,3) 這種用法，可以一下子產生2x3個子視窗，並且以numpy陣列的方式儲存在axes中，而fig仍然是整個影象物件，這樣我們可以通過對a

    利用python進行資料分析之繪圖和視覺化

    matplotlib API入門  使用matplotlib的辦法最常用的方式是pylab的ipython，pylab模式還會向ipython引入一大堆模組和函式提供一種更接近與matlab的介面，matplotlib API函式位於matplotlib.pyplot模組中，其通常的引入約定是：import

    利用Python進行資料分析——視覺化

    import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns 基本入門 簡單圖 當用戶只提供了一個單維列表或陣列時，matplotl

    轉載]利用Python進行資料分析——繪圖和視覺化 xticks-學習筆記

    matplotlib是一個用於創建出版質量圖表的桌面繪圖包（主要是2D方面）。該專案是由John Hunter於2002年啟動的，其目的是為Python構建一個MATLAB式的繪圖介面。如果結合使用一種GUI工具包（如IPython），matplotlib還具有諸如縮放和平移等互動功能。它不僅支援各種作業系

    利用Python進行資料分析——第8章繪圖及視覺化——學習筆記Python3 5.0.0

    matplotlib API 入門 matplotlib API 函式（如plot和close）都位於matplotlib.pyplot模組中，通常的引入方式如下： import matplotlib.pyplot as plt Figure和Subplot matplot

    《利用Python進行資料分析·第2版》第9章 繪圖和視覺化

    資訊視覺化（也叫繪圖）是資料分析中最重要的工作之一。它可能是探索過程的一部分，例如，幫助我們找出異常值、必要的資料轉換、得出有關模型的 idea 等。另外，做一個可互動的資料視覺化也許是工作的最終目標。Python 有許多庫進行靜態或動態的資料視覺化，但我這裡重要關注於 ma

    利用python進行資料分析-繪圖和視覺化1

    matplotlib AIP入門 1.Figure和Subplot matplotlib的影象都位於Figure物件中。你可以用plt.figure建立一個新的Figure： fig=plt.figu

    利用python進行資料分析（第二版） pdf下載

    適讀人群 ：適合剛學Python的資料分析師或剛學資料科學以及科學計算的Python程式設計者。 閱讀本書可以獲得一份關於在Python下操作、處理、清洗、規整資料集的完整說明。本書第二版針對Python 3.6進行了更新，並增加實際案例向你展示如何高效地解決一系列資料分析問題。你將在閱讀

    《利用Python進行資料分析》學習記錄

    第8章249頁 原語句：party_counts = pd.crosstab(tips.day, tips.size) 現在的pandas似乎有個size屬性，就是計算資料的大小，而不會返回那一列具體的資料，比如這裡tips這個csv資料，其裡面包含一列size資料，現在來執行這句語句的話，