2. 程式人生 > 其它 >pandas之合併操作

pandas之合併操作

阿新 • • 發佈：2021-12-05

Pandas 提供的 merge() 函式能夠進行高效的合併操作，這與 SQL 關係型資料庫的 MERGE 用法非常相似。從字面意思上不難理解，merge 翻譯為“合併”，指的是將兩個 DataFrame 資料表按照指定的規則進行連線，最後拼接成一個新的 DataFrame 資料表。

merge() 函式的法格式如下：

pd.merge(left, right, how='inner', on=None, left_on=None, right_on=None,left_index=False, right_index=False, sort=True,suffixes=('_x', '_y'), copy=True)

引數說明，如下表所示：

引數名稱說明
left/right 兩個不同的 DataFrame 物件。
on 指定用於連線的鍵（即列標籤的名字），該鍵必須同時存在於左右兩個 DataFrame 中，如果沒有指定，並且其他引數也未指定， 那麼將會以兩個 DataFrame 的列名交集做為連線鍵。
left_on 指定左側DataFrame 中作連線鍵的列名。該引數在左、右列標籤名不相同，但表達的含義相同時非常有用。
right_on 指定左側 DataFrame 中作連線鍵的列名。
left_index 布林引數，預設為 False。如果為 True 則使用左側 DataFrame 的行索引作為連線鍵，若 DataFrame 具有多層
索引(MultiIndex)，則層的數量必須與連線鍵的數量相等。
right_index 布林引數，預設為 False。如果為 True 則使用左側 DataFrame 的行索引作為連線鍵。
how 要執行的合併型別，從{'left', 'right', 'outer', 'inner'} 中取值，預設為“inner”內連線。
sort 布林值引數，預設為True，它會將合併後的資料進行排序；若設定為 False，則按照 how 給定的引數值進行排序。
suffixes 字串組成的元組。當左右 DataFrame 存在相同列名時，通過該引數可以在相同的列名後附加字尾名，預設為('_x','_y')。
copy 預設為 True，表示對資料進行復制。

注意：Pandas 庫的 merge() 支援各種內外連線，與其相似的還有 join() 函式（預設為左連線）。


下面建立兩個不同的 DataFrame，然後對它們進行合併操作：

  1. import pandas as pd
  2. left = pd.DataFrame({
  3. 'id':[1,2,3,4],
  4. 'Name': ['Smith', 'Maiki', 'Hunter', 'Hilen'],
  5. 'subject_id':['sub1','sub2','sub4','sub6']})
  6. right = pd.DataFrame({
  7. 'id':[1,2,3,4],
  8. 'Name': ['William', 'Albert', 'Tony', 'Allen'],
  9. 'subject_id':['sub2','sub4','sub3','sub6']})
  10. print (left)
  11. print (right)

輸出如下：

   id    Name subject_id
0   1   Smith       sub1
1   2   Maiki       sub2
2   3  Hunter       sub4
3   4   Hilen       sub6

   id     Name subject_id
0   1  William       sub2
1   2   Albert       sub4
2   3     Tony       sub3
3   4    Allen       sub6

1) 在單個鍵上進行合併操作

通過 on 引數指定一個連線鍵，然後對上述 DataFrame 進行合併操作：

  1. import pandas as pd
  2. left = pd.DataFrame({
  3. 'id':[1,2,3,4],
  4. 'Name': ['Smith', 'Maiki', 'Hunter', 'Hilen'],
  5. 'subject_id':['sub1','sub2','sub4','sub6']})
  6. right = pd.DataFrame({
  7. 'id':[1,2,3,4],
  8. 'Name': ['William', 'Albert', 'Tony', 'Allen'],
  9. 'subject_id':['sub2','sub4','sub3','sub6']})
  10. #通過on引數指定合併的鍵
  11. print(pd.merge(left,right,on='id'))

輸出結果：

   id  Name_x subject_id_x   Name_y subject_id_y
0   1   Smith         sub1  William         sub2
1   2   Maiki         sub2   Albert         sub4
2   3  Hunter         sub4     Tony         sub3
3   4   Hilen         sub6    Allen         sub6

2) 在多個鍵上進行合併操作

下面示例，指定多個鍵來合併上述兩個 DataFrame 物件：

  1. import pandas as pd
  2. left = pd.DataFrame({
  3. 'id':[1,2,3,4],
  4. 'Name': ['Smith', 'Maiki', 'Hunter', 'Hilen'],
  5. 'subject_id':['sub1','sub2','sub4','sub6']})
  6. right = pd.DataFrame({
  7. 'id':[1,2,3,4],
  8. 'Name': ['Bill', 'Lucy', 'Jack', 'Mike'],
  9. 'subject_id':['sub2','sub4','sub3','sub6']})
  10. print(pd.merge(left,right,on=['id','subject_id']))

輸出結果：

   id Name_x subject_id Name_y
0   4  Hilen       sub6   Mike

使用how引數合併

通過how引數可以確定 DataFrame 中要包含哪些鍵，如果在左表、右表都不存的鍵，那麼合併後該鍵對應的值為 NaN。為了便於大家學習，我們將 how 引數和與其等價的 SQL 語句做了總結：

Merge方法等效 SQL描述
left LEFT OUTER JOIN 使用左側物件的key
right RIGHT OUTER JOIN 使用右側物件的key
outer FULL OUTER JOIN 使用左右兩側所有key的並集
inner INNER JOIN 使用左右兩側key的交集

1) left join

  1. import pandas as pd
  2. left = pd.DataFrame({
  3. 'id':[1,2,3,4],
  4. 'Name': ['Smith', 'Maiki', 'Hunter', 'Hilen'],
  5. 'subject_id':['sub1','sub2','sub4','sub6']})
  6. right = pd.DataFrame({
  7. 'id':[1,2,3,4],
  8. 'Name': ['Bill', 'Lucy', 'Jack', 'Mike'],
  9. 'subject_id':['sub2','sub4','sub3','sub6']})
  10. #以left側的subject_id為鍵
  11. print(pd.merge(left,right,on='subject_id',how="left"))

輸出結果：

   id_x  Name_x subject_id  id_y Name_y
0     1   Smith       sub1   NaN    NaN
1     2   Maiki       sub2   1.0   Bill
2     3  Hunter       sub4   2.0   Lucy
3     4   Hilen       sub6   4.0   Mike

2) right join

  1. import pandas as pd
  2. left = pd.DataFrame({
  3. 'id':[1,2,3,4],
  4. 'Name': ['Smith', 'Maiki', 'Hunter', 'Hilen'],
  5. 'subject_id':['sub1','sub2','sub4','sub6']})
  6. right = pd.DataFrame({
  7. 'id':[1,2,3,4],
  8. 'Name': ['Bill', 'Lucy', 'Jack', 'Mike'],
  9. 'subject_id':['sub2','sub4','sub3','sub6']})
  10. #以right側的subject_id為鍵
  11. print(pd.merge(left,right,on='subject_id',how="right"))

輸出結果：

   id_x  Name_x subject_id  id_y Name_y
0   2.0   Maiki       sub2     1   Bill
1   3.0  Hunter       sub4     2   Lucy
2   4.0   Hilen       sub6     4   Mike
3   NaN     NaN       sub3     3   Jack

3)outer join(並集)

  1. import pandas as pd
  2. left = pd.DataFrame({
  3. 'id':[1,2,3,4],
  4. 'Name': ['Smith', 'Maiki', 'Hunter', 'Hilen'],
  5. 'subject_id':['sub1','sub2','sub4','sub6']})
  6. right = pd.DataFrame({
  7. 'id':[1,2,3,4],
  8. 'Name': ['Bill', 'Lucy', 'Jack', 'Mike'],
  9. 'subject_id':['sub2','sub4','sub3','sub6']})
  10. #求出兩個subject_id的並集，並作為鍵
  11. print(pd.merge(left,right,on='subject_id',how="outer"))

輸出結果：

   id_x  Name_x subject_id  id_y Name_y
0   1.0   Smith       sub1   NaN    NaN
1   2.0   Maiki       sub2   1.0   Bill
2   3.0  Hunter       sub4   2.0   Lucy
3   4.0   Hilen       sub6   4.0   Mike
4   NaN     NaN       sub3   3.0   Jack

4) inner join(交集)

  1. import pandas as pd
  2. left = pd.DataFrame({
  3. 'id':[1,2,3,4],
  4. 'Name': ['Smith', 'Maiki', 'Hunter', 'Hilen'],
  5. 'subject_id':['sub1','sub2','sub4','sub6']})
  6. right = pd.DataFrame({
  7. 'id':[1,2,3,4],
  8. 'Name': ['Bill', 'Lucy', 'Jack', 'Mike'],
  9. 'subject_id':['sub2','sub4','sub3','sub6']})
  10. #求出兩個subject_id的交集，並將結果作為鍵
  11. print(pd.merge(left,right,on='subject_id',how="inner"))

輸出結果：

   id_x  Name_x subject_id  id_y Name_y
0     2   Maiki       sub2     1   Bill
1     3  Hunter       sub4     2   Lucy
2     4   Hilen       sub6     4   Mike

注意：當 a 與 b 進行內連操作時 a.join(b) 不等於 b.join(a)。

相關推薦

pandas之合併操作

Pandas 提供的 merge() 函式能夠進行高效的合併操作，這與 SQL 關係型資料庫的 MERGE 用法非常相似。從字面意思上不難理解，merge 翻譯為“合併”，指的是將兩個 DataFrame 資料表按照指定的規則進行連線，最後拼接

Python筆記：pandas之字串操作方法

字串操作 字串物件方法 #python內建的字串函式 str.split()#根據指定的字元分隔字串，返回一組分隔後列表

pandas之字串操作

Pandas 提供了一系列的字串函式，因此能夠很方便地對字串進行處理。在本節，我們使用 Series 物件對常用的字串函式進行講解。常用的字串處理函式如下表所示：

pandas之樣本操作

隨機抽樣，是統計學中常用的一種方法，它可以幫助我們從大量的資料中快速地構建出一組資料分析模型。在 Pandas 中，如果想要對資料集進行隨機抽樣，需要使用 sample() 函式。sample() 函式的語法格式如下：

pandas之excel操作

Excel 是由微軟公司開發的辦公軟體之一，它在日常工作中得到了廣泛的應用。在資料量較少的情況下，Excel 對於資料的處理、分析、視覺化有其獨特的優勢，因此可以顯著提升您的工作效率。但是，當資料量非常大時，Exc

pandas之分類操作

通常情況下，資料集中會存在許多同一類別的資訊，比如相同國家、相同行政編碼、相同性別等，當這些相同類別的資料多次出現時，就會給資料處理增添許多麻煩，導致資料集變得臃腫，不能直觀、清晰地展示資料。

Python 炫技操作之合併字典的七種方法

Python 語言裡有許多（而且是越來越多）的高階特性，是 Python 發燒友們非常喜歡的。在這些人的眼裡，能夠寫出那些一般開發者看不懂的高階特性，就是高手，就是大神。

2-python資料分析-基於pandas的資料清洗、DataFrame的級聯與合併操作

基於pandas的資料清洗 處理丟失資料 有兩種丟失資料： None np.nan(NaN) 兩種丟失資料的區別

3-python資料分析-DataFrame級聯與合併操作鞏固之人口分析案例

需求 匯入檔案，檢視原始資料 將人口資料和各州簡稱資料進行合併 將合併的資料中重複的abbreviation列進行刪除

Pandas資料規整之合併

資料合併 Pandas提供了大量方法，能輕鬆的對Series，DataFrame執行合併操作 按行合併

Pandas之五資料操作

Pandas之五資料操作 前面我們聊過了物件建立、資料檢視、資料選擇的相關操作，現在就要進入到資料分析階段了。使用pandas主要原因就是其提供的資料分析功能，能實現大部分的資料統計分析工作。對資料進行操作主要有

pandas之concat連結操作

Pandas 通過 concat() 函式能夠輕鬆地將 Series 與 DataFrame 物件組合在一起，函式的語法格式如下：

1.2.2 執行緒安全之原子操作

競態條件與臨界區 共享資源 不可變物件 原子操作定義 原子操作可以是一個步驟，也可以是多個操作步驟，但是其順序不可以被打亂，也不可以被切割而只執行其中的一部分（不可中斷性）。

Redis實戰記錄之限制操作頻率

前言 最近沉迷於業務開發無法自拔 🤣，有一段時間沒有更新博文了，後續博文內容計劃把一些業務場景下的實戰方案，或者比較好的設計思路進行分享，就不像之前圍繞著一個主題，消耗很多的時間去整理相關內容(憋

Oracle資料庫恢復教程之resetlogs操作

實驗環境：RHEL 5.4 + Oracle 11.2.0.3 如果是一名合格的Oracle DBA，對resetlogs這種關鍵字都應該是極其敏感的，當確認需要這種操作時一定要三思而後行，如果自己不是特別確認，哪怕多花些時間申請去讓高階DBA人員

PostgreSQL實現批量插入、更新與合併操作的方法

前言 就在 2019 年 1 月份微軟收購了 PostgreSQL 資料庫的初創公司 CitusData,在雲資料庫方面可以增強與 AWS 的竟爭。AWS 的 RDS 兩大開源資料庫就是 MySQL(Aurora 和 MariaDB 是它的變種) 和 PostgreSQL。

Python使用Pandas庫常見操作詳解

本文例項講述了Python使用Pandas庫常見操作。分享給大家供大家參考，具體如下：

Python基礎之字串操作常用函式集合

Python字串常用功能彙總 1、字串的定義 #定義空字串>>> name=\'\'#定義非空字串

Java基礎開發之JDBC操作資料庫增刪改查，分頁查詢例項詳解

對資料庫的操作無非就是增刪改查，其中數查詢操作最為複雜，所以將查詢單獨講解，我這裡用的Mysql資料庫

Python文字檔案的合併操作方法程式碼例項

我們有時候，看到幾k的日誌檔案，一大堆，一個一個開啟又很麻煩，少看幾個，又擔心遺漏，這個時候，如果有一個可以合併所有文字檔案的工具就好了。