2. 程式人生 > 其它 >一例 Hive join 優化實戰

一例 Hive join 優化實戰

阿新 • • 發佈：2022-04-28

由於 hive 與傳統關係型資料庫面對的業務場景及底層技術架構都有著很大差異，因此，傳統資料庫領域的一些技能放到 Hive 中可能已不再適用。關於 hive 的優化與原理、應用的文章，前面也陸陸續續的介紹了一些，但大多都偏向理論層面，本文就介紹一個例項，從例項中一步步加深對 hive 調優的認識與意識。

1、需求

需求我做了簡化，很簡單，兩張表做個 join，求指定城市，每天的 pv，用傳統的 RDBMS SQL 寫出來就這樣的： 

SELECT t.statdate,
       c.cname,
       count(t.cookieid)
FROM tmpdb.city c
JOIN ecdata.ext_trackflow t ON (t.area1= c.cname
                                OR t.area2 =c.cname
                                OR t.area3 = c.cname)
WHERE t.statdate>='20140818' and t.statdate<='20140824'
  AND platform='pc'
GROUP BY t.statdate,
         c.cname;

怎麼樣？根據 SQL 看懂需求沒問題吧？

2、非等值 join 問題

然後把這條 SQL 貼到 hive 中去執行，然後你會發現報錯了： 

FAILED: SemanticException [Error 10019]: Line 5:32 OR not supported in JOIN currently 'cname'

這是因為 hive 受限於 MapReduce 演算法模型，只支援 equi-joins（等值 join），要實現上述的非等值 join，你可以採用笛卡兒積（ full Cartesian product ）來實現： 

SELECT t.statdate,
       c.cname,
       count(t.cookieid)
FROM tmpdb.city c
JOIN ecdata.ext_trackflow t
WHERE t.statdate>='20140818'
  AND t.statdate<='20140824'
  AND platform='pc'
  AND (t.area1= c.cname
       OR t.area2 =c.cname
       OR t.area3 = c.cname)
GROUP BY t.statdate,
         c.cname;

然後再拿著這條語句執行下。

3、優化：reduce side join VS Cartesian product

如果你真的把這條語句放到 Hive 上執行，然後恰好你有張表還非常大，那麼恭喜你。。。叢集管理員估計會找你的麻煩了。。。

友情提示：笛卡兒積這種語句在 Hive 下慎用，大資料場景下的 m * n 對映結果你懂的。。。對此，Hive 特意提供了一個環境變數：hive.mapred.mode=strict; 防止笛卡兒積的執行： 

FAILED: SemanticException [Error 10052]: In strict mode, cartesian product is not allowed. If you really want to perform the operation, set hive.mapred.mode=nonstrict

從 2 中的觀察得知我們在 on 後面跟 join 條件，走的是 reduce side join，如果你在 where 後跟則是走 Cartesian product，但是這裡單條 sql 又沒法實現 reduce side join，還有沒有其它辦法呢？

4、改寫非等值 join：union all

既然不允許非等值 join，那我們換一下思路，多個子查詢 union all，然後彙總： 

SELECT dt,
       name,
       count(cid)
FROM
  (SELECT t.statdate dt,
          c.cname name,
          t.cookieid cid
   FROM tmpdb.city c
   JOIN ecdata.ext_trackflow t ON t.area1 =c.cname
   WHERE t.statdate>='20140818'
     AND t.statdate<='20140824'
     AND platform='pc'
   UNION ALL SELECT t.statdate dt,
                    c.cname name,
                    t.cookieid cid
   FROM tmpdb.city c
   JOIN ecdata.ext_trackflow t ON t.area2 =c.cname
   WHERE t.statdate>='20140818'
     AND t.statdate<='20140824'
     AND platform='pc'
   UNION ALL SELECT t.statdate dt,
                    c.cname name,
                    t.cookieid cid
   FROM tmpdb.city c
   JOIN ecdata.ext_trackflow t ON t.area3 =c.cname
   WHERE t.statdate>='20140818'
     AND t.statdate<='20140824'
     AND platform='pc') tmp_trackflow
GROUP BY dt,
         name;

5、優化：map side join

上述語句走的是 reduce side join，從我們的需求及業務得知，tmpdb.city 是一張字典表，資料量很小，因此我們可以試試把上述的語句改寫成 mapjoin： 

SELECT dt,
       name,
       count(cid)
FROM
  (SELECT /*+ MAPJOIN(c) */ t.statdate dt,
                            c.cname name,
                            t.cookieid cid
   FROM tmpdb.city c
   JOIN ecdata.ext_trackflow t ON t.area1 =c.cname
   WHERE t.statdate>='20140818'
     AND t.statdate<='20140824'
     AND platform='pc'
   UNION ALL SELECT /*+ MAPJOIN(c) */ t.statdate dt,
                                      c.cname name,
                                      t.cookieid cid
   FROM tmpdb.city c
   JOIN ecdata.ext_trackflow t ON t.area2 =c.cname
   WHERE t.statdate>='20140818'
     AND t.statdate<='20140824'
     AND platform='pc'
   UNION ALL SELECT /*+ MAPJOIN(c) */ t.statdate dt,
                                      c.cname name,
                                      t.cookieid cid
   FROM tmpdb.city c
   JOIN ecdata.ext_trackflow t ON t.area3 =c.cname
   WHERE t.statdate>='20140818'
     AND t.statdate<='20140824'
     AND platform='pc') tmp_trackflow
GROUP BY dt,
         name;

6、優化無極限：開啟 parallel 和 控制 reduce 個數

上述語句執行時，你可以看到執行計劃和狀態資訊，以及結合你的 union all 語句可知，三個 union 語句之間沒有依賴關係，其實是可以並行執行的： 

explain SQL...
...
STAGE DEPENDENCIES:
  Stage-11 is a root stage
  Stage-1 depends on stages: Stage-11
  Stage-2 depends on stages: Stage-1
  Stage-3 depends on stages: Stage-2, Stage-6, Stage-9
  Stage-12 is a root stage
  Stage-5 depends on stages: Stage-12
  Stage-6 depends on stages: Stage-5
  Stage-13 is a root stage
  Stage-8 depends on stages: Stage-13
  Stage-9 depends on stages: Stage-8
  Stage-0 is a root stage
...

我們在 SQL 前加上如下環境變數選項： 

set mapred.reduce.tasks=60;
set hive.exec.parallel=true;

讓執行計劃中的 Stage-11、Stage-12、Stage-13 並行執行，並控制好 reduce task 個數。

完整的語句如下： 

hive -e "
SET mapred.reduce.tasks=60;


SET hive.exec.parallel=TRUE;


SELECT dt,
       name,
       count(cid)
FROM
  (SELECT /*+ MAPJOIN(c) */ t.statdate dt,
                            c.cname name,
                            t.cookieid cid
   FROM tmpdb.city c
   JOIN ecdata.ext_trackflow t ON t.area1 =c.cname
   WHERE t.statdate>='20140818'
     AND t.statdate<='20140824'
     AND platform='pc'
   UNION ALL SELECT /*+ MAPJOIN(c) */ t.statdate dt,
                                      c.cname name,
                                      t.cookieid cid
   FROM tmpdb.city c
   JOIN ecdata.ext_trackflow t ON t.area2 =c.cname
   WHERE t.statdate>='20140818'
     AND t.statdate<='20140824'
     AND platform='pc'
   UNION ALL SELECT /*+ MAPJOIN(c) */ t.statdate dt,
                                      c.cname name,
                                      t.cookieid cid
   FROM tmpdb.city c
   JOIN ecdata.ext_trackflow t ON t.area3 =c.cname
   WHERE t.statdate>='20140818'
     AND t.statdate<='20140824'
     AND platform='pc') tmp_trackflow
GROUP BY dt,
         name;

" > a1.txt

最後的優化效果是：2 中的語句三個小時沒出結果。。。5 比 4 快 8 倍左右，6 比 5 快 2 倍左右，最終 10min 出結果。

7、最後的問題：

在 6 的語句執行的時候你會發現，其掃描了 三遍 原始檔。而 hive 本身是對 union all 的 join 做了優化的，當多個 union all 子查詢同一張表時，只掃描一次原始檔，但這裡為什麼會三個子查詢各掃描一次呢？

可能是這裡的 union all 子查詢使用了 join 的緣故，導致 hive 的 union all 執行計劃優化失效了。

關於這塊怎麼能優化成只掃描一次原始檔，或者你有更好的優化方案，歡迎留言交流。

8、關於 hive 中的 笛卡爾集（ full Cartesian product ）

在JION接連查詢中沒有ON連線key，而通過WHERE條件語句會產生笛卡爾集。 Hive本身是不支援笛卡爾集的，不能用select T1.*, T2.* from table1, table2這種語法。但有時候確實需要用到笛卡爾集的時候，可以用下面的語法來實現同樣的效果： select T1.*, T2.* from table1 T1 join table2 T2 where 1=1; 注意在Hive的Strict模式下不能用這種語法，因為這樣會產生笛卡爾集，而這種模式禁止產生笛卡爾集。需要先用set hive.mapred.mode=nonstrict;設為非strict模式就可以用了，或者將where改為on連線。 select T1.*, T2.* from table1 T1 join table2 T2 on  T1.id=T2.id;

9、關於Strict Mode

Hive中的嚴格模式可以防止使用者發出（可以有問題）的查詢無意中造成不良的影響。 將hive.mapred.mode設定成strict可以禁止三種類型的查詢： 1）、在一個分割槽表上，如果沒有在WHERE條件中指明具體的分割槽，那麼這是不允許的，換句話說，不允許在分割槽表上全表掃描。這種限制的原因是分割槽表通常會持非常大的資料集並且可能資料增長迅速，對這樣的一個大表做全表掃描會消耗大量資源，必須要再WHERE過濾條件中具體指明分割槽才可以執行成功的查詢。 2）、第二種是禁止執行有ORDER BY的排序要求但沒有LIMIT語句的HiveQL查詢。因為ORDER BY全域性查詢會導致有一個單一的reducer對所有的查詢結果排序，如果對大資料集做排序，這將導致不可預期的執行時間，必須要加上limit條件才可以執行成功的查詢。 3）、第三種是禁止產生笛卡爾集。在JION接連查詢中沒有ON連線key而通過WHERE條件語句會產生笛卡爾集，需要改為JOIN...ON語句。

10、Refer：

[1] Hive Query- Joining two tables on three joining conditions with OR operator

http://stackoverflow.com/questions/16272804/hive-query-joining-two-tables-on-three-joining-conditions-with-or-operator

[2] LanguageManual JoinOptimization

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+JoinOptimization

[3] hive 執行計劃

http://yychao.iteye.com/blog/1749562

[4] Hive SQL解析/執行計劃生成流程分析

http://yanbohappy.sinaapp.com/?p=265

[5] 資料倉庫中的SQL效能優化（Hive篇）

http://www.zihou.me/html/2014/02/12/9207.html

[6] Hive優化以及執行原理

http://www.smartcitychina.cn/upload/2014-01/14012015376829.pdf

[7] Hive作業優化總結

http://my.oschina.net/yangzhiyuan/blog/262910

[8] Hive連線產生笛卡爾集

http://blog.javachen.com/2013/10/17/cartesian-product-in-hive-inner-join/#

相關推薦

一例 Hive join 優化實戰

由於 hive 與傳統關係型資料庫面對的業務場景及底層技術架構都有著很大差異，因此，傳統資料庫領域的一些技能放到 Hive 中可能已不再適用。關於 hive 的優化與原理、應用的文章，前面也陸陸續續的介紹了一些，但大多

一次介面效能優化實戰

背景 系統前期設計不太合理,經常被使用者吐槽系統慢,而且預計雙十一雙十二期間系統的訪問量會飆升,所以系統的壓測和優化勢在必行

sql優化實戰 把full join改為left join +union all(從5分鐘降為10秒)

今天收到一個需求，要改寫一個報表的邏輯，當改完之後，再次執行，發現執行超時。

Flink實戰（九十八）：flink-sql使用（十六）雙流join（一）雙流 join 場景應用

本文主要介紹在流式場景中 join 的實戰。大家都知道在使用 SQL 進行資料分析的過程中，join 是經常要使用的操作。在離線場景中，join 的資料集是有邊界的，可以快取資料有邊界的資料集進行查詢，有Nested Loop/Hash

Mysql索引優化實戰一

Mysql索引優化實戰一 Mysql索引底層資料結構https://www.cnblogs.com/coderD/p/14957167.html

SQL優化一例：通過改變分組條件（減少計算次數）來提高效率

#與各人授權日期相關，所以有十萬使用者，就有十萬次查詢（相關子查詢） @Run.ExecuteSql(\"更新各人應聽正課數\",@\"update bi_data.study_manual_{{課程id}} c join(selecta.user_id,(select count(*) from bi_da

告訴你一種精簡、優化程式碼的方式

相對於Java8之前的Java的相關操作簡直是天差地別，Java8 的流式操作的出現，也很大程度上改變了開發者對於Java的繁瑣的操作的印象，從此，Java也走向了函式語言程式設計的道路！

百億級實時查詢優化實戰，讓你的Elasticsearch飛起來！

最近的一個專案是風控過程資料實時統計分析和聚合的一個 OLAP 分析監控平臺，日流量峰值在 10 到 12 億上下，每年資料約 4000 億條，佔用空間大概 200T。

Mysql巧用join優化sql的方法詳解

0. 準備相關表來進行接下來的測試 相關建表語句請看：https://github.com/YangBaohust/my_sql

一次資料庫效能優化測試，整理最全資料庫優化方案，還不快收藏

由於配置是執行過那麼長時間，很穩定，基本上不考慮，所以本次主要是sql的優化，並且集中在業務的個人空間。下面是這次優化的資料庫版本：

【踩坑日記】一次抓包排查實戰

問題的發現 週五，本是一個風清氣爽，令人愉悅的日子。我本還在美滋滋地等待著下班，然而天有不測，有使用者反應容器日誌看不到了，根據經驗我知道，日誌採集&收集鏈路上很可能又發生了阻塞。

一例基於vb.net的跨執行緒訪問winform元件的Parallel併發程式指令碼

開發環境：vs2019 目的：測試Parallel.For併發方法 途徑：在richtextbox控制元件中列印從1到11

Hive SQL 優化面試題整理

Hive優化目標 在有限的資源下，執行效率更高 常見問題： 資料傾斜 map數設定 reduce數設定

網站訪問速度優化實戰：CDN源/Nginx壓縮/全站CDN加速

前言 接觸到CDN的起因： 我自己搭建的網站https://price.monitor4all.cn/網頁開啟的速度一直比較慢，經查證是我的網站有很多靜態js大檔案，通過瀏覽器讀取這些js比較耗時間。

記一次網頁載入優化

1.因為官網圖片太多，伺服器頻寬又不夠，導致網頁載入很慢。20幾秒 打算把圖片放到七牛雲，發現七牛雲需要域名備案，（後面七牛雲回訪說可以提交工單申請國外的物件儲存不用備案。）

記憶體優化實戰

最近,因為專案時間不緊的原因,就對專案的某些頁面進行了記憶體觀察,發現了兩處優化點.特意記錄下來

總結一次C++ 程式優化歷程

近期用到了一位師兄寫的C++程式，總體功能良好。使用不同的資料測試，發現了一個明顯的缺點：大資料量下，預處理過程耗時很長。中科院的某計算叢集，普通佇列中的程式執行時間不能超過6個小時。而手上這套程式，大資

nginx效能改進一例

為什麼80%的碼農都做不了架構師？>>> 本文研究的是在海量靜態檔案下，如何提高nginx的處理能力。在靜態檔案數量不是很多的情況下，nginx處理靜態檔案的能力極快，但是在海量的靜態檔案下，ngi

ESXi叢集配置一例（HP C7000+DELL EQlogic+HUAWEI 6700）轉載老管網路日誌

轉載老管網路日誌本案例為ESXi叢集的一個例子，正如[VMware叢集常見硬體配置、架構說明]說的，此架構應該為第4種安全，即“刀鋒伺服器+IPSAN萬兆儲存+萬兆核心交換機 ”。這裡的刀鋒伺服器為HP C7000，IPS

【直播】高效能MySQL優化實戰

黑馬程式設計師視訊庫 播妞QQ號：3077485083 傳智播客旗下網際網路資訊、學習資源免費分享平臺