HIVE分割槽，實際上是通過一個路徑來標識的，而不是在物理資料中。比如每天的資料，可能分割槽是pt=20121023這樣，那麼路徑中它就會變成：/hdfs/path/pt=20121023/data_files。通過路徑來標識的好處是，如果我們需要取特定分割槽的資料，只需要把這個路徑下的資料取出來就可以了，不用掃描全部的資料。

HIVE預設是靜態分割槽。但是有時候可能需要動態建立不同的分割槽，比如商品資訊，我想根據它是否線上分成兩個分割槽，這樣後續如果要取線上商品，就只需要從線上的分割槽獲取即可。動態分割槽可以通過下面的設定來開啟：

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;

然後程式碼裡就可以這麼寫：

insert overwrite table tbl_name partition(pt, if_online)
select field1, field2, ..., pt, if_online
from tbl
where xxx;
 

注意輸入欄位的最後面必須是動態分割槽欄位。

看一下與靜態分割槽寫法的區別：

insert overwrite table tbl_name partition(pt=20121023, if_online=1)
select field1, field2, ..., fieldn
from tbl
where xxx;

動態分割槽與靜態分割槽還有一個細微的差別是，靜態分割槽一 定會建立分割槽，不管SELECT語句的結果有沒有資料。而動態分割槽，只有在SELECT結果的記錄數>0的時候，才會建立分割槽。因此在不同的業務場景下，可能會選擇不同的方案。

另外使用動態分割槽時需要注意的比較重要的一點是，動態分割槽會為每一個分割槽分配reduce數。比如說你在指令碼上面寫了：set mapred.reduce.tasks=100;

並且有兩個分割槽：pt, if_online。如果結果集中pt=20121023，if_online=0/1，那麼它就會為pt=20121023/if_online=0，pt=20121023/if_online=1各分配100個reduce。也就是說，namenode會同時處理200個檔案的寫操作。這在分割槽值很多的情況下，會成為一個災難，容易直接把namenode給搞掛掉，是非常危險的。因此使用動態分割槽時，一定要清楚地知道產生的動態分割槽值，並且合理地設定reduce數量。