動態分割槽
阿新 • • 發佈:2020-07-13
使用動態分割槽表必須配置的引數 : set hive.exec.dynamic.partition =true(預設false),表示開啟動態分割槽功能 set hive.exec.dynamic.partition.mode = nonstrict(預設strict),表示允許所有分割槽都是動態的,否則必須有靜態分割槽欄位 動態分割槽相關的調優引數: set hive.exec.max.dynamic.partitions.pernode=100 (預設100,一般可以設定大一點,比如1000) 表示每個maper或reducer可以允許建立的最大動態分割槽個數,預設是100,超出則會報錯。 set hive.exec.max.dynamic.partitions =1000(預設值) 表示一個動態分割槽語句可以建立的最大動態分割槽個數,超出報錯 set hive.exec.max.created.files =10000(預設) 全域性可以建立的最大檔案個數,超出報錯。
#資料插入動態分割槽例子
------------------------------------------------------------
insert into table test.test_ll_1 partition(dt) select 1,'a',2020 as dt union all select 2,'b',2021 as dt union all select3,'c',2020 as dt;