1. 程式人生 > 實用技巧 >動態分割槽

動態分割槽

 使用動態分割槽表必須配置的引數 :

  set hive.exec.dynamic.partition =true(預設false),表示開啟動態分割槽功能
  set hive.exec.dynamic.partition.mode = nonstrict(預設strict),表示允許所有分割槽都是動態的,否則必須有靜態分割槽欄位

動態分割槽相關的調優引數:

  set hive.exec.max.dynamic.partitions.pernode=100 (預設100,一般可以設定大一點,比如1000)

   表示每個maper或reducer可以允許建立的最大動態分割槽個數,預設是100,超出則會報錯。

 set hive.
exec.max.dynamic.partitions =1000(預設值) 表示一個動態分割槽語句可以建立的最大動態分割槽個數,超出報錯 set hive.exec.max.created.files =10000(預設) 全域性可以建立的最大檔案個數,超出報錯。
#資料插入動態分割槽例子
------------------------------------------------------------
insert into table test.test_ll_1 partition(dt) select 1,'a',2020 as dt union all select 2,'b',2021 as dt union all select
3,'c',2020 as dt;