2. 程式人生 > >數倉流程的報表設計及應用

數倉流程的報表設計及應用

阿新 • • 發佈：2018-12-06

1.背景:先用sqoop全量抽取資料，再增量抽取，整合到全量表中，作為ods層；進行業務處理到作為dwd層，結果到dm層；再sqoop將結果抽到mysql。

ods層：

#!/bin/bash

# ********************************************************************************
# 程式名稱:    online_tab_user_order
# 功能描述:    將mysql中online_tab_user_order表資料sqoop全量抽取到hive中
# 輸入引數:        
#              
# 輸入資源:    
# 輸出資源:    
#                
# 中間資源:    
# 建立人員:    csq    
# 建立日期:    
# 版本說明:
# 修改人員:    
# 修改日期:    
# 修改原因:   
# 版本說明:   
#              
# ********************************************************************************
# ********************************************************************************


VC_DBLIST='10.68.21.92,3306,hue,"xxx",user_online'
VC_DBLIST1='10.68.21.92,3306,hue,"xxx",user_online_other'

HIVE_SERVER='10.68.25.198:10000'
export HADOOP_USER_NAME=hue頁面賬號（hadoop叢集賬號）
dblist=${VC_DBLIST}
dbhost=`echo "${dblist}" |awk -F, '{print $1}'`
dbport=`echo "${dblist}" |awk -F, '{print $2}'`
dbuser=`echo "${dblist}" |awk -F, '{print $3}'`
dbpw=`echo "${dblist}" |awk -F, '{print $4}'`
dbname=`echo "${dblist}" |awk -F, '{print $5}'`

if [ $# -eq 0 ];
  then
    p_in_time_str=`date -d @date -d today +'%Y-%m-%d'' 00:00:00'`
    p_in_time_end=$p_in_time_str
    
  elif [ $# -eq 1 ];
    then
      p_in_time_str=$1
      p_in_time_end=$1 
  elif [ $# -eq 2 ];
    then 
      p_in_time_str=$1
      p_in_time_end=$2
  else 
    p_in_time_str=$1
    p_in_time_end=$2
fi

vc_stat_st=`date -d "$p_in_time_str" +'%Y-%m-%d'' 00:00:00'`
vc_stat_start=`date -d "$p_in_time_str" +'%Y-%m-%d'' 00:00:00'`
vc_stat_ed=`date -d "$p_in_time_end  next-day" +'%Y-%m-%d'' 00:00:00'`

vi_load_st=`date -d "$p_in_time_str" +'%Y%m%d'`
vi_load_ed=`date -d "$p_in_time_end" +'%Y%m%d'`
vc_load_st=`date -d "$p_in_time_str" +'%Y-%m-%d'' 00:00:00'`

vi_stat_st=`date -d "$p_in_time_str 1 day ago" +'%Y-%m-%d'' 00:00:00'`
vi_stat_ed=`date -d "$p_in_time_end" +'%Y-%m-%d'' 00:00:00'`
vi_stat=`date -d "$p_in_time_str  1 day ago" +'%Y%m%d'`

vi_part_drop=`date -d "$p_in_time_str 1080 day ago" +'%Y%m%d'`

echo $p_in_time_str","$p_in_time_end","$vc_stat_st","$vc_stat_ed","$vi_stat_st","$vi_stat_ed

sqoop_time=`date -d @date -d today +'%Y-%m-%d'`
qt=`date -d "2 days ago" +'%Y-%m-%d'' 24:00:00'`
ye=`date -d yesterday +'%Y-%m-%d'' 24:00:00'`

{#先建表，其實也可以不建表，因為sqoop會自主對應對映mysql表到hive。但要想用自己指定的欄位型別，先建表比較好
    beeline -u jdbc:hive2://${HIVE_SERVER} -n ${HADOOP_USER_NAME}  -e "
    drop table online_ods.online_all_tab_user_order;
    create table online_ods.online_all_tab_user_order(
     order_id string,
  brand_name string,
  channel_name string,
  county_name string,
  create_date string,
  customer_type_name string,
  customer_type_name_lv1 string,
  des_branch_name string,
  name_city string,
  name_province string,
  price string,
  product_mode_name string,
  product_name string,
  product_spec_name string,
  product_type_name string,
  quantity string,
  report_date string,
  salesmoney string,
  shop_id string,
  shop_name string,
  shopper_addr string,
  shopper_name string,
  shopper_phone string,
  subcompany_name string,
  user_id string,
  coupons1 string,
  coupons2 string,
  coupons3 string,
  confirm_date string,
  work_create_date string)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001' LINES TERMINATED BY '\n' STORED AS TEXTFILE;"
}&&{#mysql中是分庫分表的，分表就只能挨個迴圈讀取了
for table in tab_user_order_0 tab_user_order_1 tab_user_order_2 tab_user_order_3 tab_user_order_4 tab_user_order_5 tab_user_order_6 tab_user_order_7 tab_user_order_8 tab_user_order_9
do
{#注意：出現斷裂一般是--引數之間不止一個空格，如果出現warehouse中有表，但hue頁面無表一般是缺少--hive-import這個參

#數,\$CONDITIONS這個關鍵字一定不能忽略。--target-dir：sqoop抽取時先把資料放到hdfs，再put過去，中間會建一個臨時的

#表，這個就是hdfs的臨時表放的位置，如果要寫成warehouse的位置，你會發現只有最後一張表的對於分表來說。
sudo -u hdfs sqoop import --hive-drop-import-delims --connect jdbc:mysql://${dbhost}:${dbport}/${dbname} --username ${dbuser} --password ${dbpw} --delete-target-dir --lines-terminated-by '\n' --fields-terminated-by '\001' --null-string '\\N' --null-non-string '\\N' --hive-import --num-mappers 1 --query "SELECT  * from $table where \$CONDITIONS " --target-dir /tmp/hive-root/ --delete-target-dir --hive-table online_ods.online_all_tab_user_order


time=`date "+%Y-%m-%d %H:%M:%S"`
echo $tabe $time "is done"
echo "--------------------------finish----------------------------------"
}

done
}

#增量

#!/bin/bash

# ********************************************************************************
# 程式名稱:    online_tab_user_order
# 功能描述:    將mysql中online_tab_user_order表資料sqoop抽取到hive中
# 輸入引數:        
#              
# 輸入資源:    
# 輸出資源:    
#                
# 中間資源:    
# 建立人員:    csq    
# 建立日期:    
# 版本說明:
# 修改人員:    
# 修改日期:    
# 修改原因:   
# 版本說明:   
#              
# ********************************************************************************
# ********************************************************************************
#mysql中online_tab_user_order表資料sqoop抽取到hive中

VC_DBLIST='10.68.21.92,3306,hue,"xxx",user_online'
VC_DBLIST1='10.68.21.92,3306,hue,"xxxx",user_online_other'
export HADOOP_USER_NAME=
HIVE_SERVER='10.68.25.198:10000'

dblist=${VC_DBLIST}
dbhost=`echo "${dblist}" |awk -F, '{print $1}'`
dbport=`echo "${dblist}" |awk -F, '{print $2}'`
dbuser=`echo "${dblist}" |awk -F, '{print $3}'`
dbpw=`echo "${dblist}" |awk -F, '{print $4}'`
dbname=`echo "${dblist}" |awk -F, '{print $5}'`

if [ $# -eq 0 ];
  then
    p_in_time_str=`date -d @date -d today +'%Y-%m-%d'' 00:00:00'`
    p_in_time_end=$p_in_time_str
    
  elif [ $# -eq 1 ];
    then
      p_in_time_str=$1
      p_in_time_end=$1 
  elif [ $# -eq 2 ];
    then 
      p_in_time_str=$1
      p_in_time_end=$2
  else 
    p_in_time_str=$1
    p_in_time_end=$2
fi

vc_stat_st=`date -d "$p_in_time_str" +'%Y-%m-%d'' 00:00:00'`
vc_stat_start=`date -d "$p_in_time_str" +'%Y-%m-%d'' 00:00:00'`
vc_stat_ed=`date -d "$p_in_time_end  next-day" +'%Y-%m-%d'' 00:00:00'`

vi_load_st=`date -d "$p_in_time_str" +'%Y%m%d'`
vi_load_ed=`date -d "$p_in_time_end" +'%Y%m%d'`
vc_load_st=`date -d "$p_in_time_str" +'%Y-%m-%d'' 00:00:00'`

vi_stat_st=`date -d "$p_in_time_str 1 day ago" +'%Y-%m-%d'' 00:00:00'`
vi_stat_ed=`date -d "$p_in_time_end" +'%Y-%m-%d'' 00:00:00'`
vi_stat=`date -d "$p_in_time_str  1 day ago" +'%Y%m%d'`

vi_part_drop=`date -d "$p_in_time_str 1080 day ago" +'%Y%m%d'`

echo $p_in_time_str","$p_in_time_end","$vc_stat_st","$vc_stat_ed","$vi_stat_st","$vi_stat_ed

sqoop_time=`date -d @date -d today +'%Y-%m-%d'`
qt=`date -d "2 days ago" +'%Y-%m-%d'' 24:00:00'`
ye=`date -d yesterday +'%Y-%m-%d'' 24:00:00'`

{
    beeline -u jdbc:hive2://${HIVE_SERVER} -n ${HADOOP_USER_NAME}  -e "
    drop table online_ods.online_tab_user_order;#注意要先刪除，因為每天抽增量
    create table online_ods.online_tab_user_order(
     order_id string,
  brand_name string,
  channel_name string,
  county_name string,
  create_date string,
  customer_type_name string,
  customer_type_name_lv1 string,
  des_branch_name string,
  name_city string,
  name_province string,
  price string,
  product_mode_name string,
  product_name string,
  product_spec_name string,
  product_type_name string,
  quantity string,
  report_date string,
  salesmoney string,
  shop_id string,
  shop_name string,
  shopper_addr string,
  shopper_name string,
  shopper_phone string,
  subcompany_name string,
  user_id string,
  coupons1 string,
  coupons2 string,
  coupons3 string,
  confirm_date string,
  work_create_date string)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001' LINES TERMINATED BY '\n' STORED AS TEXTFILE;"
}&&{
for table in tab_user_order_0 tab_user_order_1 tab_user_order_2 tab_user_order_3 tab_user_order_4 tab_user_order_5 tab_user_order_6 tab_user_order_7 tab_user_order_8 tab_user_order_9
do
{
sudo -u hdfs sqoop import --hive-drop-import-delims --connect jdbc:mysql://${dbhost}:${dbport}/${dbname} --username ${dbuser} --password ${dbpw} --delete-target-dir --lines-terminated-by '\n' --fields-terminated-by '\001' --null-string '\\N' --null-non-string '\\N' --hive-import --num-mappers 1 --query "SELECT  * from $table where work_create_date> '${qt}' and work_create_date <='${ye}' and \$CONDITIONS " --target-dir /tmp/hive-root/ --delete-target-dir --hive-table online_ods.online_tab_user_order


time=`date "+%Y-%m-%d %H:%M:%S"`
echo $tabe $time "is done"
echo "--------------------------finish----------------------------------"
}

done
}&&{
    beeline -u jdbc:hive2://${HIVE_SERVER} -n ${HADOOP_USER_NAME}  -e "
        set hive.exec.dynamic.partition=true;  
        set hive.exec.dynamic.partition.mode=nonstrict;
        set hive.optimize.sort.dynamic.partition=false;
        set hive.exec.max.dynamic.partitions.pernode=1000;
        set hive.exec.max.dynamic.partitions=10000;            
INSERT into TABLE online_ods.online_all_tab_user_order
SELECT  
  order_id ,
  brand_name ,
  channel_name ,
  county_name ,
  create_date ,
  customer_type_name ,
  customer_type_name_lv1 ,
  des_branch_name ,
  name_city ,
  name_province ,
  price ,
  product_mode_name ,
  product_name ,
  product_spec_name ,
  product_type_name ,
  quantity ,
  report_date ,
  salesmoney ,
  shop_id ,
  shop_name ,
  shopper_addr ,
  shopper_name ,
  shopper_phone ,
  subcompany_name ,
  user_id ,
  coupons1 ,
  coupons2 ,
  coupons3 ,
  confirm_date ,
  work_create_date 
FROM online_ods.online_tab_user_order;"
}

dwd:

#!/bin/bash

# ********************************************************************************
# 程式名稱:    意向使用者-促銷活動使用者數
# 功能描述:    Tlink使用者資產管理應用中，截止當前銷售代表主動所新增的意向使用者數（來源：使用者資料中心）
# 輸入引數:        
#              
# 輸入資源:    
# 輸出資源:    
#                
# 中間資源:    
# 建立人員:    csq    
# 建立日期:    
# 版本說明:
# 修改人員:    
# 修改日期:    
# 修改原因:   
# 版本說明:   
#              
# ********************************************************************************
# ********************************************************************************
#mysql中online_tab_user_order表資料sqoop抽取到hive中

VC_DBLIST='10.68.25.201,3306,admin,"123$#sadY23",user_online'
VC_DBLIST1='10.68.25.201,3306,admin,"123$#sadY23",user_online_other'
HIVE_SERVER='10.68.25.198:10000'
export HADOOP_USER_NAME=chensiqing

dblist=${VC_DBLIST}
dbhost=`echo "${dblist}" |awk -F, '{print $1}'`
dbport=`echo "${dblist}" |awk -F, '{print $2}'`
dbuser=`echo "${dblist}" |awk -F, '{print $3}'`
dbpw=`echo "${dblist}" |awk -F, '{print $4}'`
dbname=`echo "${dblist}" |awk -F, '{print $5}'`

if [ $# -eq 0 ];
  then
    p_in_time_str=`date -d @date -d today +'%Y-%m-%d'' 00:00:00'`
    p_in_time_end=$p_in_time_str
    
  elif [ $# -eq 1 ];
    then
      p_in_time_str=$1
      p_in_time_end=$1 
  elif [ $# -eq 2 ];
    then 
      p_in_time_str=$1
      p_in_time_end=$2
  else 
    p_in_time_str=$1
    p_in_time_end=$2
fi

vc_stat_st=`date -d "$p_in_time_str" +'%Y-%m-%d'' 00:00:00'`
vc_stat_start=`date -d "$p_in_time_str" +'%Y-%m-%d'' 00:00:00'`
vc_stat_ed=`date -d "$p_in_time_end  next-day" +'%Y-%m-%d'' 00:00:00'`

vi_load_st=`date -d "$p_in_time_str" +'%Y%m%d'`
vi_load_ed=`date -d "$p_in_time_end" +'%Y%m%d'`
vc_load_st=`date -d "$p_in_time_str" +'%Y-%m-%d'' 00:00:00'`

vi_stat_st=`date -d "$p_in_time_str 1 day ago" +'%Y-%m-%d'' 00:00:00'`
vi_stat_ed=`date -d "$p_in_time_end" +'%Y-%m-%d'' 00:00:00'`
vi_stat=`date -d "$p_in_time_str  1 day ago" +'%Y%m%d'`

vi_part_drop=`date -d "$p_in_time_str 1080 day ago" +'%Y%m%d'`

echo $p_in_time_str","$p_in_time_end","$vc_stat_st","$vc_stat_ed","$vi_stat_st","$vi_stat_ed

createDate=`date -d @date -d today +'%Y-%m-%d'`
qt=`date -d "2 days ago" +'%Y-%m-%d'' 24:00:00'`
ye=`date -d yesterday +'%Y-%m-%d'' 24:00:00'`

{
    beeline -u jdbc:hive2://${HIVE_SERVER} -n ${HADOOP_USER_NAME}  -e "
    drop table online_dw.actionUserResult_tab;
create TABLE online_dw.actionUserResult_tab(
 subcompany_name string,
 number int
)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001' LINES TERMINATED BY '\n' STORED AS TEXTFILE;

INSERT into TABLE online_dw.actionUserResult_tab 
select w.sn,count(w.intention_id)  from
(
SELECT   distinct s.subcompany_name sn,s.user_id ,s.user_name,ia.intention_id
FROM online_ods.online_all_crm_user_shop s
left JOIN 
        (
            select i.user_id,i.intention_id FROM online_ods.online_all_tab_user_intention i
            where i.intention_source ='2' and i.user_stage in ('0','2')
        ) ia on ia.user_id=s.user_id
WHERE s.subcompany_name LIKE '%分公司%'

) w
group by w.sn;"

time=`date "+%Y-%m-%d %H:%M:%S"`
echo $time "table online_dw.actionUserResult_tab drop  create insert is done"
echo "--------------------------finish----------------------------------"
}

#將所有結果表合成想要的報表

#!/bin/bash

# ********************************************************************************
# 程式名稱:    復購使用者-累計已購
# 功能描述:    截止當前訂單數大於等於2的使用者人數
# 輸入引數:        
#              
# 輸入資源:    
# 輸出資源:    
#                
# 中間資源:    
# 建立人員:    csq    
# 建立日期:    
# 版本說明:
# 修改人員:    
# 修改日期:    
# 修改原因:   
# 版本說明:   
#              
# ********************************************************************************
# ********************************************************************************
#mysql中online_tab_user_order表資料sqoop抽取到hive中

VC_DBLIST='10.68.25.201,3306,admin,"XXXX",user_online'
VC_DBLIST1='10.68.25.201,3306,admin,"XXXXX",user_online_other'
HIVE_SERVER='10.68.25.198:10000'
export HADOOP_USER_NAME=

dblist=${VC_DBLIST}
dbhost=`echo "${dblist}" |awk -F, '{print $1}'`
dbport=`echo "${dblist}" |awk -F, '{print $2}'`
dbuser=`echo "${dblist}" |awk -F, '{print $3}'`
dbpw=`echo "${dblist}" |awk -F, '{print $4}'`
dbname=`echo "${dblist}" |awk -F, '{print $5}'`

if [ $# -eq 0 ];
  then
    p_in_time_str=`date -d @date -d today +'%Y-%m-%d'' 00:00:00'`
    p_in_time_end=$p_in_time_str
    
  elif [ $# -eq 1 ];
    then
      p_in_time_str=$1
      p_in_time_end=$1 
  elif [ $# -eq 2 ];
    then 
      p_in_time_str=$1
      p_in_time_end=$2
  else 
    p_in_time_str=$1
    p_in_time_end=$2
fi

vc_stat_st=`date -d "$p_in_time_str" +'%Y-%m-%d'' 00:00:00'`
vc_stat_start=`date -d "$p_in_time_str" +'%Y-%m-%d'' 00:00:00'`
vc_stat_ed=`date -d "$p_in_time_end  next-day" +'%Y-%m-%d'' 00:00:00'`

vi_load_st=`date -d "$p_in_time_str" +'%Y%m%d'`
vi_load_ed=`date -d "$p_in_time_end" +'%Y%m%d'`
vc_load_st=`date -d "$p_in_time_str" +'%Y-%m-%d'' 00:00:00'`

vi_stat_st=`date -d "$p_in_time_str 1 day ago" +'%Y-%m-%d'' 00:00:00'`
vi_stat_ed=`date -d "$p_in_time_end" +'%Y-%m-%d'' 00:00:00'`
vi_stat=`date -d "$p_in_time_str  1 day ago" +'%Y%m%d'`

vi_part_drop=`date -d "$p_in_time_str 1080 day ago" +'%Y%m%d'`

echo $p_in_time_str","$p_in_time_end","$vc_stat_st","$vc_stat_ed","$vi_stat_st","$vi_stat_ed

createDate=`date -d @date -d today +'%Y-%m-%d'`
qt=`date -d "2 days ago" +'%Y-%m-%d'' 24:00:00'`
ye=`date -d yesterday +'%Y-%m-%d'' 24:00:00'`

{
    beeline -u jdbc:hive2://${HIVE_SERVER} -n ${HADOOP_USER_NAME}  -e "
    drop table online_dm.Report;
create TABLE online_dm.Report(
 subcompany_name string,
 sum_add_user int,
 sum_week_add_user int,
 sum_action_add_user int,
 sum_week_action_add_user int,
 sum_ordered_add_user int,
 sum_week_ordered_add_user int,
 sum_transform_add_user int,
 sum_week_transform_add_user int,
 sum_old_order_add_user int,
 sum_week_old_order_user int
)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001' LINES TERMINATED BY '\n' STORED AS TEXTFILE;


INSERT into TABLE online_dm.Report
SELECT a.subcompany_name,a.number,b.number,c.number,d.number,e.number,f.number,g.number,h.number,i.number,j.number
from 
online_dw.adduserresult_tab a
left join 
online_dw.addweekuserresult_tab b on a.subcompany_name=b.subcompany_name
left join 
 online_dw.actionuserresult_tab c on b.subcompany_name=c.subcompany_name
left join 
 online_dw.actionweekuserresult_tab d on c.subcompany_name=d.subcompany_name
left join 
 online_dw.orderedadduserresult_tab e on d.subcompany_name=e.subcompany_name
left join 
 online_dw.orderedaddweekuserresult_tab f on e.subcompany_name=f.subcompany_name
left join 
online_dw.transformadduserresult_tab g on f.subcompany_name=g.subcompany_name
left join 
online_dw.transformweekadduserresult_tab h on g.subcompany_name=h.subcompany_name
left join 
online_dw.oldorderedthantwo i on h.subcompany_name=i.subcompany_name
left join 
online_dw.oldweekorderedthantwo j on i.subcompany_name=j.subcompany_name ;"

time=`date "+%Y-%m-%d %H:%M:%S"`
echo $time "online_dm.Report drop  create insert is done"
echo "--------------------------finish----------------------------------"
}

dm層

#!/bin/bash

# ********************************************************************************
# 程式名稱:    報表匯出到mysql
# 功能描述:    將dm層的report資料sqoop抽取到hive中
# 輸入引數:        
#              
# 輸入資源:    
# 輸出資源:    
#                
# 中間資源:    
# 建立人員:    csq    
# 建立日期:    
# 版本說明:
# 修改人員:    
# 修改日期:    
# 修改原因:   
# 版本說明:   
#              
# ********************************************************************************
# ********************************************************************************


VC_DBLIST='10.68.25.201,3306,admin,"xxxx",user_online'
VC_DBLIST1='10.68.25.201,3306,admin,"xxxxx",user_online_other'
HIVE_SERVER='10.68.25.198:10000'

export HADOOP_USER_NAME=

dblist=${VC_DBLIST}
dbhost=`echo "${dblist}" |awk -F, '{print $1}'`
dbport=`echo "${dblist}" |awk -F, '{print $2}'`
dbuser=`echo "${dblist}" |awk -F, '{print $3}'`
dbpw=`echo "${dblist}" |awk -F, '{print $4}'`
dbname=`echo "${dblist}" |awk -F, '{print $5}'`

if [ $# -eq 0 ];
  then
    p_in_time_str=`date -d @date -d today +'%Y-%m-%d'' 00:00:00'`
    p_in_time_end=$p_in_time_str
    
  elif [ $# -eq 1 ];
    then
      p_in_time_str=$1
      p_in_time_end=$1 
  elif [ $# -eq 2 ];  
    then 
      p_in_time_str=$1
      p_in_time_end=$2
  else 
    p_in_time_str=$1
    p_in_time_end=$2
fi

vc_stat_st=`date -d "$p_in_time_str" +'%Y-%m-%d'' 00:00:00'`
vc_stat_start=`date -d "$p_in_time_str" +'%Y-%m-%d'' 00:00:00'`
vc_stat_ed=`date -d "$p_in_time_end  next-day" +'%Y-%m-%d'' 00:00:00'`

vi_load_st=`date -d "$p_in_time_str" +'%Y%m%d'`
vi_load_ed=`date -d "$p_in_time_end" +'%Y%m%d'`
vc_load_st=`date -d "$p_in_time_str" +'%Y-%m-%d'' 00:00:00'`

vi_stat_st=`date -d "$p_in_time_str 1 day ago" +'%Y-%m-%d'' 00:00:00'`
vi_stat_ed=`date -d "$p_in_time_end" +'%Y-%m-%d'' 00:00:00'`
vi_stat=`date -d "$p_in_time_str  1 day ago" +'%Y%m%d'`

vi_part_drop=`date -d "$p_in_time_str 1080 day ago" +'%Y%m%d'`

echo $p_in_time_str","$p_in_time_end","$vc_stat_st","$vc_stat_ed","$vi_stat_st","$vi_stat_ed

sqoop_time=`date -d @date -d today +'%Y-%m-%d'`
qt=`date -d "2 days ago" +'%Y-%m-%d'' 24:00:00'`
ye=`date -d yesterday +'%Y-%m-%d'' 24:00:00'`

{#將生成的報表sqoop倒到mysql中，注意加上?useUnicode=true&characterEncoding=utf-8防止中文亂碼，還要提前mysql中建

#好表。每次sqoop倒出時，要注意truncat清空表，覆蓋不了的
sudo -u hdfs sqoop export --connect "jdbc:mysql://${dbhost}:${dbport}/${dbname}?useUnicode=true&characterEncoding=utf-8" --username ${dbuser} --password ${dbpw} --num-mappers 1 --export-dir /user/hive/warehouse/online_dm.db/report --table report --input-fields-terminated-by '\001' --input-null-string '\\N' --input-null-non-string '\\N'
time=`date "+%Y-%m-%d %H:%M:%S"`
echo " report at " $time "is done"
echo "--------------------------finish----------------------------------"

}

相關推薦

數倉流程的報表設計及應用

1.背景:先用sqoop全量抽取資料，再增量抽取，整合到全量表中，作為ods層；進行業務處理到作為dwd層，結果到dm層；再sqoop將結果抽到mysql。 ods層： #!/bin/bash # *******************************************

Modbus通用數據讀取工具設計及使用

技術 分享 需要 ima 因此 https 界面設計 打開 csdn 一、公共功能碼定義 二、能讀取的數據類型 1.bit類型，比如01功能碼，讀到的就是位的狀態，是ON 還是OFF，也就是對應著0或1。 2.byte類型，比如03功能碼。 3.short類型

數學軟件實訓2-MATLAB程序綜合設計及應用

應用 問題 mage 簡便 splay 圖像 方程 $1 題目 數學軟件實訓任務二 一 題目：MATLAB程序綜合設計及應用 二 目的：熟練掌握MATLAB程序設計的基本方法，會根據MATLAB程序設計的 三 要求： 1 熟練掌握控制流的基本語法結構。 　　

《B/S模式下ADO.NET資料庫訪問技術的設計及應用》論文筆記（十七）

一、基本資訊 標題：B/S模式下ADO.NET資料庫訪問技術的設計及應用 時間：2014 來源：電子測試 關鍵詞：B/S模式; ADO.NET資料庫訪問技術; 設計; 應用; 二、研究內容 1.ADO.NET資料庫訪問技術的兩種模式： 連線模式下的資料庫訪問技術：

數字邏輯設計及應用 -- 緒論

                            電子系統所包含的知識點及其相互關係 1.1電子系統包括四個步驟：      訊號的提取  →    訊號的（預）處理     →    訊號的加工    →     訊號的執行     1.訊號的提取   

棧類模板設計及應用

作用域 empty 作用 def private tmp () file public 題目描述 模擬STL stack類模板設計實現你的stack類模板，該類需具有入棧，出棧，判棧空，取棧頂元素等功能，並能拷貝構造和賦值；利用該類實現本題要求。本題可以使用STL st

[數倉]資料倉庫設計方案

資料倉庫設計方案 一.概述  資料倉庫的特徵在於面向主題、整合性、穩定性和時變性，用於支援管理決策。資料倉庫的存在的意義在於對企業的所有資料進行彙總，為企業各個部門提供統一的、規範的資料出口。資料倉庫在構建過程中通常都需要進行分層處理。業務不同，分層的技術處理手段也不同。數倉分層的主要原因： 清晰資料結構

數據庫原理及應用——關系數據庫

block 關系數據庫 ces and 卡爾 svg 數據庫原理 -m 元組 關系數據結構 實體，實體間的聯系都是關系表示，用戶角度的邏輯結構就是二維表 關系：笛卡爾積的子集 關系操作集合 傳統集合操作：並、交、差、笛卡爾積 專門的關系運算：

java架構師課程、性能調優、高並發、tomcat負載均衡、大型電商項目實戰、高可用、高可擴展、數據庫架構設計、Solr集群與應用、分布式實戰、主從復制、高可用集群、大數據

慢查詢 主從復制 難題 jms 整合 大數 數據庫設計 企業級 nginx網站 15套Java架構師詳情 * { font-family: "Microsoft YaHei" !important } h1 { background-color: #006; color:

《從零開始學Swift》學習筆記（Day67）——Cocoa Touch設計模式及應用之MVC模式

table control sdn rate term targe rac uitabbar bsp 原創文章，歡迎轉載。轉載請註明：關東升的博客 MVC（Model-View-Controller，模型-視圖-控制器）模式是相當古老的設計模式之中的一個，它最早出如今

數據庫原理及應用(SQL Server 2016數據處理)【上海精品視頻課程】

應用 原理 sql 信息無處不在，數據處理無處不用。物質、信息、能源已經成為人類生存和發展的重要保障。數據庫的應用廣度深度及建設規模已經成為衡量一個國家信息化程度的一項重要標誌。數據庫技術是計算機學科的一個重要分支，反映了數據管理的最新技術。數據庫技術與計算機網絡、人工智能一起被稱為計算機三大

高性能可擴展MySQL數據庫設計及架構優化 電商項目_1

電商一 數據庫設計規範1 命名規範 所有數據庫對象名稱必須用小寫字母並下劃線分割對象名稱禁止使用MySQL保留關鍵字命名要做到見名識義，不超過32字節臨時表必須tmp前綴 日期後綴備份庫表bak前綴 日期後綴所有存儲相同數據的列名和類型必須一致2 數據庫基本設計規範所有表必須用innodb引擎數據庫和表字符集

實現自定義查詢的數據庫設計及實現（一）

bre 名稱 審批流程 work 數據庫名 需要 自定義查詢 perm 枚舉 需求 先說一下需求：實現用戶自定義的查詢，用戶可以自定義要查詢的列、自定義條件條件、自定義排序。除了查詢使用外，還可以使用於各個需要根據條件進行約束的業務，如權限； 本設計和實現，很大部分是通過數

實現自定義查詢的數據庫設計及實現（二）

表名 table abr bigint sts 處理 update 關聯表 creat 上部分大概講了一下表設計，這部分講一下處理。 處理的結構 處理結構的內容比較多，分為幾個部分分別講解一下。首先講解一下尋找關系表。 尋找關系表 尋找關系表根據“表間關系登記表”進行處

Java設計模式之《單例模式》及應用場景

urn vol 運行 www 同步問題 href 外部 占用 模式 轉載參考:http://www.cnblogs.com/V1haoge/p/6510196.html 所謂單例，指的就是單實例，有且僅有一個類實例，這個單例不應該由人來控制，而應該由代碼來限制，強制單例。

Java設計模式之《外觀模式》及應用場景

nbsp str 之間 系統設計 static 系統 被調用 sub div 轉載參考:http://www.cnblogs.com/V1haoge/p/6484128.html 1、外觀模式簡介 　　外觀模式，一般用在子系統與訪問之間，用於對訪問屏蔽復雜的子系統調用，采用

數據庫原理及應用-數據庫管理系統 DBMS

元組 並且 大小 持久 currency 小型 解決方法 結果 表達式 2018-02-20 14:35:34 數據庫管理系統（英語：database management system，縮寫：DBMS） 是一種針對對象數據庫，為管理數據庫而設計的大型電腦軟件管理系統。具有

後綴數組模板及應用小結 附加練習題*6

小結 -m 左移 lin 復雜度 size gets 重疊 想象 後綴數組是後綴Trie的一個替代品。一個字符串的後綴Trie是把這個字符串所有的後綴給插入到一個Trie中。由於字符串的任意一個子串一定是這個字符串某個後綴的前綴，所以說可以直接在這個Trie裏面進行查找就可

Oracle數據庫基本操作（三） —— DQL相關內容說明及應用

保留 group gpo 個數字 轉義字符 ike 關鍵字 其他 單行函數 　　本文所使用的查詢表來源於oracle數據中scott用戶中的emp員工表和dept部門表。 一、基本語法 　　SQL語句的編寫順序： p.p1 { margin: 0.0px 0.0px 0.0

Java設計模式之《代理模式》及應用場景

out ren 場景 語句 設計模式 rgs interface 中間 args 代理模式算是我接觸較早的模式，代理就是中介，中間人。法律上也有代理，比如代理律師之類，委托人將自己的一部分權限委托給代理者，代理者就擁有被代理者（委托人）的部分權限，並且可以以被代理人的名