一、前言

日常工作中，一些資料統計的源資料是檔案，因為檔案資料統計不像資料庫操作那樣方便，如果匯入資料庫再進行操作，可能比較麻煩；因此，這裡將SQL資料庫基本操作與Shell對檔案資料操作進行對應，方便用Shell的語法進行檔案處理。這裡分別用Oracle SQL與shell工具操作同一資料進行操作演示，演示資料較少,日常操作資料一般為千萬級以上,檔案數也較多。因此需要結合多程序併發處理,由於前期對shell，多程序併發已說明(詳見帖子: http://eip.teamshub.com/t/3356518),此處不再解釋。因shell操作涉及記憶體,因此在控制併發處理檔案或其他操作時需要考慮記憶體的使用，如果超過限制,可split分割檔案後進行處理。

二、對應關係簡述

1.Where+欄位比較條件(AND/OR)

ORACLE:

select 'yuanwm',to_char(id_no),acct_item,orig_amount,bill_amount,chrg_amount from TEST_PAYEDOWE_INFO a where substr(id_no,1,2) in ('80','75') and ORIG_AMOUNT>8000;

SHELL:

awk '{if($3>8000&&(substr($1,1,2)=="80" || substr($1,1,2)=="75")) print $0}' ${File_PayedInfo}

2.按欄位orderby 升/降

ORACLE:

select 'yuanwm',to_char(id_no),orig_amount,bill_amount,chrg_amount from TEST_PAYEDOWE_INFO a order by ORIG_AMOUNT DESC,to_char(id_no);

SHELL:

sort -k3nr -k1,1 -t' ' ${File_PayedInfo}|awk '{$2="\b";print $0}'

3.Distinct的使用

ORACLE:

select distinct 'yuanwm',to_char(id_no),substr(acct_item,1,2) from TEST_PAYEDOWE_INFO a ;

SHELL:

awk '{print $1,substr($2,1,2)}' ${File_PayedInfo}|sort -u

4.Insert的使用

echo "直接建立檔案,或者追加即可>,這個不用說了!"

5.Update的使用+where

ORACLE:

update TEST_PAYEDOWE_INFO set bill_amount=50 where id_no='80077008777970';

SHELL:

##解釋:直接遍歷,語法簡單,如果資料量大可使用多程序併發(這裡使用awk不使用sed,因sed考慮因素過多,控制不好,會造成原檔案損壞.因此這裡採用awk重輸出,理解方便,輸出後可刪除原檔案)

awk '{if($1=="80077008777970") {$4=50};print $0}' ${File_PayedInfo}

6.Delete的使用+where

ORACLE:

delete from TEST_PAYEDOWE_INFO where id_no='80077008777970';

SHELL:"

##解釋:直接遍歷,語法簡單,如果資料量大可使用多程序併發(這裡使用awk不使用sed,因sed考慮因素過多,控制不好,會造成原檔案損壞.因此這裡採用awk重輸出,理解方便,輸出後可刪除原檔案)

awk '{if($1=="80077008777970"){} else print $0}' ${File_PayedInfo}

7.Where+Like匹配的使用

ORACLE:

select 'yuanwm',to_char(id_no),acct_item,orig_amount,bill_amount,chrg_amount from TEST_PAYEDOWE_INFO where acct_item like '%8' and to_char(id_no) like '8%' and to_char(id_no) like '%898%';

SHELL:"

#解釋 a.匹配,^開頭$結尾不帶.b.不匹配加!即可.

awk '{if($2~/8$/ && $1 ~/^8/ && $1~/898/) {print $0}}' ${File_PayedInfo}

8.where+rownum的使用

ORACLE:

select 'yuanwm',to_char(id_no),acct_item,orig_amount,bill_amount,chrg_amount from TEST_PAYEDOWE_INFO where rownum<=3 order by id_no;

SHELL:

#解釋，檔案也可以使用head命令,這裡用awk內建作解釋,可能與oracle取的不一樣,這根排序有關,更改排序條件即可達到一樣的效果.NR為內建變數,具體參考手冊

#這樣遍歷可能較多次數

#sort -k1 ${File_PayedInfo}|awk '{ if(NR<=3) print$0}'

#這樣就合適一些

awk '{if(NR>3) {exit 0} else print $0}' ${File_PayedInfo}

9.對於sum/count/gropby/having等關鍵詞的使用

ORACLE:

select 'yuanwm',to_char(id_no),acct_item,sum(chrg_amount),sum(bill_amount),count(1) from TEST_PAYEDOWE_INFO group by id_no,acct_item having sum(orig_amount)>500 and count(1)>0 order by acct_item;

SHELL:

#解釋:a.$1" "$2-這種作為下標匹配,同時可以用為陣列去重

awk '{Arr[$1" "$2] += $3;Arr1[$1" "$2] += $4;CArr[$1" "$2]++}END{for(i in Arr) { if(Arr[i]>500 && CArr[i]>0){print i,Arr[i],Arr1[i],CArr[i]}}}' ${File_PayedInfo}|sort -k2,2

10.inner join/where+兩表關聯(Shell多檔案操作)

ORACLE:

select 'yuanwm',to_char(a.ID_NO),a.ACCT_ITEM,a.ORIG_AMOUNT,a.BILL_AMOUNT,a.CHRG_AMOUNT,to_char(b.ID_NO),to_char(CONTRACT_NO),b.RUN_CODE,b.BELONG_CODE,b.OPEN_TIME from TEST_PAYEDOWE_INFO a inner join TEST_USER_INFO b on a.id_no=b.id_no and a.id_no!='80077008777970';

SHELL:

#解釋:a.這裡會對${File_UserInfo}檔案中id_no去重,因此需要保證唯一主鍵.b:邏輯:儲存使用者資訊id_no->遍歷賬單檔案(按條件輸出)c.條件檔案放前,輸出檔案放後,這裡使用next

#可以讓檔案依次遍歷,而不執行後續其他檔案的條件語句.

awk 'ARGIND==1{Arr[$1]=$0;next} {if($1 in Arr&&ARGIND==2&&$1!=80077008777970) {print $0,Arr[$1]}}' ${File_UserInfo} ${File_PayedInfo}