1. 程式人生 > >shell的簡單批量curl接口腳本

shell的簡單批量curl接口腳本

gre 犯錯 val 記錄 對比 https res read 工作

  shell腳本可以說作用非常大,在服務器領域,用shell操作事務可比手動點擊要方便快捷得多了。雖然只是文字界面,但是其強大的處理功能,會讓各種操作超乎想象。而且,也可以將這些習慣移植到日常的工作當中,提升辦事效率。

  其實shell語法很簡單,基本上就是綜合一下在命令行下,一個個的命令集合,然後就組成了shell腳本。當然了,不懂語法的,百度搜索一下就好了嘛,畢竟,重要的是思想而非語法。

  最近,剛接一需求,如下:

    DBA會將一些服務規則的數據導出,然後一條條手動去curl某應用接口,從而完成相應的業務要求。

  那麽問題來了,DBA導出的數據是格式化的,要curl的接口也是格式化的,需要的,只是將相應的數據替換成對應的值即可。註意,不保證所有的命令都能執行成功,有可能需要重新跑接口。

  很明顯,手動一條條地去寫curl命令,然後一條條執行,然後觀察結果,做出判斷,這對於少數幾個數據來說,是可行的。但是假設,數據有幾百條、幾千條幾萬條呢,那就不可能人工一條條去搞了吧。因此,shell腳本就該出場了(當然了,有同學說,我用其他語言也可以啊,甚至說我這個功能寫到代碼裏就可以了,然而這些特殊無意義的代碼,是不需要長期保留下來的)。

  該shell腳本只要做好三件事就行了:

    1. 讀取源數據文件的內容,替換接口的數據格式;

    2. 執行命令,完成業務操作;

    3. 記錄完整的日誌,以便後期排查對比;

  需求很簡單,不懂語法沒關系,查一下嘛。參考代碼如下:

#!/bin/bash
log_file
=result.log param_file=$1 # 源數據在命令行中指定 log_cmd="tee -a $log_file" i=1 for line in `cat $param_file`; do echo "read line" $i ":" $line | tee -a $log_file let "i=$i+1" OLD_IFS=$IFS;IFS=","; arr=($line)            # 分割數據到數組 IFS=$OLD_IFS; curl_cmd="curl -d ‘uId=${arr[0]}&bid=${arr[1]}&bA=${arr[2]}&to=6&bP=30&fddays=5‘ http://localhost:8080/mi/api/ss/1.0.1/co/apply
" echo `date "+%Y-%m-%d %H:%M:%S"` "start ===>> " $curl_cmd | tee -a $log_file eval "$curl_cmd 2>&1" | tee -a $log_file     # 使用 eval 命令,把錯誤日誌和接口返回結果一並帶回,到後續console及日誌存儲 echo `date "+%Y-%m-%d %H:%M:%S"` "end <<===" $curl_cmd | tee -a $log_file done echo `date "+%Y-%m-%d %H:%M:%S"` "over: end of shell" | tee -a $log_file

  源數據格式參考如下:

234,201708222394083443,5000
4211,201782937493274932,3000
23,201749379583475934,2000

  這裏有個技巧,即使用tee命令,既在console上顯示了訪問日誌,也往文件裏寫入了記錄。即有人工觀察,也有日誌存儲,以備查看。

  如此,便實現了大家都不用手動敲數據,從而在這上面犯錯的可能了。 DBA從數據導出格式化數據,shell腳本直接讀取格式化數據,保留記錄。這才是程序該幹的事。

  一句話,想辦法偷個懶,這是我們該幹的事。

  但是應該要註意,當一個接口被腳本跑去執行時,你就行考慮並發問題,以服務器的壓問題了,也不要太相信代碼。做最壞的打算。

  curl的命令請參考:https://curl.haxx.se/docs/manpage.html (你可以搜簡要中文描述,當然)

  從前,我覺得1、2G的日誌文件處理是個頭疼的問題,但是後來發現 grep, awk, sed, less, salt 等工具組合起來,能讓你從幾十G甚至更多的千軍萬馬文件中,直取要害。這便是linux的厲害之處。

shell的簡單批量curl接口腳本