1. 程式人生 > 其它 >【數倉專案記錄2】

【數倉專案記錄2】

資料如何產生?

使用指令碼生成,模擬日誌(並非真實的日誌)

叢集日誌生成指令碼

#!/bin/bash
for i in hadoop102 hadoop103; do
    echo "========== $i =========="
    ssh $i "cd /opt/module/applog/; java -jar gmall2020-mock-log-2021-01-22.jar >/dev/null 2>&1 &"
done 
# 最後一個&表示後臺執行,2>&1表示 2>1>/dev/null

/dev/null:表示linux黑洞

Linux的空裝置檔案,所有往這個檔案裡面寫入的內容都會丟失,俗稱“黑洞”。
標準輸入0:從鍵盤獲得輸入 /proc/self/fd/0
標準輸出1:輸出到螢幕(即控制檯) /proc/self/fd/1
錯誤輸出2:輸出到螢幕(即控制檯) /proc/self/fd/2

叢集所有程序檢視指令碼

在指令碼中編寫:
#! /bin/bash
for i in hadoop102 hadoop103 hadoop104
do
    echo --------- $i ----------
    ssh $i "$*"
done
會執行xcall.sh 後傳入的命令

tar -zxvf xxx.gz

使用Gzip 提取檔案,-x是解開的意思,tar中使用-z這個引數來呼叫gzip;
c引數代表create(建立),x引數代表extract(解包),v引數代表verbose(詳細資訊),f引數代表filename(檔名),所以f後必須接檔名。

三臺伺服器上的叢集規劃