在一些web站點上，會在頁面上用js來監聽一些使用者操作事件，然後用ajax請求web伺服器上的action來記錄使用者的行為。Web伺服器上會有很多日誌檔案描述了使用者的行為。其他的Web伺服器也是分別記錄自己的日誌檔案到磁碟。

此時我們需要把這些日誌檔案匯聚起來，用HDFS進行分析。比如每小時收集一次。

一個解決方案是自己寫一個後臺程式，然後過濾出合法的日誌檔案（已經滾動完畢的日誌檔案），然後用HDFS的Java API上傳到HDFS即可。

然後定時執行後臺程式即可。

但是Java開發起來比較繁瑣。可以使用Shell指令碼進行上傳。

指令碼程式碼如下：

#!/bin/bash

#set java env
export JAVA_HOME=/root/apps/jdk1.8.0_111
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

#set hadoop env
export HADOOP_HOME=/root/apps/hadoop-2.7.3
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH


#   1、先將需要上傳的檔案移動到待上傳目錄
#   2、在講檔案移動到待上傳目錄時，將檔案按照一定的格式重名名
#       /export/software/hadoop.log1   /export/data/click_log/xxxxx_click_log_{date}


#日誌檔案存放的目錄
log_src_dir=/root/logs/log/

#待上傳檔案存放的目錄
log_toupload_dir=/root/logs/toupload/

#如果資料夾不存在，建立資料夾
if [ ! -d "$log_toupload_dir" ]; then
  mkdir $log_toupload_dir
fi


#日誌檔案上傳到hdfs的根路徑
hour=`date +%Y_%m_%d_%H`
hdfs_root_dir=/data/clickLog/$hour/
echo $hdfs_root_dir

#建立HDFS上不存在的目錄
create_hdfs_not_exist_directory() {
    hadoop fs -test -e $hdfs_root_dir

    if [ $? -eq 0 ] ;then
        echo 'Directory exist'
    else
        hadoop fs -mkdir -p $hdfs_root_dir
        echo 'Directory '$hdfs_root_dir' created'  
    fi
}

create_hdfs_not_exist_directory

#列印環境變數資訊
echo "envs: hadoop_home: $HADOOP_HOME"


#讀取日誌檔案的目錄，判斷是否有需要上傳的檔案
echo "log_src_dir:"$log_src_dir
ls $log_src_dir | while read fileName
do
    if [[ "$fileName" == access.log.* ]]; then
    # if [ "access.log" = "$fileName" ];then
        date=`date +%Y_%m_%d_%H_%M_%S`
        #將檔案移動到待上傳目錄並重命名
        #列印資訊
        echo "moving $log_src_dir$fileName to $log_toupload_dir"xxxxx_click_log_$fileName"$date"
        mv $log_src_dir$fileName $log_toupload_dir"xxxxx_click_log_$fileName"$date
        #將待上傳的檔案path寫入一個列表檔案willDoing
        echo $log_toupload_dir"xxxxx_click_log_$fileName"$date >> $log_toupload_dir"willDoing."$date
    fi

done
#找到列表檔案willDoing
ls $log_toupload_dir | grep will |grep -v "_COPY_" | grep -v "_DONE_" | while read line
do
    #列印資訊
    echo "toupload is in file:"$line
    #將待上傳檔案列表willDoing改名為willDoing_COPY_
    mv $log_toupload_dir$line $log_toupload_dir$line"_COPY_"
    #讀列表檔案willDoing_COPY_的內容（一個一個的待上傳檔名）  ,此處的line 就是列表中的一個待上傳檔案的path
    cat $log_toupload_dir$line"_COPY_" |while read line
    do
        #列印資訊
        echo "puting...$line to hdfs path.....$hdfs_root_dir"
        hadoop fs -put $line $hdfs_root_dir
    done    
    mv $log_toupload_dir$line"_COPY_"  $log_toupload_dir$line"_DONE_"
done