#!/bin/bash

#set java env
export JAVA_HOME=/gcx/jdk1.7.0_45
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

#set hadoop env
export HADOOP_HOME=/gcx/hadoop-2.6.4
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH


#版本1的問題：
#雖然上傳到Hadoop叢集上了，但是原始檔案還在。如何處理？
#日誌檔案的名稱都是xxxx.log1,再次上傳檔案時，因為hdfs上已經存在了，會報錯。如何處理？

#如何解決版本1的問題
#       1、先將需要上傳的檔案移動到待上傳目錄
#	2、在講檔案移動到待上傳目錄時，將檔案按照一定的格式重名名
#		/export/software/hadoop.log1   /export/data/click_log/xxxxx_click_log_{date}


#日誌檔案存放的目錄
log_src_dir=/root/hadoop/logs/log/

#待上傳檔案存放的目錄
log_toupload_dir=/root/hadoop/logs/toupload/


#日誌檔案上傳到hdfs的根路徑
hdfs_root_dir=/root/hadoopData/logs/

#列印環境變數資訊
echo "envs: hadoop_home: $HADOOP_HOME"


#讀取日誌檔案的目錄，判斷是否有需要上傳的檔案
echo "log_src_dir:"$log_src_dir
ls $log_src_dir | while read fileName
do
	if [[ "$fileName" == access.log.* ]]; then
	# if [ "access.log" = "$fileName" ];then
		date=`date +%Y_%m_%d_%H_%M_%S`
		#將檔案移動到待上傳目錄並重命名
		#列印資訊
		echo "moving $log_src_dir$fileName to $log_toupload_dir"xxxxx_click_log_$fileName"$date"
		mv $log_src_dir$fileName $log_toupload_dir"xxxxx_click_log_$fileName"$date
		#將待上傳的檔案path寫入一個列表檔案willDoing
		echo $log_toupload_dir"xxxxx_click_log_$fileName"$date >> $log_toupload_dir"willDoing."$date
	fi
	
done
#找到列表檔案willDoing
ls $log_toupload_dir | grep will |grep -v "_COPY_" | grep -v "_DONE_" | while read line
do
	#列印資訊
	echo "toupload is in file:"$line
	#將待上傳檔案列表willDoing改名為willDoing_COPY_
	mv $log_toupload_dir$line $log_toupload_dir$line"_COPY_"
	#讀列表檔案willDoing_COPY_的內容（一個一個的待上傳檔名）  ,此處的line 就是列表中的一個待上傳檔案的path
	cat $log_toupload_dir$line"_COPY_" |while read line
	do
		#列印資訊
		echo "puting...$line to hdfs path.....$hdfs_root_dir"
		hadoop fs -put $line $hdfs_root_dir
	done	
	mv $log_toupload_dir$line"_COPY_"  $log_toupload_dir$line"_DONE_"
done
 

在配置crontab定時任務

 */1 * * * * sh /gcx/uploadFile.sh