需求描述：

在業務系統的伺服器上，業務程式會不斷生成業務日誌（比如網站的頁面訪問日誌）

業務日誌是用log4j生成的，會不斷地切出日誌檔案，需要定期（比如每小時）從業務伺服器上的日誌目錄中，探測需要採集的日誌檔案(access.log不能採)，發往HDFS

注意點：業務伺服器可能有多臺(hdfs上的檔名不能直接用日誌伺服器上的檔名)

當天採集到的日誌要放在hdfs的當天目錄中，採集完成的日誌檔案，需要移動到到日誌伺服器的一個備份目錄中定期檢查（每小時檢查一下備份目錄），將備份時長超出24小時的日誌檔案清除

資料採集流程分析

1.流程
啟動一個定時任務
    定時探測日誌源目錄
    獲取需要採集得檔案
    移動這些檔案到一個待上傳得臨時目錄
    遍歷待上傳目錄中得檔案，逐一傳輸到HDFS得目標路徑
    同時將傳輸得檔案移動到備份目錄

啟動一個定時任務：
    探測備份目錄中得備份資料，檢查是否超出最長備份時長，超出，則刪除

2.規劃各種路徑
日誌源路徑：d:/logs/accesslog/
待上傳臨時目錄：d:/logs/toupload/
備份目錄:d:/logs/backup/日期

HDFS 儲存路徑：/logs/日期
HDFS中檔案的字首：acceaa_log_
HDFS中檔案的字尾：.log

準備工作

[root@hdp-01 ~]# start-dfs.sh
Starting namenodes on [hdp-01]
hdp-01: starting namenode, logging to /root/apps/hadoop-2.7.2/logs/hadoop-root-namenode-hdp-01.out
hdp-01: starting datanode, logging to /root/apps/hadoop-2.7.2/logs/hadoop-root-datanode-hdp-01.out
hdp-03: starting datanode, logging to /root/apps/hadoop-2.7.2/logs/hadoop-root-datanode-hdp-03.out
hdp-02: starting datanode, logging to /root/apps/hadoop-2.7.2/logs/hadoop-root-datanode-hdp-02.out
hdp-04: starting datanode, logging to /root/apps/hadoop-2.7.2/logs/hadoop-root-datanode-hdp-04.out
Starting secondary namenodes [hdp-02]
hdp-02: starting secondarynamenode, logging to /root/apps/hadoop-2.7.2/logs/hadoop-root-secondarynamenode-hdp-02.out
 

程式碼如下

public class DataCollection {
    public static void main(String[] args) {
        Timer timer = new Timer();
        //1.【定時探測日誌源目錄】，每一小時執行一次
        timer.schedule(new CollectTask(),0,60*60*1000L);
    }
}

package com.xuyu.datacollection;
import org.apache.commons.io.FileUtils;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.File;
import java.io.FilenameFilter;
import java.net.URI;
import java.text.SimpleDateFormat;
import java.util.Arrays;
import java.util.Date;
import java.util.TimerTask;
import java.util.UUID;

public class CollectTask extends TimerTask {
    //構造一個log4j日誌物件
    public static Log log = LogFactory.getLog(CollectTask.class);
    public void run() {
        /**
         *     1.定時探測日誌源目錄
         *     2.獲取需要採集得檔案
         *     3.移動這些檔案到一個待上傳得臨時目錄
         *     4.遍歷待上傳目錄中得檔案，逐一傳輸到HDFS得目標路徑
         *     5.同時將傳輸得檔案移動到備份目錄
         */
        //獲取本次採集時的日期
        SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd-HH");
        String day = sdf.format(new Date());
        //獲取本地要上傳檔案目錄
        File srcDir = new File("d:/logs/accesslog/");
        //2.【獲取需要採集得檔案】
        File[] listFiles = srcDir.listFiles(new FilenameFilter() {
            public boolean accept(File dir, String name) {
                if(name.startsWith("access.log.")){
                    return true;
                }
                return false;
            }
        });
        //記錄日誌
        log.info("探測到如下檔案需要採集："+Arrays.toString(listFiles));
        try {
        //獲取臨時上傳目錄中的檔案
        File toUploadDir = new File("d:/logs/toupload/");
        //3.【移動這些檔案到一個待上傳得臨時目錄】
        for (File file:listFiles) {
           //將採集的檔案移到臨時上傳目錄，將源目錄中需要上傳的檔案移動到臨時上傳目錄中
            FileUtils.moveFileToDirectory(file,toUploadDir,true);
        }
        //記錄日誌
            log.info("上述檔案移動到待上傳目錄"+toUploadDir.getAbsolutePath());
        //構造一個HDFS的客戶端物件
            FileSystem fs = FileSystem.get(new URI("hdfs://hdp-01:9000"), new Configuration(), "root");
            //從臨時上傳目錄中列出所有檔案
            File[] toUploadFiles = toUploadDir.listFiles();
            //1.檢查hdfs 中的日期是否存在
            Path hdfsDestPath = new Path("/logs/" + day);
            if(!fs.exists(hdfsDestPath)){
                fs.mkdirs(hdfsDestPath);
            }
            //2.檢查本地的備份目錄是否存在
            File backupDir = new File("d:/logs/backup/" + day);
            if(!backupDir.exists()){
                backupDir.mkdirs();
            }
            //4.【遍歷待上傳目錄中得檔案，逐一傳輸到HDFS得目標路徑】
            for (File file:toUploadFiles) {
                //傳輸檔案到HDFS並改名
                Path destPath = new Path(hdfsDestPath + "/access_log_" + UUID.randomUUID() + ".log");
                //將臨時上傳目錄中的檔案上傳到hdfs中
                fs.copyFromLocalFile(new Path(file.getAbsolutePath()),destPath);
                //記錄日誌
                log.info("檔案傳輸到hdfs完成："+file.getAbsolutePath() +"-->"+destPath);
                //5.【同時將傳輸得檔案移動到備份目錄】
                FileUtils.moveFileToDirectory(file,backupDir,true);
                //記錄日誌
                log.info("檔案備份完成："+file.getAbsolutePath() +"-->"+backupDir);
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}
 

日誌配置

log4j.rootLogger=CONSOLE,stdout,logfile
#stdout控制器
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Target=System.out
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
#輸出格式
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c]:%L - %m%n
#檔案路徑輸出
log4j.appender.logfile=org.apache.log4j.RollingFileAppender
log4j.appender.logfile.File=d:/logs/collect/collect.log 
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

pom依賴

<dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>RELEASE</version>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-core</artifactId>
            <version>2.8.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.7.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.7.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.7.2</version>
        </dependency>

    </dependencies>

控制檯輸出

...
47 - 探測到如下檔案需要採集：[d:\logs\accesslog\access.log.1, d:\logs\accesslog\access.log.2, d:\logs\accesslog\access.log.3]
57 - 上述檔案移動到待上傳目錄d:\logs\toupload
79 - 檔案傳輸到hdfs完成：d:\logs\toupload\access.log.1-->/logs/2019-05-25-12/access_log_9dc0542e-0153-4bb3-b804-d85115c20153.log
83 - 檔案備份完成：d:\logs\toupload\access.log.1-->d:\logs\backup\2019-05-25-12
79 - 檔案傳輸到hdfs完成：d:\logs\toupload\access.log.2-->/logs/2019-05-25-12/access_log_5ce3450d-8874-4dd7-a23e-8d6a7a52c6d9.log
83 - 檔案備份完成：d:\logs\toupload\access.log.2-->d:\logs\backup\2019-05-25-12
79 - 檔案傳輸到hdfs完成：d:\logs\toupload\access.log.3-->/logs/2019-05-25-12/access_log_f7b7c741-bb87-4778-98ad-e33f06501441.log
83 - 檔案備份完成：d:\logs\toupload\access.log.3-->d:\logs\backup\2019-05-25-12
...

效果圖

相關推薦