背景：     日誌從nginx產生，並實時寫入kafka佇列中，為了便於對海量日誌資料進行離線分析，我們一般將日誌存放到hdfs下，然後通過hive建立外部表使用HQL進行資料統計分析。而要使hive能夠識別日誌資訊，我們必須將日誌內容結構化。將日誌資訊解析成hive能識別的格式，可以使用不同語言來實現，這裡我們使用java 結合正則表示式來實現。 一、準備知識： 1.正則表示式語法  

字元	說明
\	將下一字元標記為特殊字元、文字、反向引用或八進位制轉義符。例如，"n"匹配字元"n"。"\n"匹配換行符。序列"\\"匹配"\"，"\("匹配"("。
^	匹配輸入字串開始的位置。如果設定了 RegExp 物件的 Multiline 屬性，^ 還會與"\n"或"\r"之後的位置匹配。
$	匹配輸入字串結尾的位置。如果設定了 RegExp 物件的 Multiline 屬性，$ 還會與"\n"或"\r"之前的位置匹配。
*	零次或多次匹配前面的字元或子表示式。例如，zo* 匹配"z"和"zoo"。* 等效於 {0,}。
+	一次或多次匹配前面的字元或子表示式。例如，"zo+"與"zo"和"zoo"匹配，但與"z"不匹配。+ 等效於 {1,}。
?	零次或一次匹配前面的字元或子表示式。例如，"do(es)?"匹配"do"或"does"中的"do"。? 等效於 {0,1}。
{n}	n 是非負整數。正好匹配 n 次。例如，"o{2}"與"Bob"中的"o"不匹配，但與"food"中的兩個"o"匹配。
{n,}	n 是非負整數。至少匹配 n 次。例如，"o{2,}"不匹配"Bob"中的"o"，而匹配"foooood"中的所有 o。"o{1,}"等效於"o+"。"o{0,}"等效於"o*"。
{n,m}	M 和 n 是非負整數，其中 n <= m。匹配至少 n 次，至多 m 次。例如，"o{1,3}"匹配"fooooood"中的頭三個 o。'o{0,1}' 等效於 'o?'。注意：您不能將空格插入逗號和數字之間。
?	當此字元緊隨任何其他限定符（*、+、?、{n}、{n,}、{n,m}）之後時，匹配模式是"非貪心的"。"非貪心的"模式匹配搜尋到的、儘可能短的字串，而預設的"貪心的"模式匹配搜尋到的、儘可能長的字串。例如，在字串"oooo"中，"o+?"只匹配單個"o"，而"o+"匹配所有"o"。
.	匹配除"\r\n"之外的任何單個字元。若要匹配包括"\r\n"在內的任意字元，請使用諸如"[\s\S]"之類的模式。
(pattern)	匹配 pattern 並捕獲該匹配的子表示式。可以使用 $0…$9 屬性從結果"匹配"集合中檢索捕獲的匹配。若要匹配括號字元 ( )，請使用"\("或者"\)"。
(?:pattern)	匹配 pattern 但不捕獲該匹配的子表示式，即它是一個非捕獲匹配，不儲存供以後使用的匹配。這對於用"or"字元 (|) 組合模式部件的情況很有用。例如，'industr(?:y|ies) 是比 'industry|industries' 更經濟的表示式。
(?=pattern)	執行正向預測先行搜尋的子表示式，該表示式匹配處於匹配 pattern 的字串的起始點的字串。它是一個非捕獲匹配，即不能捕獲供以後使用的匹配。例如，'Windows (?=95|98|NT|2000)' 匹配"Windows 2000"中的"Windows"，但不匹配"Windows 3.1"中的"Windows"。預測先行不佔用字元，即發生匹配後，下一匹配的搜尋緊隨上一匹配之後，而不是在組成預測先行的字元後。
(?!pattern)	執行反向預測先行搜尋的子表示式，該表示式匹配不處於匹配 pattern 的字串的起始點的搜尋字串。它是一個非捕獲匹配，即不能捕獲供以後使用的匹配。例如，'Windows (?!95|98|NT|2000)' 匹配"Windows 3.1"中的 "Windows"，但不匹配"Windows 2000"中的"Windows"。預測先行不佔用字元，即發生匹配後，下一匹配的搜尋緊隨上一匹配之後，而不是在組成預測先行的字元後。
x|y	匹配 x 或 y。例如，'z|food' 匹配"z"或"food"。'(z|f)ood' 匹配"zood"或"food"。
[xyz]	字符集。匹配包含的任一字元。例如，"[abc]"匹配"plain"中的"a"。
[^xyz]	反向字符集。匹配未包含的任何字元。例如，"[^abc]"匹配"plain"中"p"，"l"，"i"，"n"。
[a-z]	字元範圍。匹配指定範圍內的任何字元。例如，"[a-z]"匹配"a"到"z"範圍內的任何小寫字母。
[^a-z]	反向範圍字元。匹配不在指定的範圍內的任何字元。例如，"[^a-z]"匹配任何不在"a"到"z"範圍內的任何字元。
\b	匹配一個字邊界，即字與空格間的位置。例如，"er\b"匹配"never"中的"er"，但不匹配"verb"中的"er"。
\B	非字邊界匹配。"er\B"匹配"verb"中的"er"，但不匹配"never"中的"er"。
\cx	匹配 x 指示的控制字元。例如，\cM 匹配 Control-M 或回車符。x 的值必須在 A-Z 或 a-z 之間。如果不是這樣，則假定 c 就是"c"字元本身。
\d	數字字元匹配。等效於 [0-9]。
\D	非數字字元匹配。等效於 [^0-9]。
\f	換頁符匹配。等效於 \x0c 和 \cL。
\n	換行符匹配。等效於 \x0a 和 \cJ。
\r	匹配一個回車符。等效於 \x0d 和 \cM。
\s	匹配任何空白字元，包括空格、製表符、換頁符等。與 [ \f\n\r\t\v] 等效。
\S	匹配任何非空白字元。與 [^ \f\n\r\t\v] 等效。
\t	製表符匹配。與 \x09 和 \cI 等效。
\v	垂直製表符匹配。與 \x0b 和 \cK 等效。
\w	匹配任何字類字元，包括下劃線。與"[A-Za-z0-9_]"等效。
\W	與任何非單詞字元匹配。與"[^A-Za-z0-9_]"等效。
\xn	匹配 n，此處的 n 是一個十六進位制轉義碼。十六進位制轉義碼必須正好是兩位數長。例如，"\x41"匹配"A"。"\x041"與"\x04"&"1"等效。允許在正則表示式中使用 ASCII 程式碼。
\num	匹配 num，此處的 num 是一個正整數。到捕獲匹配的反向引用。例如，"(.)\1"匹配兩個連續的相同字元。
\n	標識一個八進位制轉義碼或反向引用。如果 \n 前面至少有 n 個捕獲子表示式，那麼 n 是反向引用。否則，如果 n 是八進位制數 (0-7)，那麼 n 是八進位制轉義碼。
\nm	標識一個八進位制轉義碼或反向引用。如果 \nm 前面至少有 nm 個捕獲子表示式，那麼 nm 是反向引用。如果 \nm 前面至少有 n 個捕獲，則 n 是反向引用，後面跟有字元 m。如果兩種前面的情況都不存在，則 \nm 匹配八進位制值 nm，其中 n 和 m 是八進位制數字 (0-7)。
\nml	當 n 是八進位制數 (0-3)，m 和 l 是八進位制數 (0-7) 時，匹配八進位制轉義碼 nml。
\un	匹配 n，其中 n 是以四位十六進位制數表示的 Unicode 字元。例如，\u00A9 匹配版權符號 (&copy;)。

根據 Java Language Specification 的要求，Java 原始碼的字串中的反斜線被解釋為 Unicode 轉義或其他字元轉義。因此必須在字串字面值中使用兩個反斜線，表示正則表示式受到保護，不被 Java 位元組碼編譯器解釋。例如，當解釋為正則表示式時，字串字面值 "\b" 與單個退格字元匹配，而 "\\b" 與單詞邊界匹配。字串字面值 "\(hello\)" 是非法的，將導致編譯時錯誤；要與字串 (hello) 匹配，必須使用字串字面值 \\(hello\\)。

2.捕獲組 1. 捕獲組及其編號：     1) 捕獲組之前講過，就是匹配到的內容，按照()子表示式劃分成若干組；     2) 例如正則表示式：(ab)(cd(ef))就有三個捕獲組，沒出現一對()就是一個捕獲組     3) 捕獲組編號規則：          i. 引擎會對捕獲組進行編號，編號規則是左括號(從左到右出現的順序，從1開始編號；          ii. 例如： 2. 反向引用：     1) 捕獲組的作用就是為了可以在正則表示式內部或者外部（Java方法）引用它；     2) 如何引用？當然是通過前面講的用捕獲組的編號來引用咯！     3) 正則表示式內部引用：          i. \X：X是一個十進位制數，X的範圍必須落在捕獲組編號範圍之內，該表示式就匹配X號捕獲組所匹配到的內容；          ii. 從上面的描述可以看出，\X匹配的內容是必須X號捕獲組匹配成功之後才能確定的！          iii. 例如：([ab])\1，匹配aabbcc的結果是aa和bb，\1的內容必須要讓1號捕獲組捕獲後才能確定，如果1號捕獲的是a那麼\1就是a，1號捕獲到了b那麼\1就是b；     4) 正則表示式外部引用：就是用Matcher物件的start、end、group查詢匹配資訊時，使用捕獲組編號對捕獲組引用（int group）； 3. 捕獲組命名：     1) 如果捕獲組的數量非常多，那都用數字進行編號並引用將會非常混亂，並且難以記憶每個捕獲組的內容及意義，因此對捕獲組命名顯得尤為重要；     2) Java7開始提供了對捕獲組命名的語法，並且可以通過捕獲組的名稱對捕獲組反向引用（內外都行）；          i. 命名捕獲組的語法格式：(?<自定義名>expr)          ii. 例如：(?<year>\d{4})-(?<date>\d{2}-(?<day>\d{2}))              a. 有三個命名捕獲組year、date和day              b. 從左到右編號分別為1、2、3（編號同樣是有效的）     3) 命名捕獲組的反向引用：         i. 正則表示式內引用：\k<捕獲組名稱> ！例如：(?<year>\d{4})-\k<year>可以匹配1999-1999         ii. 外部引用：Matcher物件的start、end、group的String name引數指定要查詢的捕獲組的名稱； 4. 普通捕獲組和命名捕獲組的混合編號：     1) 普通捕獲組是相對命名捕獲組的，即沒有顯式命名的捕獲組；     2) 當所有捕獲組都是命名捕獲組時那麼編號規則和原來相同，即按照左括號(的出現順序來編號；     3) 當普通捕獲組和命名捕獲組同時出現時，編號規則為：先不忽略命名捕獲組，只對普通捕獲組按照左括號順序編號，然後再對命名捕獲組從左往右累計編號，例如： ！先忽略命名命名捕獲組<date>，先對普通捕獲組編號\d{4}是1，\d\d是2，然後再接著累加地對命名捕獲組編號，因此<date>是3； 二、日誌內容： 這裡我們要解析出：ip，時間，請求型別, url, 相應狀態，傳送位元組數，請求耗時，響應耗時，返回IP，響應體  

1. "message": "23.104.2.30 - - [03/Dec/2016:18:59:29 +0800] \"GET  http://zhuanti.minisite.tieniu.com/edm/images/copy.jpg HTTP/1.1\" 206 4694 \"-\" \"Dalvik/2.1.0 (Linux; U; Android 5.0; vivo X5Pro D Build/LRX21M)\" \"-\" 0.002 0.002 172.30.12.15:80 zhuanti.minisite.tieniu.com -" 
2. "message": "190.12.50.203 - - [03/Dec/2016:18:59:29 +0800] \"GET  http://zhuanti.minisite.tieniu.com/edm/images/copy.jpg HTTP/1.1\" 206 4694 \"-\" \"Dalvik/2.1.0 (Linux; U; Android 5.0; vivo X5Pro D Build/LRX21M)\" \"-\" 0.002 0.002 172.30.12.15:80 zhuanti.minisite.tieniu.com -" 
3. "message": "201.15.51.23 - - [03/Dec/2016:18:59:29 +0800] \"GET  http://zhuanti.minisite.tieniu.com/edm/images/copy.jpg  HTTP/1.1\" 206 4694 \"-\" \"Dalvik/2.1.0 (Linux; U; Android 5.0; vivo X5Pro D Build/LRX21M)\" \"-\" 0.002 0.002 172.30.12.15:80 zhuanti.minisite.tieniu.com -" 
4. "message": "201.10.8.42 - - [03/Dec/2016:18:59:29 +0800] \"GET  http://zhuanti.minisite.tieniu.com/edm/images/copy.jpg  HTTP/1.1\" 206 4694 \"-\" \"Dalvik/2.1.0 (Linux; U; Android 5.0; vivo X5Pro D Build/LRX21M)\" \"-\" 0.002 0.002 172.30.12.15:80 zhuanti.minisite.tieniu.com -" 
5. "message": "201.105.20.11 - - [03/Dec/2016:18:59:29 +0800] \"GET  http://zhuanti.minisite.tieniu.com/edm/images/copy.jpg HTTP/1.1\" 206 4694 \"-\" \"Dalvik/2.1.0 (Linux; U; Android 5.0; vivo X5Pro D Build/LRX21M)\" \"-\" 0.002 0.002 172.30.12.15:80 zhuanti.minisite.tieniu.com -" 

複製程式碼 三、正則表示式 (?<message>\"\\w+\": \")(?<ip>\\d+\\.\\d+\\.\\d+\\.\\d+)( - - [url=file://\\[)(?<datetime]\\[)(?<datetime>[\\s\\S]+)(?<t1>\\][\\s\\\\\"]+)(?<request>[A-Z[/url]]+) ([\\S]+\\s)(?<protocol>HTTP/[\\s\\S]+)(\"\\s)(?<code>\\d+) (?<sendbytes>\\d+)([\\s\\S]+\\))([\\s\\S]+)(?<requesttime>\\d+\\.\\d+) (?<responsetime>\\d+\\.\\d+) (?<reponseurl>\\d+\\.\\d+\\.\\d+\\.\\d+:\\d+) (?<requestbody>\\D+\\s)-([\\s\\S]+) 四、具體實現程式碼  

1. package kafka.api.test;
2. import java.io.BufferedReader;
3. import java.io.File;
4. import java.io.FileReader;
5. import java.io.IOException;
6. import java.util.regex.Matcher;
7. import java.util.regex.Pattern;
8. public class LogParse {
9. public static void main(String[] args) {
10.   String fileName = "D:\\log.txt";
11.   LogParse.readFileByLines(fileName);
12. }
13. public static String parseLine(String str){
14.   StringBuffer buf = new StringBuffer("");
15.   String pattern = "(?<message>\"file://\\w+\]\\w+\": \")(?<ip>\\d+\\.\\d+\\.\\d+\\.\\d+)( - - file://\\[)(?<datetime]\\[)(?<datetime>[\\s\\S]+)(?<t1>\\][\\s\\\\\"]+)(?<request>[A-Z+) ([\\S]+\\s)(?<protocol>HTTP/[\\s\\S]+)(\"file://\\s)(?<code]\\s)(?<code>\\d+) (?<sendbytes>\\d+)([\\s\\S]+\\))([\\s\\S]+)(?<requesttime>\\d+\\.\\d+) (?<responsetime>\\d+\\.\\d+) (?<reponseurl>\\d+\\.\\d+\\.\\d+\\.\\d+:\\d+) (?<requestbody>\\D+\\s)-([\\s\\S]+)";
16.   Pattern r = Pattern.compile(pattern);
17.   Matcher m = r.matcher(str);
18.   if(m.find()){
19.    buf.append(m.group("ip")).append("|+|");
20.    buf.append(m.group("datetime")).append("|+|");
21.    buf.append(m.group("request")).append("|+|");
22.    buf.append(m.group("protocol").replace("\\", "")).append("|+|");
23.    buf.append(m.group("code")).append("|+|");
24.    buf.append(m.group("sendbytes")).append("|+|");
25.    buf.append(m.group("requesttime")).append("|+|");
26.    buf.append(m.group("responsetime")).append("|+|");
27.    buf.append(m.group("reponseurl")).append("|+|");
28.    buf.append(m.group("responsetime")).append("|+|");
29.    buf.append(m.group("requestbody"));
30.   }
31.   return  buf.toString();
32. }
33. public static void readFileByLines(String fileName){
34.   File file = new File(fileName);
35.   BufferedReader reader = null;
36.   try {
37.    System.out.println("以行為單位讀取檔案內容，一次讀一整行：");
38.    reader = new BufferedReader(new FileReader(file));
39.    String tempString = null;
40.    int line = 1;
41.    //一次讀入一行，直到讀入null為檔案結束
42.    while ((tempString = reader.readLine()) != null){
43.     //顯示行號
44.     System.out.println("line " + line + ": " + parseLine(tempString));
45.     line++;
46.    }
47.    reader.close();
48.   } catch (IOException e) {
49.    e.printStackTrace();
50.   } finally {
51.    if (reader != null){
52.     try {
53.      reader.close();
54.     } catch (IOException e1) {
55.     }
56.    }
57.   }
58. }
59. }

複製程式碼 五、執行結果

1. 以行為單位讀取檔案內容，一次讀一整行：
2. line 1: 23.104.2.30|+|03/Dec/2016:18:59:29 +0800|+|GET|+|HTTP/1.1|+|206|+|4694|+|0.002|+|0.002|+|172.30.12.15:80|+|0.002|+|zhuanti.minisite.tieniu.com 
3. line 2: 190.12.50.203|+|03/Dec/2016:18:59:29 +0800|+|GET|+|HTTP/1.1|+|206|+|4694|+|0.002|+|0.002|+|172.30.12.15:80|+|0.002|+|zhuanti.minisite.tieniu.com 
4. line 3: 201.15.51.23|+|03/Dec/2016:18:59:29 +0800|+|GET|+|HTTP/1.1|+|206|+|4694|+|0.002|+|0.002|+|172.30.12.15:80|+|0.002|+|zhuanti.minisite.tieniu.com 
5. line 4: 201.10.8.42|+|03/Dec/2016:18:59:29 +0800|+|GET|+|HTTP/1.1|+|206|+|4694|+|0.002|+|0.002|+|172.30.12.15:80|+|0.002|+|zhuanti.minisite.tieniu.com 
6. line 5: 201.105.20.11|+|03/Dec/2016:18:59:29 +0800|+|GET|+|HTTP/1.1|+|206|+|4694|+|0.002|+|0.002|+|172.30.12.15:80|+|0.002|+|zhuanti.minisite.tieniu.com

複製程式碼