2. 程式人生 > >使用Data Lake Analytics快速分析OSS上的日誌檔案

使用Data Lake Analytics快速分析OSS上的日誌檔案

阿新 • • 發佈：2018-12-14

背景

Data Lake Analytics (後文簡稱 DLA)是Serverless化的雲上互動式查詢分析服務，使用者可以通過標準的SQL語句對儲存在OSS, OTS, RDS等介質上的資料進行快速地查詢分析。

日誌檔案在大資料分析中的地位舉足輕重。對於一個服務來說，其日誌檔案往往記錄了其執行的所有詳細資訊。無論是故障排除，狀態監控，還是預測告警，都離不開對日誌檔案的查詢分析。由於OSS的高性價比，越來越多的使用者傾向把大量的日誌檔案儲存在OSS中。DLA可以無需移動OSS上的日誌檔案，直接對其做查詢分析。

本文將介紹如何使用DLA對常見格式的日誌檔案做查詢。

使用DLA查詢日誌檔案

DLA可以分析的日誌檔案需要滿足下面的條件：

  1. 日誌檔案是純文字的格式，每行可以對映為表中的一條記錄；
  2. 每行的內容有固定的模式，可以用一個正則表示式去匹配

目前對日誌檔案的支援還僅限於OSS資料來源，因此需要使用者預先將日誌檔案保存於OSS中。

對日誌檔案建表時，最麻煩的一步就是寫正則表示式。下面將以常見的日誌檔案為例，給出每種檔案型別的正則表示式供大家參考。

Apache WebServer 日誌

檔案內容

127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0" 200 2326
127.0.0.1 - - [26/May/2009:00:00:00 +0000] "GET /someurl/?track=Blabla(Main) HTTP/1.1" 200 5864 - "Mozilla/5.0 (Windows; U; Windows NT 6.0; en-US) AppleWebKit/525.19 (KHTML, like Gecko) Chrome/1.0.154.65 Safari/525.19"

正則表示式

([^ ]*) ([^ ]*) ([^ ]*) (-|\\[[^\\]]*\\]) ([^ \"]*|\"[^\"]*\") (-|[0-9]*) (-|[0-9]*)(?: ([^ \"]*|\"[^\"]*\") ([^ \"]*|\"[^\"]*\"))?

建表語句

CREATE EXTERNAL TABLE webserver_log(
  host STRING,
  identity STRING,
  userName STRING,
  time STRING,
  request STRING,
  status STRING,
  size INT,
  referer STRING,
  agent STRING)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
  "input.regex" = "([^ ]*) ([^ ]*) ([^ ]*) (-|\\[[^\\]]*\\]) ([^ \"]*|\"[^\"]*\") (-|[0-9]*) (-|[0-9]*)(?: ([^ \"]*|\"[^\"]*\") ([^ \"]*|\"[^\"]*\"))?"
)
STORED AS TEXTFILE
LOCATION 'oss://mybucket/datasets/path/to/webserver.log';

查詢結果

mysql> select * from webserver_log;
+-----------+----------+-------+------------------------------+---------------------------------------------+--------+------+---------+--------------------------------------------------------------------------------------------------------------------------+
| host      | identity | userName | time                         | request                                     | status | size | referer | agent                                                                                                                    |
+-----------+----------+-------+------------------------------+---------------------------------------------+--------+------+---------+--------------------------------------------------------------------------------------------------------------------------+
| 127.0.0.1 | -        | frank | [10/Oct/2000:13:55:36 -0700] | "GET /apache_pb.gif HTTP/1.0"               | 200    | 2326 | NULL    | NULL                                                                                                                     |
| 127.0.0.1 | -        | -     | [26/May/2009:00:00:00 +0000] | "GET /someurl/?track=Blabla(Main) HTTP/1.1" | 200    | 5864 | -       | "Mozilla/5.0 (Windows; U; Windows NT 6.0; en-US) AppleWebKit/525.19 (KHTML, like Gecko) Chrome/1.0.154.65 Safari/525.19" |
+-----------+----------+-------+------------------------------+---------------------------------------------+--------+------+---------+--------------------------------------------------------------------------------------------------------------------------+

Ngnix訪問日誌

以NGINX文件中提到的format為例：https://docs.nginx.com/nginx/admin-guide/monitoring/logging/#
檔案內容

127.0.0.1 - - [14/May/2018:21:58:04 +0800] "GET /?stat HTTP/1.1" 200 182 "-" "aliyun-sdk-java/2.6.0(Linux/2.6.32-220.23.2.ali927.el5.x86_64/amd64;1.6.0_24)" "-"
127.0.0.1 - - [14/May/2018:21:58:04 +0800] "GET /?prefix=&delimiter=%2F&max-keys=100&encoding-type=url HTTP/1.1" 200 7202 "https://help.aliyun.com/product/70174.html" "aliyun-sdk-java/2.6.0(Linux/2.6.32-220.23.2.ali927.el5.x86_64/amd64;1.6.0_24)" "-"

正則表示式

([^ ]*) ([^ ]*) ([^ ]*) (-|\\[[^\\]]*\\]) (\".*?\") (-|[0-9]*) (-|[0-9]*) ([^ ]*) ([^ ]*) ([^ ]*) (-|\\[[^\\]]*\\]) (\".*?\") (-|[0-9]*) (-|[0-9]*)

建表語句

CREATE EXTERNAL TABLE ngnix_log(
  remote_address STRING,
  identity STRING,
  remote_user STRING,
  time_local STRING,
  request STRING,
  status STRING,
  body_bytes_sent INT,
  http_referer STRING,
  http_user_agent STRING,
  gzip_ratio STRING
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
  "input.regex" = "([^ ]*) ([^ ]*) ([^ ]*) (-|\\[[^\\]]*\\]) ([^ \"]*|\"[^\"]*\") (-|[0-9]*) (-|[0-9]*)(?: ([^ \"]*|\"[^\"]*\") ([^ \"]*|\"[^\"]*\"))? ([^ \"]*|\"[^\"]*\")"
)
STORED AS TEXTFILE
LOCATION 'oss://mybucket/datasets/path/to/ngnix_log';

查詢結果

mysql> select * from ngnix_log;
+----------------+----------+-------------+------------------------------+-----------------------------------------------------------------------+--------+-----------------+----------------------------------------------+---------------------------------------------------------------------------------+------------+
| remote_address | identity | remote_user | time_local                   | request                                                               | status | body_bytes_sent | http_referer                                 | http_user_agent                                                                 | gzip_ratio |
+----------------+----------+-------------+------------------------------+-----------------------------------------------------------------------+--------+-----------------+----------------------------------------------+---------------------------------------------------------------------------------+------------+
| 127.0.0.1      | -        | -           | [14/May/2018:21:58:04 +0800] | "GET /?stat HTTP/1.1"                                                 | 200    |             182 | "-"                                          | "aliyun-sdk-java/2.6.0(Linux/2.6.32-220.23.2.ali927.el5.x86_64/amd64;1.6.0_24)" | "-"        |
| 127.0.0.1      | -        | -           | [14/May/2018:21:58:04 +0800] | "GET /?prefix=&delimiter=%2F&max-keys=100&encoding-type=url HTTP/1.1" | 200    |            7202 | "https://help.aliyun.com/product/70174.html" | "aliyun-sdk-java/2.6.0(Linux/2.6.32-220.23.2.ali927.el5.x86_64/amd64;1.6.0_24)" | "-"        |
+----------------+----------+-------------+------------------------------+-----------------------------------------------------------------------+--------+-----------------+----------------------------------------------+---------------------------------------------------------------------------------+------------+

Aapache Log4j 日誌

以Hadoop預設生成的日誌檔案為例。
檔案內容

2018-11-27 17:45:23,128 INFO org.apache.hadoop.yarn.server.resourcemanager.scheduler.AbstractYarnScheduler: Minimum allocation = <memory:1024, vCores:1>
2018-11-27 17:45:23,128 INFO org.apache.hadoop.yarn.server.resourcemanager.scheduler.AbstractYarnScheduler: Maximum allocation = <memory:8192, vCores:4>
2018-11-27 17:45:23,154 INFO org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacitySchedulerConfiguration: max alloc mb per queue for root is undefined
2018-11-27 17:45:23,154 INFO org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacitySchedulerConfiguration: max alloc vcore per queue for root is undefined

正則表示式

^(\\d{4}-\\d{2}-\\d{2})\\s+(\\d{2}.\\d{2}.\\d{2}.\\d{3})\\s+(\\S+)\\s+(\\S+)\\s+(.*)$

建表語句

CREATE EXTERNAL TABLE log4j_log(
  date STRING,
  time STRING,
  level STRING,
  class STRING,
  details STRING
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
  "input.regex" = "^(\\d{4}-\\d{2}-\\d{2})\\s+(\\d{2}.\\d{2}.\\d{2}.\\d{3})\\s+(\\S+)\\s+(\\S+)\\s+(.*)$"
)
STORED AS TEXTFILE
LOCATION 'oss://oss-cn-beijing-for-openanalytics-test-2/datasets/jinluo/nginx/log4j_sample.log';

查詢結果

mysql> select * from log4j_log;
+------------+--------------+-------+--------------------------------------------------------------------------------------------------+-------------------------------------------------+
| date       | time         | level | class                                                                                            | details                                         |
+------------+--------------+-------+--------------------------------------------------------------------------------------------------+-------------------------------------------------+
| 2018-11-27 | 17:45:23,128 | INFO  | org.apache.hadoop.yarn.server.resourcemanager.scheduler.AbstractYarnScheduler:                   | Minimum allocation = <memory:1024, vCores:1>    |
| 2018-11-27 | 17:45:23,128 | INFO  | org.apache.hadoop.yarn.server.resourcemanager.scheduler.AbstractYarnScheduler:                   | Maximum allocation = <memory:8192, vCores:4>    |
| 2018-11-27 | 17:45:23,154 | INFO  | org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacitySchedulerConfiguration: | max alloc mb per queue for root is undefined    |
| 2018-11-27 | 17:45:23,154 | INFO  | org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacitySchedulerConfiguration: | max alloc vcore per queue for root is undefined |
+------------+--------------+-------+--------------------------------------------------------------------------------------------------+-------------------------------------------------+

總結

對於寫日誌檔案的正則表示式：

  1. 正則表示式中的每個欄位用 () 作為邊界，日誌中通常每個欄位以空格分隔。
  2. 建表語句中定義的列的個數要和正則表示式中的欄位數完全匹配。
  3. 通常，數字可以用 ([0-9]*) 或者 (-|[0-9]*) 匹配，字串用(1*) 或者 (".*?") 匹配
  1. ↩

相關推薦

使用Data Lake Analytics快速分析OSS上的日誌檔案

背景 Data Lake Analytics (後文簡稱 DLA)是Serverless化的雲上互動式查詢分析服務，使用者可以通過標準的SQL語句對儲存在OSS, OTS, RDS等介質上的資料進行快速地查詢分析。 日誌檔案在大資料分析中的地位舉足輕重。對於一個服務來說，其日誌檔案往往記錄了其執行的所有詳

Data Lake Analytics-資料分析時代迎來新變革

前言 近期阿里雲重磅推出新的資料分析引擎Data Lake Analytics，Data Lake Analytics是Serverless化的互動式聯邦查詢服務。無需ETL，使用標準SQL即可分析與整合物件儲存(OSS)、資料庫(PostgreSQL/MyS

使用Data Lake Analytics + OSS分析CSV格式的TPC-H數據集

tdi mit key lag rand hone part exist any Data Lake Analytics（DLA）簡介關於Data Lake的概念，更多閱讀可以參考：https://en.wikipedia.org/wiki/Data_lake 以及AWS

基於Data Lake Analytics的Serverless SQL大數據分析

RoCE sch api mage base 映射 子查詢 sele fff 摘要： TableStore（簡稱OTS）是阿裏雲的一款分布式表格系統，為用戶提供schema-free的分布式表格服務。隨著越來越多用戶對OLAP有強烈的需求，我們提供在表格存儲上接入Data

Data Lake Analytics-數據分析時代迎來新變革

data lake 提升 數據存儲 img ali 都是 同時 對象 無需 摘要： 近期阿裏雲重磅推出新的數據分析引擎Data Lake Analytics，Data Lake Analytics是Serverless化的交互式聯邦查詢服務。無需ETL，使用標準SQL即可分

Data Lake Analytics的Geospatial分析函式

0. 簡介 為滿足部分客戶在雲上做Geometry資料的分析需求，阿里雲Data Lake Analytics（以下簡稱：DLA）支援多種格式的地理空間資料處理函式，符合Open Geospatial Consortium’s (OGC) OpenGIS規範，支援的常用資料格式包括： WKT W

教程：Data Lake Analytics + OSS資料檔案格式處理大全

0. 前言 Data Lake Analytics是Serverless化的雲上互動式查詢分析服務。使用者可以使用標準的SQL語句，對儲存在OSS、TableStore上的資料無需移動，直接進行查詢分析。 目前該產品已經正式登陸阿里雲，歡迎大家申請試用，體驗更便捷的資料分析服務。請參考https://he

Data Lake Analytics + OSS資料檔案格式處理大全

0. 前言 Data Lake Analytics是Serverless化的雲上互動式查詢分析服務。使用者可以使用標準的SQL語句，對儲存在OSS、TableStore上的資料無需移動，直接進行查詢分析。 目前該產品已經正式登陸阿里雲，歡迎大家申請試用，體驗更便捷的資料分析服務。 在上一篇教程中，我們介

Data Lake Analytics + OSS數據文件格式處理大全

text tables ruby 不同的 referer bsp eip 獲得 timestamp 0. 前言 Data Lake Analytics是Serverless化的雲上交互式查詢分析服務。用戶可以使用標準的SQL語句，對存儲在OSS、TableStore上的數據

Data Lake Analytics的Geospatial分析函數

lines 數列 diff .com eos 幾何 ear 5.0 join 簡介為滿足部分客戶在雲上做Geometry數據的分析需求，阿裏雲Data Lake Analytics（以下簡稱：DLA）支持多種格式的地理空間數據處理函數，符合Open Geospatial C

OLAP on TableStore：基於Data Lake Analytics的Serverless SQL大資料分析

開發十年，就只剩下這套架構體系了！ >>>   

Data Lake Analytics中OSS LOCATION的使用說明

name pat standard cif ase 錯誤 one select als 前言Data Lake Analytic（後文簡稱 DLA）可以幫助用戶通過標準的SQL語句直接對存儲在OSS、TableStore上的數據進行查詢分析。 在查詢前，用戶需要根據數據文件

使用Data Lake Analytics從OSS清洗資料到AnalyticDB

前提 必須是同一阿里雲region的Data Lake Analytics（DLA）到AnalyticDB的才能進行清洗

使用Data Lake Analytics從OSS清洗數據到AnalyticDB

重試 HERE nop show 分享 mysq nrv borde 用戶名 前提 必須是同一阿裏雲region的Data Lake Analytics（DLA）到AnalyticDB的才能進行清洗操作； 開通並初始化了該region的DLA服務； 開通並購買了A

教程：使用Data Lake Analytics讀/寫MongoDB資料

Data Lake Analytics 作為雲上資料處理的樞紐，最近加入了對於MongoDB 的支援, 這篇教程帶你玩轉 DLA 的 MongoDB 支援。 建立資料庫 在 DLA 裡面建立一個底層對映到 MongoDB 的外表的語法如下: CREATE DATABASE `mongo_test` WI

Data Lake Analytics: 讀/寫PolarDB的資料

Data Lake Analytics 作為雲上資料處理的樞紐，最近加入了對於PolarDB的支援, PolarDB 是阿里雲自研的下一代關係型分散式雲原生資料庫，100%相容MySQL，儲存容量最高可達 100T，效能最高提升至 MySQL 的 6 倍。這篇教程帶你玩轉 DLA 的 PolarDB 支援

Data Lake Analytics賬號和權限體系詳細介紹

數據查詢 tables 頁面 from aliyun 大量 fma prop comm 一、Data Lake Analytics介紹數據湖（Data Lake）是時下大數據行業熱門的概念：https://en.wikipedia.org/wiki/Data_lake。基於

使用Airflow來排程Data Lake Analytics的任務

開發十年，就只剩下這套架構體系了！ >>>   

如何使用Data Lake Analytics建立分割槽表

開發十年，就只剩下這套架構體系了！ >>>   

使用Data Lake Analytics讀/寫RDS資料

Data Lake Analytics 作為雲上資料處理的樞紐，最近加入了對於RDS(目前支援 MySQL&n