1 序

對ETL系統中資料轉換和儲存操作的相關日誌進行記錄以及實時分析有助於我們更好的觀察和監控ETL系統的相關指標（如單位時間某些操作的處理時間），發現系統中出現的缺陷和效能瓶頸。

由於需要對日誌進行實時分析，所以Storm是我們想到的首個框架。Storm是一個分散式實時計算系統，它可以很好的處理流式資料。利用storm我們幾乎可以直接實現一個日誌分析系統，但是將日誌分析系統進行模組化設計可以收到更好的效果。模組化的設計至少有兩方面的優點：

1. 模組化設計可以使功能更加清晰。整個日誌分析系統可以分為“資料採集-資料緩衝-資料處理-資料儲存”四個步驟。Apache專案下的flumeng框架可以很好的從多源目標收集資料，所以我們用它來從ETL系統中收集日誌資訊；由於採集資料與處理資料的速度可能會出現不一致，所以我們需要一個訊息中介軟體來作為緩衝，kafka是一個極好的選擇；然後對流式資料的處理，我們將選擇大名鼎鼎的storm了，同時為了更好的對資料進行處理，我們把drools與storm進行了整合，分離出了資料處理規則，這樣更有利於管理規則；最後，我們選擇redis作為我們處理資料的儲存工具，redis是一個記憶體資料庫，可以基於健值進行快速的存取。
2. 模組化設計之後，storm和前兩個步驟之間就獲得了很好的解耦，storm叢集如果出現問題，資料採集以及資料緩衝的操作還可以繼續執行，資料不會丟失。

2 相關框架的介紹和安裝

2.1 flumeng

2.1.1 原理介紹

Flume是一個高可用、高可靠、分散式的海量日誌採集、聚合和傳輸系統。Flume支援在日誌系統中定製日誌傳送方，用於收集資料；同時，Flume提供對資料進行簡單處理，並寫到各種資料接收方的能力。它擁有一個簡單的、可擴充套件的流式資料流架構，如下圖所示:

日誌收集系統就是由一個或者多個agent（代理）組成，每個agent由source、channel、sink三部分組成，source是資料的來源，channel是資料進行傳輸的通道，sink用於將資料傳輸到指定的地方。我們可以把agent看做一段水管，source是水管的入口，sink是水管的出口，資料流就是水流。 Agent本質上是一個jvm程序，agent各個元件之間是通過event來進行觸發和協調的。

2.1.2 flumeng的安裝

1. 從官方網站下載apache-flume-1.4.0-bin.tar.gz壓縮包

2. 解壓縮，並在conf目錄下面新建一個檔案flume-conf.properties，內容如下：

   01234567891011121314151617181920212223

   a1.sources=r1a1.sinks=k1a1.channels=c1#source配置資訊#r1的type為avro表示該source接收的資料協議為avro,且接收資料由avro客戶端事件驅動#（也就是說resource要通過avro-cliet向其傳送資料）a1.sources .r1.type=avroa1.sources.r1.bind=localhosta1.sources.r1.port=44444#sink配置資訊# type為logger意將資料輸出至日誌中(也就是列印在螢幕上)a1.sinks.k1.type=logger#channel配置資訊#type為memory意將資料儲存至記憶體中a1.channels.c1.type=memorya1.channels.c1.capacity=1000a1.channels.c1.transactionCapacity=100#將source和sink繫結至該channel上a1.sources.r1.channels=c1a1.sinks.k1.channel=c1該配置檔案，配置了一個source為avro的伺服器端用於日誌的收集。具體的情況將在後面ETL系統與flume整合中介紹。

3. 啟動代理。flume-ng agent –n a1 –f flume-conf.properties

2.2 kafka

2.2.1 原理介紹

Kafka是linkedin用於日誌處理的分散式訊息佇列。Kafka的架構如下圖所示：

Kafka的儲存策略有一下幾點：

1. kafka以topic來進行訊息管理，每個topic包括多個partition，每個partition包括一個邏輯log，由多個segment組成。
2. 每個segment中儲存多條訊息，訊息id由其邏輯位置決定，即從訊息id可直接定位到訊息的儲存位置，避免id到位置的額外對映。
3. 每個partition在記憶體中對應一個index，記錄每個segment中的第一條訊息的偏移。
4. 釋出者發到某個topic的訊息會被均勻的分佈到多個partition上（隨機或根據使用者指定的回撥函式進行分佈），broker收到釋出訊息往對應partition的最後一個segment上新增該訊息，當某個segment上的訊息條數達到配置值或訊息釋出時間超過閾值時，segment上的訊息會被flush到磁碟，只有flush到磁碟上的訊息訂閱者才能訂閱到，segment達到一定的大小後將不會再往該segment寫資料，broker會建立新的segment。

2.2.2 kafka叢集的搭建

Kafka叢集的搭建需要依賴zookeeper來進行負載均衡，所以我們需要在安裝kafka之前搭建zookeeper叢集。

1. 分別下載kafka_2.9.2-0.8.1的安裝包到兩臺機器,並解壓該安裝包。
2. 開啟conf/server.properties檔案，修改配置項broker.id、zookeeper.connect、partitions以及host.name為相應的值。
3. 分別啟動kafka即完成了叢集的搭建。

2.3 storm

相關推薦