2. 程式人生 > >Flume NG高可用叢集搭建

Flume NG高可用叢集搭建

阿新 • • 發佈：2019-01-06

軟體版本：

  • CentOS 6.7
  • hadoop-2.7.4
  • apache-flume-1.6.0

一、Flume NG簡述

  • Flume 是 Cloudera 提供的一個高可用的，高可靠的，分散式的海量日誌採集、聚合和傳輸的系統。
  • Flume將採集到的檔案，socket資料包等各種形式的資料來源，輸出到HDFS、Hbase、hive、kafka等眾多外部儲存系統中
  • Flume針對特殊場景也具備良好的自定義擴充套件能力，因此flume適用於大部分的日常資料採集場景
  • 一般的採集需求，通過對flume的簡單配置即可實現
  • Flume分散式系統中最核心的角色時agent，flume採集系統就是由一個個
    agent所連線起來形成的
  • 每個agent相當於一個數據傳遞員（Source到Channel到Sink之間傳遞資料的形式時event事件，event事件是一個數據流單元）

Flume的架構圖中有3個元件，分別是source、channel、sink

  • Source：採集資料來源，用於和資料來源對接，獲取資料
  • Sink：下沉，採集資料傳送目的地，用於往下一級agent傳遞資料或者往最終的儲存系統傳遞資料
  • Channel：agent的內部傳輸管道，用於將資料來源以事件event的形式，從Source到Sink

執行流程：

從外部系統（Web Server）中收集產生的日誌，然後通過Agent的Source元件將資料傳送到臨時儲存Channel元件，最後傳遞給Sink元件，Sink元件將滿足預設值的臨時檔案，儲存到HDFS檔案系統中。

二、搭建單點Flume NG

1、解壓軟體包

tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /export/servers/

2、配置環境變數

export FLUME_HOME=/export/servers//flume-1.6.0
export PATH=$PATH:$FLUME_HOME/bin

3、修改flume配置檔案

$FLUME_HOME/conf/flume-env.sh(flume-env.sh.template修改成flume-env.sh)

export JAVA_HOME=/export/servers/jdk1.8.0_171

4、簡單測試—採集指定檔案到 HDFS

伺服器會在指定目錄下，會不斷產生新的日誌檔案，每當有新的日誌檔案產生，flume自動將新產生的資料來源採集到檔案儲存系統HDFS中

建立配置檔案spooldir-hdfs.properties

# Name the components on this agent 
a1.sources = r1 	# agent的別名
a1.sinks = k1 
a1.channels = c1 
 
# Describe/configure the source 
# 採集資料的型別
a1.sources.r1.type = exec       
# 指定執行命令（flume自動執行該命令）
a1.sources.r1.command = tail -F /export/data/callLog.log    
  
# Describe the sink
# 指定採集資訊下沉到哪裡
a1.sinks.k1.type = hdfs 
# 指定採集到的資料存放在hdfs檔案系統的哪個路徑下
a1.sinks.k1.hdfs.path = /flume/events/%y-%m-%d/%H%M/
# 指定儲存資訊檔名的字首
a1.sinks.k1.hdfs.filePrefix = events- 
# 是否捨棄已下沉的檔案，捨棄指的是：根據指定的時間間隔建立資料夾
a1.sinks.k1.hdfs.round = true
#指定每10分鐘捨棄已下沉的檔案
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = minute 
# 每30s，將臨時檔案，持久化到hdfs檔案系統中；設定為0，不滾動，滾動即下沉
a1.sinks.k1.hdfs.rollInterval = 30 	
# 臨時檔案達到指定位元組就滾動，預設1024；設定為0，不根據臨時檔案大小來滾動檔案
a1.sinks.k1.hdfs.rollSize = 1024 
# 臨時檔案的事件event個數達到指定值就滾動，預設10；如果設定成0，不根據events資料來滾動檔案	
a1.sinks.k1.hdfs.rollCount = 10
# 每個事件寫入的行數，預設100
a1.sinks.k1.hdfs.batchSize = 100
# 是否使用本地的時間戳
a1.sinks.k1.hdfs.useLocalTimeStamp = true 
# 生成的檔案型別，預設是 Sequencefile，可用 DataStream（普通文字）
a1.sinks.k1.hdfs.fileType = DataStream
 
# Use a channel which buffers events in memory
# channels資料快取型別
a1.channels.c1.type = memory
# 該通道中最大的可以儲存的event數量	
a1.channels.c1.capacity = 1000
# 每次最大可以從source中拿到或者送到sink中的event數量
a1.channels.c1.transactionCapacity = 100
 
# Bind the source and sink to the channel 
a1.sources.r1.channels = c1 
a1.sinks.k1.channel = c1

提示：配置檔案中的註釋，在虛擬機器配置時儘可能刪除，如果保留可能會報錯

啟動flume

flume-ng agent -c conf -f conf/spooldir-hdfs.properties -n a1 -Dflume.root.logger=INFO,console

命令列引數解釋： 

  • -c conf   指定flume自身的配置檔案所在目錄

  • -f conf/spooldir-hdfs.properties 指定我們所描述的採集方案

  • -n a1  指定我們這個agent的名字

下面截圖是複製的節點啟動傳送資料來源後，收到的資料來源

複製該節點，產生資料，這裡是自己編寫的java程式碼，也可以使用下面shell命令測試

[[email protected] flume-1.6.0]# while true;do echo test >> /export/data/callLog.log;sleep 0.5;done

 三、搭建高可用Flume NG

高可用的Flume NG叢集，架構圖如下所示：

由於電腦效能的限制，將agent減少到1個節點，Collector維持原來的2個節點。主要是為了後面測試負載均衡、以及容錯考慮

1、節點分配

 圖中所示，Agent資料分別流入到Collector1和Collector2，Flume NG本身提供了Failover機制，可以自動切換和恢復。在上圖中，有3個產生日誌伺服器分佈在不同的機房，要把所有的日誌都收集到一個叢集中儲存。下面我們開發配置Flume NG叢集

2、Flume 的 load-balance

負載均衡是用於解決一臺機器(一個程序)無法解決所有請求而產生的一種演算法。Load balancing Sink Processor能夠實現load balance功能，如上圖 Agent1是一個路由節點，負責將Channel暫存的Event均衡到對應的Collector1和Collector2中

2.1、agent端的配置檔案：exec-avro.properties

#agent1 name
agent1.channels = c1
agent1.sources = r1
agent1.sinks = k1 k2

#set channel
agent1.channels.c1.type = memory
agent1.channels.c1.capacity = 1000
agent1.channels.c1.transactionCapacity = 100

agent1.sources.r1.channels = c1
agent1.sources.r1.type = exec
agent1.sources.r1.command = tail -F /export/data/callLog.log

# set sink1
agent1.sinks.k1.channel = c1
agent1.sinks.k1.type = avro
agent1.sinks.k1.hostname = node02
agent1.sinks.k1.port = 52020

# set sink2
agent1.sinks.k2.channel = c1
agent1.sinks.k2.type = avro
agent1.sinks.k2.hostname = node03
agent1.sinks.k2.port = 52020

#set sink group
agent1.sinkgroups = g1
agent1.sinkgroups.g1.sinks = k1 k2

#set load_balance
agent1.sinkgroups.g1.processor.type = load_balance
agent1.sinkgroups.g1.processor.backoff = true
agent1.sinkgroups.g1.processor.selector = round_robin
agent1.sinkgroups.g1.processor.selector.maxTimeOut=10000

2.2、Collector1端的配置檔案：avro-logger.properties

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = avro
a1.sources.r1.bind = node02
a1.sources.r1.port = 52020

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

提示：Collector2的配置檔案與Collector1的基本相同，只需要修改a1.sources.r1.bind

2.3、啟動測試

  1. 分別啟動Collector1、Collector2、agent
  2. 複製agent虛擬機器，執行shell命令：while true;do echo test >> /export/data/callLog.log;sleep 0.5;done

Collector1的執行結果

 Collector2的執行結果

3、Flume 的 failover

3.1、故障轉移機制

實現 failover 功能，具體流程類似 load balance，但是內部處理機制與load balance完全不同

  • Failover Sink Processor維護一個優先順序Sink元件列表，只要有一個Sink 元件可用，Event就會被傳遞到下一個元件。
  • 故障轉移機制的作用是將失敗的Sink 降級到一個池，在這些池中它們被分配一個冷卻時間，隨著故障的連續，增加下次該Sink的重試時間。但只要失敗的Sink成功傳送一個Event，它將恢復到活動池。
  • Sink具有與之相關的優先順序，數值越大，優先順序越高。

例如，具有優先順序為10的sink在優先順序為8的Sink之前被啟用。在啟用過程中，如果傳送事件時匯聚失敗，則將嘗試讓優先順序為8的Sink傳送事件。如果沒有指定優先順序，則根據在配置中指定Sink的順序來確定傳送順序

3.2、配置如下：

#agent1 name
agent1.channels = c1
agent1.sources = r1
agent1.sinks = k1 k2

#set channel
agent1.channels.c1.type = memory
agent1.channels.c1.capacity = 1000
agent1.channels.c1.transactionCapacity = 100

agent1.sources.r1.channels = c1
agent1.sources.r1.type = exec
agent1.sources.r1.command = tail -F /export/data/callLog.log

# set sink1
agent1.sinks.k1.channel = c1
agent1.sinks.k1.type = avro
agent1.sinks.k1.hostname = node02
agent1.sinks.k1.port = 52020

# set sink2
agent1.sinks.k2.channel = c1
agent1.sinks.k2.type = avro
agent1.sinks.k2.hostname = node03
agent1.sinks.k2.port = 52020

#set sink group
agent1.sinkgroups = g1
agent1.sinkgroups.g1.sinks = k1 k2

#set failover
a1.sinkgroups.g1.processor.type = failover
# 如果開啟，則將失敗的 sink 放入黑名單
a1.sinkgroups.g1.processor.backoff = true
# 還支援random
a1.sinkgroups.g1.processor.selector = round_robin
#在黑名單放置的超時時間，超時結束時，若仍然無法接收，則超時時間呈指數增長
a1.sinkgroups.g1.processor.selector.maxTimeOut=10000
#優先順序值, 絕對值越大表示優先順序越高,若不設定，則按照sink的先後順序
a1.sinkgroups.g1.processor.priority.k1 = 5  
a1.sinkgroups.g1.processor.priority.k2 = 10
a1.sinkgroups.g1.processor.priority.k3 = 6
#失敗的 Sink 的最大回退期（millis）
a1.sinkgroups.g1.processor.maxpenalty = 20000

3.3、測試參考負載均衡，這裡就不測試了

相關推薦

Flume NG高可用叢集搭建詳解（基於flume-1.7.0）

1、Flume NG簡述 Flume NG是一個分散式，高可用，可靠的系統，它能將不同的海量資料收集，移動並存儲到一個數據儲存系統中。輕量，配置簡單，適用於各種日誌收集，並支援 Failover和負載均衡。並且它擁有非常豐富的元件。Flume NG採用的是三層架構：Agent層，Collecto

Flume NG高可用叢集搭建

軟體版本： CentOS 6.7 hadoop-2.7.4 apache-flume-1.6.0 一、Flume NG簡述 Flume 是 Cloudera 提供的一個高可用的，高可靠的，分散式的海量日誌採集、聚合和傳輸的系統。 Flume將採集到的檔案，sock

Flume 學習筆記之 Flume NG高可用集群搭建

哈哈 process bind under hdf ora chan lsp max Flume NG高可用集群搭建： 架構總圖： 架構分配： 角色 Host 端口 agent1 hadoop3 52020 collect

Kubernetes實戰 高可用叢集搭建，配置，運維與應用

1-1 K8S導學 1-2 搭建K8S叢集步驟和要點介紹 1-3 搭建三節點Ubuntu環境 1-4 安裝容器引擎 1-5 下載Kubeadm、node元件和命令列工具 1-6 向叢集中加入worker節點 1-7 安裝dashboard和heapste

三節點高可用叢集搭建——Hadoop-HA+zookeeper

目錄 HDFS -HA模式的工作機制示意圖 叢集規劃——三節點高可用 Hadoop HA叢集搭建 前期準備 建立新的虛擬機器 配置虛擬機器 克隆虛擬機器 配置環境變數，重新整理（master、slave1、slave2都配置一下環境變數） 安裝zookeeper叢集 配置檔案 拷貝檔案 拷貝

Redis5之前版本高可用叢集搭建(偽分散式Ruby版)

一、簡介 Redis5以前安裝需要藉助ruby，Redis5版本以後不需要可參考Redis5.x版本快取搭建高可用叢集 二、Redis高可用叢集搭建 redis安裝 下載地址：http://redis.io/download 安裝步驟： # 把下載好的redis-3.0.0-rc2.tar.gz放在/u

centos7 hadoop HA高可用叢集搭建（ hadoop2.7 zookeeper3.4 ）

目錄 七、總結 上篇文章寫了如何用ssh免密登入，當然這些操作都是在hadoop賬號上的操作，包括這篇文章也是一樣 三臺主機 一、伺服器環境 主機名 IP 使用者名稱 密碼 安裝目錄 node1 192.168.31.

RabbitMQ 高階指南：從配置、使用到高可用叢集搭建

博主說：在專案中，通過 RabbitMQ，咱們可以將一些無需即時返回且耗時的操作提取出來，進行非同步處理，而這種非同步處理的方式大大的節省了伺服器的請求響應時間，從而提高了系統的吞吐量。 正文 1 RabbitMQ 簡介 1.1 介紹 　　RabbitMQ

Hadoop2.0高可用叢集搭建

0、叢集節點分配 Hadoop01： Zookeeper NameNode(active) DataNode NodeManager JournalNode ResourceManager(active) Hadoop02： Zookeeper DataNod

redis一主多從高可用叢集搭建

Redis 一主兩從高可用環境搭建 Redis 支援 Master-Slave(主從)模式，Redis Server 可以設定為另一個 Redis Server 的主機（從機），從機定期從主機拿資料。特殊的，一個從機同樣可以設定為一個 Redis Server

Redis Sentinel 高可用叢集搭建(redis4.0)

前言 什麼是哨兵 Redis Sentinel出生於2012年，Redis 2.4穩定後首次釋出,它是一個旨在管理Redis叢集的系統。 哨兵的任務 監控(Monitoring):Sentinel會不斷地檢查你的主伺服器和從伺服器是否運作正常 提醒

大資料系列（hadoop） Hadoop+Zookeeper 3節點高可用叢集搭建

原文地址：https://www.cnblogs.com/YellowstonePark/p/7750213.html一、叢集規劃主機名ipNameNodeDataNodeYarnZooKeeperJournalNodenode01192.168.1.201是是否是是node

CentOS7 haproxy+keepalived實現高可用叢集搭建

一、搭建環境 　　CentOS7 64位         Keepalived  1.3.5         Haproxy 1.5.18 　　後端負載主機：192.168.166.21   192.168.166.22   兩臺節點上安裝rabbitmq服務      

RabbitMQ 高可用叢集搭建及電商平臺使用經驗總結

面向EDA（事件驅動架構）的方式來設計你的訊息 AMQP routing key的設計 RabbitMQ cluster搭建 Mirror queue policy設定 兩個不錯的RabbitMQ plugin 大型應用外掛(Sharding、Rederation) Queue映象失敗手動同步

超詳細Hadoop HA高可用叢集搭建及常見問題處理

       最近研究了下公司的hadoop叢集並模仿搭建了一個在本地測試使用的hadoop叢集。本文介紹下詳細的搭建過程以及各種常見問題的處理解決。  1 ,  前期準備     1.0  ,  準備Linux環境。         安裝vmware linux虛擬機

mongodb高可用叢集搭建(分片+讀寫分離+負載均衡)

#分別在多臺機器上使用chiansun使用者登入 sudo yum install -y mongodb-org node-1 node-2 node-3 mongos mongos mongos 路由伺服器，定址 config config

Hadoop2.6.5高可用叢集搭建

軟體環境: linux系統: CentOS6.7 Hadoop版本: 2.6.5 zookeeper版本: 3.4.8 主機配置: 一共m1, m2, m3這五部機, 每部主機的使用者名稱都為centos 192.168.179.201: m

rabbitmq+haproxy+keepalived實現高可用叢集搭建

　　專案需要搭建rabbitmq的高可用叢集，最近在學習搭建過程，在這裡記錄下可以跟大家一起互相交流（這裡只是記錄了學習之後自己的搭建過程，許多原理的東西沒有細說）。 搭建環境 　　CentOS7 64位 　　RabbitMQ 3.6.2 　　Keepalived 1.2.21 　　主機：192.1

flume ng高可用部署

一、flume簡介 flume是一個高可用的，高可靠的，分散式的海量日誌採集、聚合和傳輸系統，Flume支援在日誌系統中定製各類資料傳送方，用於收集資料；同時，Flume提供對資料進行簡單的處理，並寫到各類資料接受方（可定製）的能力。Flume1.x版

Kubernetes實戰 高可用叢集搭建,配置,運維與應用雲盤下載

第1章 搭建你的第一個Kubernetes叢集 本章介紹了一個使用kubeadm引導的Kubernetes叢集的搭建和基本配置方法 1-1 K8S導學 1-2 搭建K8S叢集步驟和要點介紹 1-3 搭建三節點ubuntu環境 1-4 安裝容器引擎 1-5 下載Kubead