簡述

使用 Flume 實時收集日誌的過程中，儘管有事務機制保證資料不丟失，但仍然需要時刻關注 Source、Channel、Sink 之間的訊息傳輸是否正常。
比如，SouceChannel 傳輸了多少訊息，ChannelSink 又傳輸了多少，兩處的訊息量是否偏差過大等等。

Flume 為我們提供了 Monitor 的機制：http://flume.apache.org/FlumeUserGuide.html#monitoring 通過Reporting 的方式，把過程中的Counter都打印出來。

型別

• JMX Reporting
• Ganglia Reporting
• JSON Reporting
• Custom Reporting

Ganglia Reporting

Flume 可以報告它的 metrics 到 ganglia3，只要你在啟動 Flume agent 的時候設定一些引數即可，也可以把這些引數設定在 flume-env.sh 配置檔案中。需要設定的引數如下，這些引數的字首如下Flume.monitoring：

• -Dflume.monitoring.type：型別必須是ganglia
• -Dflume.monitoring.pollFrequency： 預設值是60秒，flume向ganglia報告metrics的時間間隔
• -Dflume.monitoring.isGanglia3： 預設是false，ganglia server的版本在3以上，flume 傳送的是ganglia3.1的資料格式

啟動flume Agent:

$ bin/flume-ng agent --conf-file example.conf --name a1 -Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=com.example:1234,com.example2:5455

JSON Reporting

Flume 也可以報告 JSON 格式的 report，為了開啟 JSON report，在 Flume 機器上啟動了一個 web server。需要在客戶端啟動時設定以下引數：
type 該元件的名稱，這裡設定為http
port 該服務監聽的埠，預設是41414

啟動flume Agent:

flume-ng agent --conf-file example.conf --name a1 -Dflume.monitoring.type=http -Dflume.monitoring.port=34545

然後通過http://

作者：studytime
原文：https://www.studytime.xin/

相關推薦

Flume 知識點（六）Flume 的監控

簡述 使用 Flume 實時收集日誌的過程中，儘管有事務機制保證資料不丟失，但仍然需要時刻關注 Source、Channel、Sink 之間的訊息傳輸是否正常。 比如，SouceChannel 傳輸了多少訊息，ChannelSink 又傳輸了多少，兩處的訊息量是否偏差過大等等。 Flume 為我們提供了 Mo

[轉] flume使用（六）：後臺啟動及日誌檢視

【From】 https://blog.csdn.net/maoyuanming0806/article/details/80807087   處理的問題flume 普通方式啟動會有自己自動停掉的問題，這可能是linux的程序機制把他停掉的原因。 普通執行方式： ./flume

flume例項（二）：監控伺服器日誌

1.實現功能： 監控日誌增加，並且將日誌資訊儲存到hdfs上 2.flume和hdfs整合 將hadoop對應jar包放到flume的lib目錄下 htrace-core-3.1.0-incubating.jar hadoop-hdfs-2.7.3.jar hadoo

flume學習（六）：使用hive來分析flume收集的日誌資料

前面已經講過如何將log4j的日誌輸出到指定的hdfs目錄，我們前面的指定目錄為/flume/events。 如果想用hive來分析採集來的日誌，我們可以將/flume/events下面的日誌資料都load到hive中的表當中去。 如果瞭解hive的load data原理

flume例項（一）：監控目錄

1.實現功能：     監控目錄，一旦目錄內增加資料，即傳遞到hdfs上。 2.配置檔案dir-sink-hdfs.properties  #a1表示代理名稱 a1.sources=s1 a1.sinks=k1 a1.channels=c1 #配置source1 監控

ES6之主要知識點（六）數組

統一 實例 java 新增 .proto 成員 keyword 讀取 缺點 引自http://es6.ruanyifeng.com/#docs/array 1.擴展運算符（...） 擴展運算符（spread）是三個點（...）。它好比 rest 參數的逆運算，將一個數組轉為

Matlab知識點（六）

使用Matlab處理積分問題 最值問題 在Matlab 中只有求極（或最）小值命令的函式．若要求函式 f ( x)在( x1, x2) 內的極（或最）大值，可轉化為求− f (x)在( x1, x2) 內的極（或最）小值．求極（或最）小值點和極（或最）小值的呼叫格式是： [x,fual]

Flume NG原始碼分析（六）應用程式使用的RpcClient設計

上一篇Flume NG原始碼分析（五）使用ThriftSource通過RPC方式收集日誌 介紹了ThriftSource利用Thrfit服務ThriftSourceProtocol來收集日誌。這篇說說flume-ng-sdk中提供給應用層序使用的RpcClient的設計和實現。繼續使用ThriftR

flume簡介（一）

gpo body events emp 簡單實例 buffers bind 通過 .sh 緒論： 　　本文的內容包括flume的背景、數據流模型、常見的數據流操作、flume agent啟動和flume agent簡單實例。參考文檔為flume官網的flume1.8.0 F

zabbix監控（六）分布式監控與SNMP監控

zabbix proxy snmp分布式監控與SNMP監控7.1 分布式監控7.1.1 作用 　　1.分擔壓力，減輕負載 　　2.多機房監控 說明：zabbix Server ===》 zabbix agent （只能同一個局域網監控）分擔壓力，降低負載zabbix Server

zabbix 自動發現監控端口（六）

zabbix一、配置腳本，將腳本分發到各個minion端1.1.腳本內容vim discover_port.sh #!/bin/bash portarray=(`sudo netstat -tnlp|egrep -i "$1"|awk {'print $4'}|awk

4.flume實戰（一）

需求：從指定網路埠採集資料輸出到控制檯 使用flume的關鍵就是寫配置檔案 a）配置source b）配置channel c）配置sink d）把以上三個元件串起來 我們看一下官網給的配置檔案 # example.conf: A single-node Flume configurat

Flume學習之路 （三）Flume的配置方式

dfs- 來源 rep RoCE list 數據 日誌 appserver 路徑 一、單一代理流配置 1.1　官網介紹 http://flume.apache.org/FlumeUserGuide.html#avro-source 通過一個通道將來源和接收器鏈接。需要列出源

Flume學習之路 （一）Flume的基礎介紹

日誌 cbc oot 安裝 image 可擴展 服務器 提交 ffffff 一、背景 Hadoop業務的整體開發流程：從Hadoop的業務開發流程圖中可以看出，在大數據的業務處理過程中，對於數據的采集是十分重要的一步，也是不可避免的一步。 許多公司的平臺每天會產生大量的日誌

Flume學習之路 （二）Flume的Source類型

bash 官方 tip size pipes lte using exc 正常 一、概述 官方文檔介紹：http://flume.apache.org/FlumeUserGuide.html#flume-sources 二、Flume Sources 描述 2.1　Avro

.NetCore下使用Prometheus實現系統監控和警報 （六）進階Grafana集成自定義收集指標

之前 技術 bsp （六） com ota 選擇 netcore 面板 Prometheus中包含了很多收集指標，那麽我們怎來在Grafana中來使用呢？ 接下來我們還是以之前自定義的來演示如圖：我們在Prometheus中已經可以看到這個之前我們自定義的類型了 關

Kafka 學習筆記（5）—— flume + kafka 整合（1）

1 需求分析 採集訂單系統應用列印的日誌檔案。 日誌檔案使用 log4j 生成，滾動生成。 將採集的日誌檔案儲存到 kafka中。 （source） 輸入： tail -F xx.log

SpringCloud（六）Hystrix斷路器《2》（服務監控hystrixDashboard）

1、服務監控hystrixDashboard 1.1、概述 除了隔離依賴服務的呼叫以外，Hystrix還提供了準實時的呼叫監控（Hystrix Dashboard），Hystrix會持續地記錄所有通過Hystrix發起的請求的執行資訊，並以統計報表和圖形的形式展示給使用者，包括每秒執行多少請

C++知識點備忘錄之多檔案程式編寫（六）

使用標頭檔案來定義使用者型別，為操作使用者型別的函式提供函式原型；並將函式定義放在一個獨立的原始碼檔案中。標頭檔案和原始碼檔案一起定義和實現了使用者定義的型別以及使用方式。最後，將main()和其他使用這些函式的函式放在第三個檔案中。 #include<iostr

Spring Boot + Spring Cloud 構建微服務系統（六）：熔斷監控叢集（Turbine）

Spring Cloud Turbine 上一章我們集成了Hystrix Dashboard，使用Hystrix Dashboard可以看到單個應用內的服務資訊，顯然這是不夠的，我們還需要一個工具能讓我們彙總系統內多個服務的資料並顯示到Hystrix Dashboard上，這個工具就是Turbine。 新增依