1. 程式人生 > >flume收集日誌

flume收集日誌

pom

<dependency>
    <groupId>org.apache.flume.flume-ng-clients</groupId>
    <artifactId>flume-ng-log4jappender</artifactId>
    <version>1.8.0</version>
</dependency>
<dependency>
    <groupId>org.apache.flume</groupId>
    <artifactId>flume-ng-core</artifactId>
    <version>1.8.0</version>
</dependency>

log4j add

flumeAvro
log4j.appender.flumeAvro=org.apache.flume.clients.log4jappender.Log4jAppender
log4j.appender.flumeAvro.Hostname=10.2.82.55
log4j.appender.flumeAvro.Port=6666
log4j.appender.flumeAvro.UnsafeMode=true
log4j.appender.flumeAvro.layout=org.apache.log4j.PatternLayout
log4j.appender.flumeAvro.layout.ConversionPattern=%m

flume client

 bin/flume-ng agent -c conf -f conf/example.conf -H 127.0.0.1 -p 10000 -name a1

example.conf

# example.conf: A single-node Flume configuration
a1.sources = r1
a1.channels = c1
a1.sinks = k1

#a1.sources.src-1.type = spooldir
#a1.sources.src-1.channels = c1
#a1.sources.src-1.spoolDir = d:/log/
#a1.sources.src-1.fileHeader = true
#a1.sources.src-1.batchSize = 1


# For each one of the sources, the type is defined
a1.channels = c1
a1.sources.r1.type = avro
a1.sources.r1.channels = c1
a1.sources.r1.bind = 10.2.82.55
a1.sources.r1.port = 6666

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Name the components on this agent
a1.sinks.k1.channel = c1
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.topic = flume
a1.sinks.k1.kafka.bootstrap.servers = 172.17.60.185:9092,172.17.60.193:9092,172.17.60.87:9092
a1.sinks.k1.kafka.flumeBatchSize = 1
a1.sinks.k1.kafka.producer.acks = 1
a1.sinks.k1.kafka.producer.linger.ms = 1
a1.sinks.k1.kafka.producer.compression.type = snappy


相關推薦

flume收集日誌

pom<dependency> <groupId>org.apache.flume.flume-ng-clients</groupId> <artifactId>flume-ng-log4jappender<

配置好Nginx後,通過flume收集日誌到hdfs

net %d 註意 path 文件 ast and bubuko ans 配置好Nginx後,通過flume收集日誌到hdfs 可參考flume的文件 用flume的案例二 執行的註意點 avro和exec聯合用法 https://

Flume NG原始碼分析(五)使用ThriftSource通過RPC方式收集日誌

上一篇說了利用ExecSource從本地日誌檔案非同步的收集日誌,這篇說說採用RPC方式同步收集日誌的方式。筆者對Thrift比較熟悉,所以用ThriftSource來介紹RPC的日誌收集方式。 整體的結構圖如下: 1. ThriftSource包含了一個Thrift Server,以及一個

Flume NG原始碼分析(四)使用ExecSource從本地日誌檔案中收集日誌

常見的日誌收集方式有兩種,一種是經由本地日誌檔案做媒介,非同步地傳送到遠端日誌倉庫,一種是基於RPC方式的同步日誌收集,直接傳送到遠端日誌倉庫。這篇講講Flume NG如何從本地日誌檔案中收集日誌。 ExecSource是用來執行本地shell命令,並把本地日誌檔案中的資料封裝成Event

基於flume日誌收集系統配置

大資料系統中通常需要採集的日誌有: 系統訪問日誌 使用者點選日誌 其他業務日誌(比如推薦系統的點選日誌) 在收集日誌的時候,一般分為三層結構:採集層、彙總層和儲存層,而不是直接從採集端將資料傳送到儲存端,這樣的好處有: 如果儲存端如Hadoop叢集、Kafka等需要停

Hadoop學習筆記之flume Nginx日誌收集到HBase

概述 Nginx訪問日誌形式: $remote_addr – $remote_user [$time_local] “$request”$status $body_bytes_sent“$http_referer” ”$http_user_agent” 例如

flume學習(六):使用hive來分析flume收集日誌資料

前面已經講過如何將log4j的日誌輸出到指定的hdfs目錄,我們前面的指定目錄為/flume/events。 如果想用hive來分析採集來的日誌,我們可以將/flume/events下面的日誌資料都load到hive中的表當中去。 如果瞭解hive的load data原理

FLume收集log4j日誌配置實踐

增加pom依賴: <dependency>         <groupId>org.apache.flume.flume-ng-clients</groupId>

flume 從log4j 收集日誌 到kafka

1. flume 配置# Define a memory channel called ch1 on agent1 agent1.channels.ch1.type = memory agent1.channels.ch1.capacity = 1000 agent1.cha

使用flume進行日誌收集的總結(1)

         由於最近幾個月在搞一個實時監控平臺的專案,用的是flume+kafka+spark,之前領導說弄個文件總結一下專案開發中的用到技術以及容易出錯的地方,以供之後的新手們參考(其實我也才

使用flume進行日誌收集的總結(2)

Sinks groups 和 Sink Processors Sink groups允許組織多個sink到一個實體上。 Sink processors能夠提供在組內所有Sink之間實現負載均衡的能力,

日誌系統之基於flume收集docker容器日誌

http://blog.csdn.net/yanghua_kobe/article/details/50642601 最近我在日誌收集的功能中加入了對docker容器日誌的支援。這篇文章簡單談談策略選擇和處理方式。 關於docker的容器日誌 docker 我就不多

讀懂JVM垃圾收集日誌

日誌 例如 png 多核 .cn 運算 detail http 知識 JVM垃圾收集搞懂原理很重要,但是連垃圾收集的日誌都不懂,這tmd還分析個屁的問題啊,典型的空有理論知識,動手實踐為零。本篇就來具體的學習一下JVM中的垃圾收集日誌。 第一步,垃圾收集的選項 圖1 JVM

rancher使用fluentd-pilot收集日誌分享

a-z jpg pos arch 搜索 agen 選擇 應用 快的 fluentd-pilot簡介 fluentd-pilot是阿裏開源的docker日誌收集工具,Github項目地址:https://github.com/AliyunContainerService/fl

filebeat收集日誌常見問題

重名 nod ges node filebeat sta mage HA vpd filebeat收集日誌文件如果日誌文件重命名,是否會重新收集日誌呢? 答案:不會,因為收集日誌是通過文件的inode的,linux中重名名,只是改變了文件名,文件在磁盤的存儲位置即inod

ELK 使用filebeat替代Logstash收集日誌

con elk arr cts 增加 mes conf ats filebeat 使用beats采集日誌 之前也介紹過beats是ELK體系中新增的一個工具,它屬於一個輕量的日誌采集器,以上我們使用的日誌采集工具是logstash,但是logstash占用的資源比較大,沒有

通過flume日誌下沉到hdfs

# Name the components on this agent a3.sources = r1 a3.sinks = k1 a3.channels = c1 # Describe/configure the source a3.sources.r1.type = avro a3.so

使用filebeat收集日誌到elasticsearch

1.引言 環境: elastic stack 版本:6.5.1 使用以下元件 --elasticsearch  --kibana --filebeat 服務程式日誌儲存目錄:/home/liujg/dev/crush-backend-cpp/crush/gateway

通過flume日誌檔案內容寫入kafka主題

首先自行安裝flume和 kafka當然還要jdk,我flume版本是1.6的kafka版本2.11,jdk1.8。 首先在路徑flume下的conf裡面建立一個logtokafka.conf檔案進行配置配置內容如下。 agent.sources=r1 agent.sinks=k1 agen

電商大資料分析平臺(三)nginx配置及flume讀取日誌資訊

一、nginx配置 在本專案中nginx的作用只是接收客戶端傳送的事件,並將相應的session寫入日誌檔案中,所以配置較為簡單,只需要配置寫入的日誌檔案和寫入的格式 1.地址配置 server { listen