2. 程式人生 > 實用技巧 >Flume 總結（四）sinks型別-1.9.0新版

Flume 總結（四）sinks型別-1.9.0新版

阿新 • • 發佈：2020-10-11

Flume 總結（四）sinks型別-1.9.0新版

1. sinks

在這裡插入圖片描述

  1. HDFS Sink在這裡插入圖片描述
    在這裡插入圖片描述
    在這裡插入圖片描述

注意，日誌資料放到hdfs或者其他地方，一般都是根據時間進行檔案管理分類，一般都是天，也有以小時進行儲存的
當以時間進行存放時，可以時間建立目錄，這時候時間可以從日誌中取（需要在攔截器中取出時間戳放進event的header中）
當以時間進行檔案命名或者參與命名時，可以對時間進行的間隔進行設計，例如以小時，則可以設計10小時建立下一個目錄
由於日誌較多，存入hdfs時，可以設計以存入條數，存入檔案大小，存入時間間隔進行檔案滾動規則設定

  1. Hive Sink
    在這裡插入圖片描述
    在這裡插入圖片描述
    在這裡插入圖片描述
  2. Logger Sink在這裡插入圖片描述
  3. Avro Sink
    在這裡插入圖片描述

使用avro，可以進行agent級聯，組成複雜的網路和層級

  1. Thrift Sink
    在這裡插入圖片描述
  2. IRC Sink
    在這裡插入圖片描述
  3. File Roll Sink
    在這裡插入圖片描述
  4. Null Sink
    在這裡插入圖片描述
  5. HBaseSink在這裡插入圖片描述

自動查詢會去環境變數對應軟體hbase的配置檔案中

  1. HBase2Sink在這裡插入圖片描述

  2. AsyncHBaseSink
    在這裡插入圖片描述

  3. MorphlineSolrSink在這裡插入圖片描述

在這裡插入圖片描述
在這裡插入圖片描述

  1. ElasticSearchSink
    在這裡插入圖片描述
    在這裡插入圖片描述
    在這裡插入圖片描述

  2. Kite Dataset Sink
    在這裡插入圖片描述

  3. Kafka Sink
    在這裡插入圖片描述
    在這裡插入圖片描述
    在這裡插入圖片描述
    在這裡插入圖片描述

  4. HTTP Sink
    在這裡插入圖片描述

  5. Custom Sink在這裡插入圖片描述

自定義sink

相關推薦

Flume 總結（四）sinks型別-1.9.0新版

Flume 總結（四）sinks型別-1.9.0新版 1. sinks HDFS Sink 注意，日誌資料放到hdfs或者其他地方，一般都是根據時間進行檔案管理分類，一般都是天，也有以小時進行儲存的 當以時間進行存放時，可以時間建立

Flume 總結（九）Serializers型別-1.9.0新版

Flume 總結（九）Serializers型別-1.9.0新版 1. Serializers Body Text Serializer“Flume Event” Avro Event Serializer Avro Event Serializer

Flume 總結（七）interceptors型別-1.9.0新版

Flume 總結（七）interceptors型別-1.9.0新版 1. interceptors Timestamp InterceptorHost Interceptor Static Interceptor Remove Header Interceptor UUID InterceptorMorphline Interceptor Search an

Flume 總結（六）selectors型別-1.9.0新版

Flume 總結（六）selectors型別-1.9.0新版 1. selectors Replicating Channel Selector (default)Multiplexing Channel Selector Custom Channel Selector

Flume 總結（五）channels型別-1.9.0新版

Flume 總結（五）channels型別-1.9.0新版 1. channels Memory ChannelJDBC Channel 可以通過JDBC對外進行資料快取

Flume 總結（三）sources型別-1.9.0新版

Flume 總結（三）sources型別 1. 官網 http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html注意區分flume版本

Flume 總結（八）sink processor型別-1.9.0新版

Flume 總結（八）sink processor型別-1.9.0新版 1. sink processor Default Sink Processor Failover Sink Processor

微信小程式學習總結（四）事件與冒泡例項分析

本文例項講述了微信小程式學習總結（四）事件與冒泡。分享給大家供大家參考，具體如下：

博思軟體實訓總結（四）

博思軟體實訓總結（四） Spring快取註解@Cacheable、@CacheEvict、@CachePut使用 從3.1開始，Spring引入了對Cache的支援。其使用方法和原理都類似於Spring對事務管理的支援。Spring Cache是作用在方法上的，其核心思

Java安全之反序列化（四）--fastjson < 1.2.41-1.2.45

　　fastjson在1.2.24漏洞之後，官方的修復方案是引入checkAutotype安全機制，通過黑白名單來實現防禦，並且在預設情況下也不支援@type來指定隨意物件進行例項化了。下圖是1.2.25版本。

python 學習（四）- 變數型別

一、變數的定義和使用 為什麼需要變數？當然是通過變數來儲存資料，而儲存的資料型別可能是數字、字串、字元等等，將這些資料儲存在變數中，可以方便我們去使用，除了變數之外還有一個常量，區別就是，常量是不可變的

uniapp 開發微信小程式總結（四）mixin - login

在這個專案中，呼叫登入介面時，將頁面引數傳入，且登入完成後需要呼叫別的介面。

.NET 多執行緒開發總結（四）——藉助非同步語法實現可延時觸發的按鈕

技術標籤：C#WPF 轉眼又是一年，作為開年的第一篇部落格，先寫點簡單的熱熱手，畢竟也好久沒寫了。

Spring學習總結（四）：基於XML的Bean裝配中常見操作

技術標籤：Spring學習javaspringbean 一、注入空值和特殊符號 1、注入空值 （1）建立實體類User，提供私有屬性name、age和address，並提供它們的set方法和toString()。

HTML5基礎知識點總結（四）---高階選擇器

技術標籤：html5CSScsshtml5 高階選擇器 當我們需要對多個不同的標籤下的相同的屬性賦同樣的值時，我們就可以使用高階選擇器 1、後代選擇器和子代選擇器 後代選擇器和子代選擇器是為了實現對某標籤下的不同層級便

HTML知識點總結（四）：form表單

技術標籤：htmlhtml5 HTML知識點總結 一、什麼是form表單   用於收集使用者資訊，如：登入、註冊等場景；所有要提交的資料都必須放在form標籤中。 一個完整的表單包含三個基本組成部分：表單標籤、表單域、表

Spring學習總結（四）——表示式語言 Spring Expression Language

目錄 SpEL簡介與功能特性 一、為什麼需要Spring表示式語言 二、SpEL表示式Hello World!

java基礎知識總結（四）——控制語句、方法、以及遞迴

條件結構 　　1、if單分支結構 　　　　語法結構: 　　　　　　if(布林表示式){

無人地磅自助機開發總結（四）將抓拍的圖片轉成base64傳給後臺

　　　/// <summary> /// Image 轉成 base64 /// </summary> /// <param name=\"fileFullName\"></param>

深入學習Redis（四），基本型別【List】剖析

更多精彩文章，關注【ToBeTopJavaer】，更有數萬元精品vip資源免費等你來拿！！！