flume監控spoolDir日誌到HDFS（從日誌產生到hdfs上一整套）
原部落格地址：http://www.2cto.com/kf/201612/555835.html
1.編寫java程式碼，隨機生成使用者ID號碼，區縣號碼，鄉鎮號碼(區縣和鄉鎮號碼用隨機的三位字母表示)和個人總收入格式樣例：779362a1-bf04-468a-91b6-a19d772f41fa####AFC####sfe####8091748。
2.用一個執行緒迴圈執行,用Thread.sleep(100)來控制執行緒執行一次停止100ms，防止cpu在死迴圈中過載，一秒生成10條資料，用log4j生成相應的日誌到指定的目錄下面，其中日誌每分鐘就生成一個格式為yyyy-MM-dd-HH-mm 例如：service.log.2016-10-13-11-32，最後在linux下用shell指令碼啟動這個java程式。
3.編寫shell指令碼，定時每分鐘從log4j生成的指令碼copy當前時間前一分鐘產生的日誌檔案到被flume監控的資料夾內，注意copy過去應該在檔名後面加上.COMPLETED，copy完成後又把這個檔名的.COMPLETED去掉。
例如：
| 1 2 3 4 5 |
#首先
cp
./log4j/service.log.2016-10-13-11-37
./monitor/service.log.2016-10-13-11-37.COMPLETED
#然後
mv
./monitor/service.log.2016-10-13-11-37.COMPLETED
./monitor/service.log.2016-10-13-11-37
|
主要是防止源日誌檔案太大copy的時候會花比較長的時間，到時候flume會拋異常，當然你還可以使用另外一種解決方案：直接move源日誌檔案到被flume監控的目錄中，不過這種方案沒有上面的方案優。
4.配置flume的conf檔案
5.編輯crontab每分鐘執行這個指令碼來拉取源日誌檔案。
環境：
1.使用的虛擬機器為:vmware12
2.centOS6.5
3.hadoop2.2.0 單節點（主要測試用，所以直接用的單節點）
4.Flume 1.6.0 （剛開始用的flume-ng-1.5.0-cdh5.4.5，結果配置中的一個方法在這個版本的flume包裡找不到拋異常，就換了個版本搞定）
java程式碼如下:
其中需要配置log4j配置檔案，以及新增log4j的依賴jar包
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
相關推薦flume監控spoolDir日誌到HDFS（從日誌產生到hdfs上一整套）原部落格地址：http://www.2cto.com/kf/201612/555835.html 1.編寫java程式碼，隨機生成使用者ID號碼，區縣號碼，鄉鎮號碼(區縣和鄉鎮號碼用隨機的三位字母表示)和個人總收入格式樣例：779362a1-bf04-468a- 日誌記錄（logging模塊的簡單運用）文件名 %d erro test icc AS message logger onf # 導入模塊import logging‘‘‘第一種方式‘‘‘# 日誌輸出配置logging.basicConfig(level=logging.DEBUG, # 最低級別 Logback日誌配置（分級別輸出到不同檔案）專案使用springboot2.0 springboot2.0基於jdk1.8，不相容1.7 springboot1.5.x基於jdk1.7，相容1.8 專案結構圖如下： logback配置檔名為logback-spring.xml 路徑需要寫在application.properties中，如下： SpringBoot專案的logback日誌配置（包括列印mybatis的sql語句）我在這就開門見山直接介紹我們專案日誌的配置使用吧！~ 1、基本介紹 預設情況下，Spring Boot專案就會用Logback來記錄日誌，並用INFO級別輸出到控制檯。如下圖： 實際開發中我們不需要直接新增logback日誌依賴。 你會 mysql之 日誌體系（錯誤日誌、查詢日誌、二進位制日誌、事務日誌、中繼日誌）一、 mysql錯誤日誌： 錯誤日誌記錄的事件： a)、伺服器啟動關閉過程中的資訊 b)、伺服器執行過程中的錯誤資訊 c)、事件偵錯程式執行一個事件時間生的資訊 d)、在從伺服器上啟動從伺服器程序時產生的資訊 log_error引數指定錯誤日誌存放路徑以及檔名。如果不指定檔 【sql】——日誌表過大，整理日誌表（事務日誌已滿 請參閱sys.databases中的log_reuse_wait_desc列）把一個表大量資料insert into 到另一個數據庫的表時，提示 資料庫 'webdisk ' 的事務日誌已滿。若要查明無法重用日誌中的空間的原因，請參閱 sys.databases 中的 log_reuse_wait_ desc 列 常用的windows 應用軟件命令（從網上搜索而來）應用軟件 資源管理器 資源 查看 ont log conf system 打開控制面板 常用的windows 應用軟件命令： 1、regedit：打開註冊表編輯器 2、control：打開控制面板 3、msconfig：打開系統配置 4、gpedit.msc：打開本地組策略 第五十八題（從尾到頭輸出鏈表）urn stream 尾到頭 csdn ext fontsize 方法 name html 58.從尾到頭輸出鏈表。 題目：輸入一個鏈表的頭結點，從尾到頭反過來輸出每一個結點的值。 思路：題不難，提供幾種思路 1.使用棧的先進後出特性實現，遍歷鏈表元素依次入棧，再出棧 [JS] 一個三位數的百位，十位，個位互換（從大到小，從小到大）return func mic class post body cti num function 三位數的百位，十位，個位從大到小進行互相交換代碼，JS代碼如下。 num = "759"; num.match(/\d/g).sort(function(x, y ){ret FineBI學習系列之淺談FineBI和Tableau對比異同（從產品理念和功能對比）（圖文詳解）研究 簡單 nio 比較 管理 post 企業it 獨立 圖片 不多說，直接上 幹貨！ FineBI和Tableau是比較好的自助式商業智能軟件，功能都很強大，是企業數據可視化不可或缺的利器，但兩款產品還是有非常大的區別的 利用python完成大學刷課（從0到完成的思路）i春秋作家：tllm 原文來自：利用python完成大學刷課（從0到完成的思路） 最近剛剛開學，學校總是有很多讓人無語的課要修，還不能不修。然後我想寫一個自動修課的指令碼。大佬們不要笑我 是邊面向百度學selenium邊寫指令碼的 然後踩了一些坑 記錄一下 先放最終效果視訊 C++——建立類的時候用new與不用new 的區別（從堆和棧的解讀）轉自：https://www.cnblogs.com/tony-li/p/4111588.html C++在建立物件的時候可以採用兩種方式：（例如類名為Test） Test test 或者 Test* pTest = new Test()。 這兩 Til the Cows Come Home （從n到1最短路）題目連線 Bessie is out in the field and wants to get back to the barn to get as much sleep as possible before Farmer John wakes her forthe mo sql：函式：right() （從右往左擷取字元）sql只查一次未優化 SELECT * FROM ( SELECT & 【Java】基於jsoup爬蟲實現（從智聯獲取工作資訊）這幾天在學習Java解析xml，突然想到Dom能不能解析html，結果試了半天行不通，然後就去查了一些資料，發現很多人都在用Jsoup解析html檔案，然後研究了一下，寫了一個簡單的例項，感覺還有很多地方需要潤色，在這裡分享一下我的例項，歡迎交流指教！後續想通過Java把資料匯入到Excel或者 C語言程式設計學科小結（從認識c到分支結構）C語言的魅力在於其在高階語言中高效的執行能力，對於開發計算機底層有重要作用，它的魅力所在還需要我們不斷探尋，學習c到現在也只不過瞭解了c的最表層。 知識點總結 #include<stdio.h>//包含標準輸入輸出檔案。 using namespace 註冊登陸（從檔案中獲取使用者名稱密碼）註冊(regedit.py) # -*- coding: utf-8 -*- #__author__:Selid #__date__:2018/12/21 name=input('請輸入使用者名稱').strip() pwd=input('請輸入密碼').strip() with open('acc ArcGIS中利用ArcMap將地理座標系轉換成投影座標系（從WKID=4326到WKID=102100）對於非地理專業的開發人員，對與這些生澀的概念，我們不一定都要了解，但是我們要理解，凡是以經緯度為單位的都是地理座標系，因為它歸根結底是一個橢球體，只不過各個國家為了反映該國家所在區 java派大星（從HelloWorld到改變世界！）專欄達人 授予成功建立個人部落格專欄 目標檢測（從樣本處理到訓練檢測）訓練級聯分類器一直在複習期末考試，沒能及時的將整個檢測過程寫來了。正好最近考完了，而且上個月做的檢測結果出現部分的漏檢，於是決定從頭再來一次，就當做是加深印象了。做的這個實驗是百香果的識別與檢測，類似行人和人臉檢測，下面簡單寫點自己對訓練級聯分類器整個流程淺薄的認識。下面就開始啦，整個訓 |