1. 程式人生 > >Flume監聽oracle表增量

Flume監聽oracle表增量

需求:獲取oracle表增量資訊,傳送至udp514埠,支援ip配置

步驟:

(1)需要的jar  oracle的 odbc5.jar(oracle安裝目錄  /jdbc/lib下查詢)

(2)flume的開源包flume-ng-sql-source-1.4.3.jar  最新的好像是1.5的 小版本記不住了 這個下載地址直接csdn上就有

這兩個jar 都拷貝到flume的lib下

(3)flume配置檔案

a1.sources = r1
a1.sinks = k1
a1.channels = c1
 
#接收syslog配置
#a1.sources.r1.type = syslogudp
#a1.sources.r1.port = 514
#a1.sources.r1.host = 0.0.0.0

###########sql source#################
a1.sources.r1.type = org.keedio.flume.source.SQLSource
a1.sources.r1.hibernate.connection.url = jdbc:oracle:thin:@10.9.224.36:1521/soc
# Hibernate Database connection properties
a1.sources.r1.hibernate.connection.user = soc_app
a1.sources.r1.hibernate.connection.password = soc_app
a1.sources.r1.hibernate.connection.autocommit = true
a1.sources.r1.hibernate.dialect = org.hibernate.dialect.Oracle10gDialect
a1.sources.r1.hibernate.connection.driver_class = oracle.jdbc.driver.OracleDriver
a1.sources.r1.run.query.delay=1
a1.sources.r1.status.file.path = /usr/local/flume
a1.sources.r1.status.file.name = a1.sqlSource.status
# Custom query
a1.sources.r1.start.from = '2017-07-31 07:06:20'
a1.sources.r1.custom.query = SELECT CHR(39)||TO_CHAR(CREATETIME,'YYYY-MM-DD HH24:MI:SS')||CHR(39),MSG FROM FLUME_NG_SQL_SOURCE WHERE CREATETIME > TO_DATE(
[email protected]
$,'YYYY-MM-DD HH24:MI:SS') ORDER BY CREATETIME ASC a1.sources.r1.batch.size = 6000 a1.sources.r1.max.rows = 1000 a1.sources.r1.hibernate.connection.provider_class = org.hibernate.connection.C3P0ConnectionProvider a1.sources.r1.hibernate.c3p0.min_size=1 a1.sources.r1.hibernate.c3p0.max_size=10 ###########sql source################# #自定義型別 a1.sinks.k1.type = com.neusoft.utils.SyslogSink #配置傳送ip a1.sinks.k1.destination = 10.9.224.36 a1.channels.c1.type = memory a1.channels.c1.capacity = 10000 a1.channels.c1.transactionCapacity = 10000 a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1 #啟動命令 ./flume-ng agent -c ../conf -f ../conf/flume-sql.conf -n a1 -Dflume.root.logger=INFO,console &

由於是自己定義的sink 在我的部落格中也有提到,所以配置了自定義的sink

相關推薦

Flumeoracle增量

需求:獲取oracle表增量資訊,傳送至udp514埠,支援ip配置 步驟: (1)需要的jar  oracle的 odbc5.jar(oracle安裝目錄  /jdbc/lib下查詢) (2)flume的開源包flume-ng-sql-source-1.4.3.jar

通過JMSOracle AQ,在資料苦變化時觸發並執行Java程式

環境說明 本實驗環境基於Oracle 12C和JDK1.8,其中Oracle 12C支援多租戶特性,相較於之前的Oracle版本,使用‘C##使用者名稱‘表示使用者,例如如果資料庫使用者叫kevin,則登陸時使用C##kevin進行登陸。 一、Oracle高階訊息

Flume檔案目錄sink至hdfs配置

一:flume介紹         Flume是一個分散式、可靠、和高可用的海量日誌聚合的系統,支援在系統中定製各類資料傳送方,用於收集資料;同時,Flume提供對資料進行簡單處理,並寫到各種資料接受方(可定製)的能力。,Flume架構分為三個部分 源-Source,接收器-Sink,通道-Channel。

設定Flume檔案內容

應用場景 按照Hadoop完全分散式安裝Flume博文,測試使用了Flume監聽資料夾,當資料夾中添加了檔案,Flume設定會立馬進行收集資料夾中的新增的檔案,那麼這是一種應用場景,但是如果我們想收集檔案中的內容,該如何辦呢?比如,linux目錄下有一個檔案,我會往這個檔案裡不斷的新增內容,那麼

mysql 觸發器 這個插入時增加資料 在某欄位變動時進行觸發

專案觸發器 在mysql 表中增加  需求 當這個表 新增記錄的時候觸發 DROP TRIGGER IF EXISTS t_make_data; //刪除原先的觸發器 CREATE TRIGGER t

[Spring cloud 一步步實現廣告系統] 15. 使用開源元件Binlog 實現增量索引準備

MySQL Binlog簡介 什麼是binlog? 一個二進位制日誌,用來記錄對資料發生或潛在發生更改的SQL語句,並以而進

Layui事件單和資料表格)

## 一、表單的事件監聽 先介紹一下幾個屬性的用法 ### 1、lay-filter 事件過濾器 相當於選擇器,layui的專屬選擇器 ### 2、lay-verify 驗證屬性 屬性值可以是 :required必填項, phone手機號,email郵箱,url網址,number數字,date日期,i

JMSOracle AQ

- 該文件中,jdk版本1.8,java專案為maven構建的springboot專案,並使用了定時任務來做AQ監聽的重連功能,解決由於外部原因導致連線斷裂之後,需要手動重啟專案才能恢復連線的問題 - [github原始碼位置](https://github.com/wangqq1217/oracleAQ-

oracle 11g rac dbca建庫時提示創建

oracle 監聽 listener oracle rac Oracle 11g rac dbca建庫時提示創建監聽在安裝oracle 11g rac時,使用dbca建庫的過程中提示需要創建監聽:Default Listener "LISTENER" is not configured in

AIX下RAC搭建 Oracle10G(五)安裝oracle、建立

soft lsnrctl term 例如 strong href lan cor pad AIX下RAC搭建系列 AIX下RAC搭建 Oracle10G(五)安裝oracle、建立監聽 環境 節點 節點1 節點2 小機型號

Oracle程序未啟動或數據庫服務未註冊到該

數據庫服務 pri ora iat lis oracle服務 建數據庫 ip地址 his oracle新建數據庫的時候提示Could not find appropriate listener for this database要做的操作如下: 1、查看netmanage

oracle 12c啟動報錯協議適配器錯誤

oracle 計算機 適配器 我遇到此類問題,一般是右鍵計算機-管理-服務,找到OracleOraDB12Home1TNSListener設為自動啟動,並重啟,當然這種操作你要確定監聽文件什麽的都已經檢查無問題哦。本文出自 “myOracle” 博客,請務必保留此出處http://clarkbg.

windows 啟動關閉Oracle和服務

break stat local 程序啟動 tle -- add network 寫入 經常要用數據庫,讓他自己啟動的話,開機太慢,所以用命令啟動方便點。 1.開啟: 在運行中輸入cmd,進入控制臺,lsnrctl start回車,提示啟動監聽成功後

Oracle修改端口教程

pre code rac names tail gre 文件 toc tar Oracle默認監聽端口1521,一眾掃描器通常通過探測1521端口是否開啟來探測是否存在Oracle服務,如果修改默認監聽端口在一定程度上可以提升數據庫和主機的安全性。 比如這裏我們修改成252

Oracle配置方法

ini 方法 add 進行 name img dev http con Oracle 數據庫配置監聽 1.準備環境: (1)遠程oracle服務實例或者本地服務實例 遠程服務器或者本地服務端(存數據庫的) (2)oracle 客戶端(oracle –oraClient1

oracle配置

mes toc col tcp pre class app 改ip 監聽 在listener.ora文件中指定監聽的實例名和修改ip地址: 查看實例名:[localhost$] echo $ORACLE_SID LISTENER = (DESCRIPTION_LIS

連接linux數據庫Oracle時報錯ORA-12541: TNS: 無程序

以及 ora- base img acl names star alt blog 1 windows上安裝Oracle的客戶端。 2 確保linux服務器上的1521端口開放。 3 看你的window機器是夠能夠ping同linux服務器的ip地址 4 在windows中

oracle for windows 問題之TNS-12545

oracle windows 監聽 tns-12545 lsnrctl 操作系統版本:windows server 2012R2 數據庫版本:oracle 11.2.0.1 問題描述:在一vmware虛擬機上搭建的windows server 2012R2,然後在win

如何讓oracle DB、和oem開機啟動(dbstart)

監聽和oem開機啟動如何讓oracle DB、監聽和oem開機啟動(dbstart)讓oracle DB、監聽和oem開機啟動(dbstart)Oracle提供了伴隨操作系統自動重啟的功能,在Windows中,可以修改“我的電腦-->管理-->服務-->OracleService$ORACL

如果出現oracle停止的情況,如何處理

snr src listener log linux ges 停止 lis list 如果是Linux系統? 進入ORACLE系統後,輸入su – oracle? 輸入命令:crs_start –ti) 輸入srvctl stop listener –n host