1. 程式人生 > >ibm streams處理kafka資料並放入到redis中去

ibm streams處理kafka資料並放入到redis中去

小第最近公司要求用ibm streams來做流式資料的處理(不知道為什麼的,老闆開心就好大笑),下面就把我用streams的一些經歷寫寫吧

我是用spl + java混合編寫的 據說下現在的版本4.1是可以用純java寫的 我們用的是4.0所以還是用了spl + java ,首先我spl入口 

stream<rstring message> KafkaStream = KafkaConsumer()

引數是topic 和propertiesFile等一些引數 

然後建立一個java operator KafkaConsumer 這個類實現了StateHandler這個介面

引數在java中通過@Parameter來接受的 

重寫allPortsReady的方法,在這個方法類掉用  kafka獲取資料什麼的一些東西的

然後把kafka的返回資料放到OutputTuple 中submit,這樣資料就可以在返回到spl中。

下面是redis的操作了,本來打算用streams的dps的,可是因為各種各種原因了,自己用java寫的redis的function,雖然效果不是太好,但是勉強可以了。 @parallel(width=20)

20個並行執行緒處理的話處理是3萬沒秒左右吧,其實壓力重要在redis端。