ibm streams處理kafka資料並放入到redis中去
阿新 • • 發佈:2019-02-07
小第最近公司要求用ibm streams來做流式資料的處理(不知道為什麼的,老闆開心就好),下面就把我用streams的一些經歷寫寫吧
我是用spl + java混合編寫的 據說下現在的版本4.1是可以用純java寫的 我們用的是4.0所以還是用了spl + java ,首先我spl入口
stream<rstring message> KafkaStream = KafkaConsumer()
引數是topic 和propertiesFile等一些引數
然後建立一個java operator KafkaConsumer 這個類實現了StateHandler這個介面
引數在java中通過@Parameter來接受的
重寫allPortsReady的方法,在這個方法類掉用 kafka獲取資料什麼的一些東西的
然後把kafka的返回資料放到OutputTuple 中submit,這樣資料就可以在返回到spl中。
下面是redis的操作了,本來打算用streams的dps的,可是因為各種各種原因了,自己用java寫的redis的function,雖然效果不是太好,但是勉強可以了。 @parallel(width=20)
20個並行執行緒處理的話處理是3萬沒秒左右吧,其實壓力重要在redis端。