Spark Streaming java實現簡單例子(一)
阿新 • • 發佈:2019-01-27
1. 背景:之前已經學習過Spark SQL的相關知識,現在開始對Spark的另一模組Streaming部分進行學習。首先是參考官網上的Demo進行樣例的編寫,但是發現程式碼有點問題,百度之後發現,在一處程式碼處發現問題,所以寫此文。
2. 介紹:一些部落格上的
JavaDStream<String> words = lines.flatMap(new FlatMapFunction<String,String>(){ //如果是Scala,由於SAM裝換,可以寫成val words = lines.flatMap{line => line.split(" ")} @Override public Iterable<String> call(String line) throws Exception { return Arrays.asList(line.split(" "));//將其變成Iterable的子類 } });
或者官網上
// Split each line into words
JavaDStream<String> words = lines.flatMap(x -> Arrays.asList(x.split(" ")).iterator());
對於此處,都是有問題的,應該是
JavaDStream<String> words = lines.flatMap(new FlatMapFunction<String, String>() { public Iterator<String> call(String line) throws Exception { String aStr[] = line.split(","); return Arrays.asList(aStr).iterator(); } });
此處值得注意,需要了解一下Interator,通過http://www.cnblogs.com/chenssy/p/3821328.html 認識到list可以轉化。
Iterator iterator = list.iterator(); while(iterator.hasNext()){ String string = iterator.next(); //do something }
3. 對於之前提及的IDEA中設定本地執行Spark程式,然後在虛擬機器中執行
$ nc -lk 9999
同時,輸入例如“Hello,world”,即可實現streaming的簡單樣例