storm的bolt實現階段統計
阿新 • • 發佈:2019-02-02
有時候我們的bolt處理統計邏輯時,需要階段統計一下,再把統計結果emit到後面的彙總統計bolt處理,因此需要在本地作一個定時階段的統計,時間滿後再後端的bolt emit資料。
階段統計的bolt實現方法如下:
此bolt還要override一個父類的方法,如下:public void execute(Tuple tuple, BasicOutputCollector collector) { if (TupleHelpers.isTickTuple(tuple)) { //log.info("tick tuple: " + tuple); emitCountingData(collector); } else { countInLocal(tuple); } }
@Override
public Map<String, Object> getComponentConfiguration() {
Map<String, Object> conf = new HashMap<>();
conf.put(Config.TOPOLOGY_TICK_TUPLE_FREQ_SECS, emitFrequencyInSeconds);
return conf;
}
emitFrequencyInSeconds表示階段統計的時間,單位秒。
TupleHelpers的實現如下:
import backtype.storm.Constants; import backtype.storm.tuple.Tuple; public final class TupleHelpers { private TupleHelpers() { } public static boolean isTickTuple(Tuple tuple) { return tuple.getSourceComponent().equals(Constants.SYSTEM_COMPONENT_ID) && tuple.getSourceStreamId().equals(Constants.SYSTEM_TICK_STREAM_ID); } }