1. 程式人生 > >storm的bolt實現階段統計

storm的bolt實現階段統計

有時候我們的bolt處理統計邏輯時,需要階段統計一下,再把統計結果emit到後面的彙總統計bolt處理,因此需要在本地作一個定時階段的統計,時間滿後再後端的bolt emit資料。

階段統計的bolt實現方法如下:

    public void execute(Tuple tuple, BasicOutputCollector collector) {
        if (TupleHelpers.isTickTuple(tuple)) {
            //log.info("tick tuple: " + tuple);
            emitCountingData(collector);
        } else {
            countInLocal(tuple);
        }
    }
此bolt還要override一個父類的方法,如下:
    @Override
    public Map<String, Object> getComponentConfiguration() {
        Map<String, Object> conf = new HashMap<>();
        conf.put(Config.TOPOLOGY_TICK_TUPLE_FREQ_SECS, emitFrequencyInSeconds);
        return conf;
    }
emitFrequencyInSeconds表示階段統計的時間,單位秒。

TupleHelpers的實現如下:

import backtype.storm.Constants;
import backtype.storm.tuple.Tuple;

public final class TupleHelpers {
    private TupleHelpers() {
    }

    public static boolean isTickTuple(Tuple tuple) {
        return tuple.getSourceComponent().equals(Constants.SYSTEM_COMPONENT_ID)
                && tuple.getSourceStreamId().equals(Constants.SYSTEM_TICK_STREAM_ID);
    }
}