hadoop單元測試方法--使用和增強MRUnit

1前言

hadoop的mapreduce提交到叢集環境中出問題的定位是比較麻煩的，有時需要一遍遍的修改程式碼和打出日誌來排查一個很小的問題，如果資料量大的話除錯起來相當耗時間。因此有必要使用良好的單元測試手段來儘早的消除明顯的bug（當然僅有單元測試是不夠的，畢竟跟叢集的執行環境還是不一樣的）。

然而做mapreduce的單元測試會有一些障礙，比如Map和Reduce一些引數物件是在執行時由hadoop框架傳入的，例如OutputCollector、Reporter、等。這就需要有Mock手段。最初寫mapreduce單元測試的時候自己寫了幾個簡單的

2 MRUnit

MRUnit針對不同測試物件分別使用以下幾種Driver：

lMapDriver，針對單獨的Map測試。

lReduceDriver，針對單獨的Reduce測試。

lMapReduceDriver，將

lPipelineMapReduceDriver，將多個Map-Reduce pair貫串測試。

MapDriver

單獨測試Map的例子，假設我們要計算一個賣家的平均發貨速度。Map將蒐集每一次發貨的時間間隔。針對Map的測試，

//這是被測試的Map

private Map mapper;

private MapDriver<LongWritable, Text, Text, TimeInfo> mapDriver;

@Before

publicvoid setUp() {

mapper = new Map();

mapDriver = new MapDriver<LongWritable, Text, Text, TimeInfo>();

}

@Test

publicvoid testMap_timeFormat2() {

String sellerId = "444";

//模擬輸入一行（withInput），假設從這行資料中我們可以獲得賣家(sellerId)//某一次時間間隔為10小時.

//我們期望它輸出sellerId為key，value為代表1次10小時的TimeInfo物件。//（withOutput）

//如果輸入資料經過Map計算後為期望的結果，那麼測試通過。

Text mapInputValue = new Text("……");

mapDriver.withMapper(mapper)

.withInput(null, mapInputValue)

.withOutput(new Text(sellerId), new TimeInfo(1, 10))

.runTest();

}

ReduceDriver

針對Reduce的單獨測試，還是這個例子。Reduce為根據Map或Combiner輸出的n次時間間隔的總和來計算平均時間。

private Reduce reducer;

@Before

publicvoid setUp() {

reducer = new Reduce();

reduceDriver = new ReduceDriver<Text, TimeInfo, Text, LongWritable>(reducer);

}

@Test

publicvoid testReduce () {

List<TimeInfo> values = new ArrayList<TimeInfo>();

values.add(new TimeInfo(1, 3));//一次3小時

values.add(new TimeInfo(2, 5));//兩次總共5小時

values.add(new TimeInfo(3, 7));//三次總共7小時

//values作為444這個賣家的reduce輸入，

//期望計算出平均為2小時

reduceDriver.withReducer(reducer)

.withInput(new Text("444"), values)

.withOutput(new Text("444"),new LongWritable(2))

.runTest();

}

MapReduceDriver

以下為Map和Reduce聯合測試的例子，

private MapReduceDriver<LongWritable, Text, Text, TimeInfo, Text, LongWritable> mrDriver;

private Map mapper;

private Reduce reducer;

@Before

publicvoid setUp() {

mapper = new Map();

reducer = new Reduce();

mrDriver = new MapReduceDriver<LongWritable, Text, Text, TimeInfo, Text, LongWritable>(mapper, reducer);

}

@Test

publicvoid testMapReduce_3record_1user() {

Text mapInputValue1 = new Text("……");

Text mapInputValue2 = new Text("……");

Text mapInputValue3 = new Text("……");

//我們期望從以上三條Map輸入計算後，

//從reduce輸出得到444這個賣家的平均時間為2小時.

mrDriver.withInput(null, mapInputValue1)

.withInput(null, mapInputValue2)

.withInput(null, mapInputValue3)

.withOutput(new Text("444"),new LongWritable(2))

.runTest();

}