1. 程式人生 > >hadoop 多文件夾輸入,map到reduce怎樣排序

hadoop 多文件夾輸入,map到reduce怎樣排序

spa 多文件 處理 class ack con clas -m pop

使用MultipleInputs.addInputPath 對多個路徑輸入 如今如果有三個文件夾,並使用了三個mapper去處理, 經過map處理後,輸出的結果會依據key 進行join, 假設使用TextPair,會依據第一個字段jion。第二個字段排序 然後在作為reduce的輸入,進行計算



hadoop 多文件夾輸入,map到reduce怎樣排序