問題需求：現在有某社交網路中的記錄每個使用者的好友的資料集，資料的具體格式如下所示，冒號前為使用者的代號，冒號後面為該使用者的好友的代號，好友之間以逗號分隔。現在需求是根據此資料集，求出任意兩個人之間的共同好友都有誰（好友關係是單向的，也就是說A的好友裡面有E，但是E的好友裡面不一定有A）。例如可以很明顯的看出 A，B使用者的共同好友有：C和E；A，C使用者的共同好友有：D和F；

原始資料：

A:B,C,D,F,E,O
B:A,C,E,K
C:F,A,D,I
D:A,E,F,L
E:B,C,D,M,L
F:A,B,C,D,E,O,M
G:A,C,D,E,F
H:A,C,D,E,O
I:A,O
J:B,O
K:A,C,D
L:D,E,F
M:E,F,G
O:A,H,I,J

使用MapReduce對這個問題進行處理的時候可以通過兩個MapReduce任務完成這個需求：

1、對原始資料進行反轉解析，找出都有誰的好友裡面有該使用者；例如對於原始 A:B,C,D,F,E,O 資料，通過在map task中解析成 < B, A>< C, A>< D,A>< F,A>…的形式，這一系列的鍵值對錶示所有代號為key值的使用者，他的好友裡面都有value值代表的使用者。然後對這些鍵值對在reduce task中對key值相同的鍵值對（< A, B>< A, D>< A, F>…）進行拼接，拼接成< A B,D,F, …>的形式作為第一次MapReduce任務的輸出。

上圖為第一次MapReduce的輸出，以其中的第一行資料（A F,D,O,I,H,B,K,G,C,）為例，這一行資料的含義是：F,D,O,I,H,B,K,G,C 這些使用者的好友裡面都有A。即分隔符後面的所有使用者的好友裡面都有分隔符前面的使用者。

2、根據第一次MapReduce的輸出結果，我們可以很容易的想到，只要把分隔符後面的使用者兩兩任意組合，就可以得到這兩個使用者的一個共同好友。以第一行資料為例，拆分之後可以得到：< F-D , A>, < F-O , A>, < F-I , A> … < D-O , A>,< D-I , A> …然後我們再在reduce task中按照相同的key值對鍵值對進行拼接，就得到了整個資料集中任意兩個使用者之間的共同好友的列表。

以下為兩次MapReduce的實現程式碼

- Step 1：

package com;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

import java.io.IOException;

public class FindCommonFriendsStep1 {
    public static class FindCommonFriendsStep1Mapper extends Mapper<LongWritable, Text, Text, Text> {
        public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            String line = value.toString();     //獲取Mapper端的輸入值
            String[] userAndfriends = line.split(":");      
            String user = userAndfriends[0];        //獲取輸入值中的使用者名稱稱
            String[] friends = userAndfriends[1].split(",");        //獲取輸入值中的好友列表
            for (String friend : friends) {
                context.write(new Text(friend), new Text(user));        //以<B,A><C,A><D,A><F,A>...的格式輸出
            }
        }
    }

    public static class FindCommonFriendsStep1Reducer extends Reducer<Text, Text, Text, Text> {
        public void reduce(Text friend, Iterable<Text> users, Context context) throws IOException, InterruptedException {
            StringBuffer sb = new StringBuffer();
            for (Text user : users) {
                sb.append(user).append(",");        //對鍵值相同的鍵值對<A,B><A,D><A,F>...進行拼接
            }
            context.write(friend, new Text(sb.toString()));     //以<A   B,D,F, ...>的形式寫入到HDFS上，作為中間結果，注意中間是以製表符（\t）分隔開
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();    //獲取引數
        if (otherArgs.length < 2) {
            System.err.println("error");
            System.exit(2);    //如果獲取到的引數少於兩個，報錯之後退出作業
        }
        Job job = Job.getInstance(conf, "find common friends step1");
        job.setJarByClass(FindCommonFriendsStep1.class);    //載入處理主類
        job.setMapperClass(FindCommonFriendsStep1Mapper.class);    //指定Mapper類
        job.setReducerClass(FindCommonFriendsStep1Reducer.class);    //指定Reducer類
        job.setOutputKeyClass(Text.class);    //指定Reducer輸出鍵的型別
        job.setOutputValueClass(Text.class);    //指定Reducer輸出值的型別
        for (int i = 0; i < otherArgs.length - 1; ++i) {
            FileInputFormat.addInputPath(job, new Path(otherArgs[i]));
        }
        FileOutputFormat.setOutputPath(job, new Path(otherArgs[otherArgs.length - 1]));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

- Step 2：

package com;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

import java.io.IOException;
import java.util.Arrays;

public class FindCommonFriendsStep2 {
    public static class FindCommonFriendsStep2Mapper extends Mapper<LongWritable, Text, Text, Text> {
        public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            String line = value.toString();
            String[] friendAndusers = line.split("\t");
            String friend = friendAndusers[0];
            String[] users = friendAndusers[1].split(",");
            Arrays.sort(users);    // 下面的迴圈實現了對分隔符之後的任意兩個使用者的拼接，並作為新的key值生成鍵值對
            for (int i = 0; i < users.length - 2; i++) {    
                for (int j = i + 1; j < users.length - 1; j++) {
                    context.write(new Text("[" + users[i] + "-" + users[j] + "]:"), new Text(friend));
                }
            }
        }
    }

    public static class FindCommonFriendsStep2Reducer extends Reducer<Text, Text, Text, Text> {
        public void reduce(Text user, Iterable<Text> friends, Context context) throws IOException, InterruptedException {
            StringBuffer sb = new StringBuffer();
            for (Text friend : friends) {
                sb.append(friend).append(",");    //對key值相同的鍵值對進行拼接
            }
            context.write(user, new Text(sb.toString()));
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
        if (otherArgs.length < 2) {
            System.err.println("error");
            System.exit(2);
        }
        Job job = Job.getInstance(conf, "find common friends step2");
        job.setJarByClass(FindCommonFriendsStep2.class);
        job.setMapperClass(FindCommonFriendsStep2Mapper.class);
        job.setReducerClass(FindCommonFriendsStep2Reducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);
        for (int i = 0; i < otherArgs.length - 1; ++i) {
            FileInputFormat.addInputPath(job, new Path(otherArgs[i]));
        }
        FileOutputFormat.setOutputPath(job, new Path(otherArgs[otherArgs.length - 1]));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}