基於hadoop搜尋引擎——二級索引檔案     一般生成的倒排表檔案會比原始檔暫用空間大，主要是倒排表檔案所記錄的資訊比較詳細。它記錄了所有的索引詞記錄（TERM_RECORD）資訊，對於常見的關鍵詞（TERM），其MULTI_INFO可能包含幾萬甚至幾十萬個SINGLE_INFO.     由於倒排表檔案很大。系統難以將其在同一時刻全部裝入記憶體；另外一面，使用者在查詢時只會用到幾個TERM及其對應的MULTI_INFO。為了提高查詢速度，將倒排檔案以Hash表的方式儲存在記憶體中，這樣在接受查詢TERM的請求時，可以快速返回對應的MULTI_INFO,因此，本系統將倒排表檔案劃分成若干個字表檔案（每個子表文件包含一部分TERM_RECORD），並建立一個描述TERM和其所在子表文件位置的對應關係的索引檔案（索引詞表）。 1.分割倒排索引檔案     為了保證資料分佈的均衡性，在分隔倒排表檔案時，精良保證字表檔案的大小相差不多。為了達到這一目標，利用MapReduce程式設計模型具有的2階段性，完成對倒排表檔案的分割。      MR程式對資料的處理過程包括Map和Reduce兩個階段。在Map階段結束後，通過分割槽（Partition）過程，Mapper發射出來的資料，Partitioner分配至各個Reducer處理。預設情況下，Partitioner將具有相同的key的<key,value>對傳送至同一個Reduce函式處理。分割倒排表檔案演算法的設計思路是改寫分散式系統提供的Partitioner函式，令其在洗牌過程中將資料均勻分佈給各個Reducer函式，而不是根據key的情況進行分發。Partitiner演算法程式碼如下：

    public class SplitFilePartitioner<K, V> extends Partitioner<K, V> {
    public static int lastID = 0;
    @Override
    public int getPartition(K key, V value, int partitionNum) {
        this.lastID++;
        lastID = (this.lastID % partitionNum);
        return lastID;
    }
}
 

2.生成二級索引檔案     分割後的倒排字表檔案中都互不重複地儲存了倒排檔案的部分資訊。然而，在執行一個查詢TERM的命令時，系統並不知道"TERM_RECORD"儲存在哪個字表中。因此，需要建立一個索引檔案，該檔案儲存每個TERM與其所在字表（包括在字表中位置）的對映關係，具體格式定義如下：     （1）索引檔案（INDEX_FILE）由若干詞及其索引資訊組成。每個詞及其索引資訊是由一個索引詞（TERM）和該詞的索引資訊（INDEX_INFO）組成的，其中TERM和INDEX_INFO之間用空格隔開。索引詞記錄按照順序最佳的方式存放，之間用製表符分隔，表示格式如下：     TERM+'\t'+INDEX_INFO+'\n';     （2）每個詞的索引資訊（INDEX_INFO）由子表編號（TABLE_ID），這條索引記錄相在該子表中德偏移量（OFFSET）組成，其間用空格隔開。表示如下：     INDEX_INFO=TABLE_ID+空格+OFFSET     程式碼如下：    

public static class TokenIndexMapper extends
            Mapper<LongWritable, Text, Text, Text> {

        @Override
        protected void map(LongWritable key, Text value, Context context)
                throws IOException, InterruptedException {
            String line = value.toString();
            FileSplit split = (FileSplit) context.getInputSplit();
            context.write(new Text(line.split("\t")[0]), new Text(split
                    .getPath().toString() + " " + key.get()));
        }
    }

    public static class TokenIndexReducer extends
            Reducer<Text, Text, Text, Text> {
        @Override
        protected void reduce(Text key, Iterable<Text> values, Context context)
                throws IOException, InterruptedException {
            boolean flag = true;
            while (values.iterator().hasNext()) {
                if (flag) {
                    context.write(key, values.iterator().next());
                    flag = false;
                }else{
                    values.iterator().next();
                }
            }
        }
    }
 

    在經過過濾原始檔資料，建立倒排表檔案，生成二級索引檔案等一系列工作之後，整個系統的核心離線工作部分就全部完成了。此後，每當從前臺接收到一個TERM查詢時，本系統首先從索引檔案（INDEX_FILE）中找出這個TERM儲存在什麼子表的位置（INDEX_INFO）；然後開啟對應的子表文件並定位相應的位置，讀出這個TERM及其對應的MULTI_INFO;最後分析MULTI_INFO中每個SINGLE_INFO的資訊，從過濾後的原始檔（FlITERED_SOURCE_FILE）中找出相應的帖子資訊返回即可。 參考文獻： 1.劉鵬，hadoop實戰，電子工業出版社，2011.9