2. 程式人生 > >MapReduce入門（三）倒排索引

MapReduce入門（三）倒排索引

阿新 • • 發佈：2018-12-15

什麼是倒排索引？

           倒排索引源於實際應用中需要根據屬性的值來查詢記錄。這種索引表中的每一項都包括一個屬性值和具有該屬性值的各記錄的地址。由於不是由記錄來確定屬性值，而是由屬性值來確定記錄的位置，因而稱為倒排索引(inverted index)。帶有倒排索引的檔案我們稱為倒排索引檔案，簡稱倒排檔案(inverted file)。

我感覺搜尋引擎的原理就是倒排索引，或者正排索引。那麼就讓我們解密吧！

一、建立ReverseApp類：用於實現實現倒排索引

package com.day02;

import com.google.common.io.Resources;
import com.utils.CDUPUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;
import java.util.Iterator;

/**
 * 用MapReduce實現倒排索引
 */
public class ReverseApp {
    public static class ReverseMapper extends Mapper<LongWritable,Text,Text, Text> {
        //map方法每次執行一行資料，會被迴圈呼叫map方法（有多少行就呼叫多少次）
        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            //獲取key所在的檔名
            Path path = ((FileSplit) context.getInputSplit()).getPath();
            String fileName = path.toString();
            String[] strings = value.toString().split(" ");
            for (int i = 0; i < strings.length; i++) {
                context.write(new Text(strings[i]),new Text(fileName));
            }
        }
    }

    public static class ReverseReducer extends Reducer<Text, Text, Text, Text> {
        //每次處理一個key,會被迴圈呼叫，有多少個key就會呼叫幾次
        //獲取map處理的資料 hello 集合（用於儲存key相同的value--1）
        @Override
        protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
            Iterator<Text> iterator = values.iterator();
            StringBuffer buffer = new StringBuffer();
            while (iterator.hasNext()) {
                Text fileName = iterator.next();
                StringBuffer append = buffer.append(fileName.toString()).append("--");
            }
            context.write(key,new Text(String.valueOf(buffer)));
        }
    }

    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        Configuration coreSiteConf = new Configuration();
        coreSiteConf.addResource(Resources.getResource("core-site-master2.xml"));
        //設定一個任務,後面是job的名稱
        Job job = Job.getInstance(coreSiteConf, "Reverse");
        //將打的jar包自動上傳臨時目錄，執行之後就刪除了--自己看不到
        job.setJar("mrdemo/target/mrdemo-1.0-SNAPSHOT.jar");

        //設定Map和Reduce處理類
        job.setMapperClass(ReverseMapper.class);
        job.setReducerClass(ReverseReducer.class);

        //設定map輸出型別
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(Text.class);
        //設定job/reduce輸出型別
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);
        //設定任務的輸入路徑
        FileInputFormat.addInputPath(job, new Path("/wc"));
        //設定任務的輸出路徑--儲存結果(這個目錄必須是不存在的目錄)
        //刪除存在的檔案
        CDUPUtils.deleteFileName("/reout");

        FileOutputFormat.setOutputPath(job, new Path("/reout"));
        //執行任務 true：表示列印詳情
        boolean flag = job.waitForCompletion(true);
        if (flag){
            System.out.println("使用mapreduce來倒排索引操作的結果...");
            CDUPUtils.readContent("/reout/part-r-00000");
        }else {
            System.out.println(flag+",檔案載入失敗");
        }
    }
}

二、裡面用到自己寫的工具類CDUPUtils ：用於刪除已存在目錄以及閱讀檔案內容

package com.utils;   import com.google.common.io.Resources; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path;   import java.io.IOException; import java.io.InputStreamReader; import java.io.LineNumberReader; import java.util.ArrayList;   public class CDUPUtils {     //刪除已經存在在hdfs上面的檔案檔案     public static void deleteFileName(String path) throws IOException {         //將要刪除的檔案         Path fileName = new Path(path);         Configuration entries = new Configuration();         //解析core-site-master2.xml檔案         entries.addResource(Resources.getResource("core-site-local.xml"));         //coreSiteConf.set(,);--在這裡可以新增配置檔案         FileSystem fileSystem = FileSystem.get(entries);         if (fileSystem.exists(fileName)){             System.out.println(fileName+"已經存在，正在刪除它...");             boolean flag = fileSystem.delete(fileName, true);             if (flag){                 System.out.println(fileName+"刪除成功");             }else {                 System.out.println(fileName+"刪除失敗!");                 return;             }         }         //關閉資源         fileSystem.close();     }       //讀取檔案內容     public static void readContent(String path) throws IOException {         //將要讀取的檔案路徑         Path fileName = new Path(path);         ArrayList<String> returnValue = new ArrayList<String>();         Configuration configuration = new Configuration();         configuration.addResource(Resources.getResource("core-site-local.xml"));         //獲取客戶端系統檔案         FileSystem fileSystem = FileSystem.get(configuration);         //open開啟檔案--獲取檔案的輸入流用於讀取資料         FSDataInputStream inputStream = fileSystem.open(fileName);         InputStreamReader inputStreamReader = new InputStreamReader(inputStream);         //一行一行的讀取資料         LineNumberReader lineNumberReader = new LineNumberReader(inputStreamReader);         //定義一個字串變數用於接收每一行的資料         String str = null;         //判斷何時沒有資料         while ((str=lineNumberReader.readLine())!=null){             returnValue.add(str);         }         //列印資料到控制檯         System.out.println("MapReduce演算法操作的檔案內容如下：");         for (String read :                 returnValue) {             System.out.println(read);         }         //關閉資源         lineNumberReader.close();         inputStream.close();         inputStreamReader.close();     } }

三、配置檔案：cort-site-master2.xml--注意裡面的主機IP需要填寫自己的

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.228.13:9000</value>
    </property>
    <property>
        <name>fs.hdfs.impl</name>
        <value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
    </property>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>192.168.228.13:8030</value>
    </property>
    <property>
        <name>mapreduce.app-submission.cross-platform</name>
        <value>true</value>
    </property>

    <property>
        <description>The address of the applications manager interface in the RM.</description>
        <name>yarn.resourcemanager.address</name>
        <value>192.168.228.13:8032</value>
    </property>
    <property>
        <description>The address of the scheduler interface.</description>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>192.168.228.13:8030</value>
    </property>
    <property>
        <description>The http address of the RM web application.</description>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>192.168.228.13:8088</value>
    </property>
    <property>
        <description>The https adddress of the RM web application.</description>
        <name>yarn.resourcemanager.webapp.https.address</name>
        <value>192.168.228.13:8090</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>192.168.228.13:8031</value>
    </property>
    <property>
        <description>The address of the RM admin interface.</description>
        <name>yarn.resourcemanager.admin.address</name>
        <value>192.168.228.13:8033</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

四、pom中新增的依賴

<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0"          xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"          xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">     <modelVersion>4.0.0</modelVersion>       <groupId>com.zhiyou100</groupId>     <artifactId>mrdemo</artifactId>     <version>1.0-SNAPSHOT</version>       <properties>         <org.apache.hadoop.version>2.7.5</org.apache.hadoop.version>     </properties>       <!--分散式計算-->     <dependencies>         <dependency>             <groupId>org.apache.hadoop</groupId>             <artifactId>hadoop-mapreduce-client-core</artifactId>             <version>${org.apache.hadoop.version}</version>         </dependency>             <dependency>                 <groupId>org.apache.hadoop</groupId>                 <artifactId>hadoop-mapreduce-client-common</artifactId>                 <version>${org.apache.hadoop.version}</version>             </dependency>             <dependency>                 <groupId>org.apache.hadoop</groupId>                 <artifactId>hadoop-mapreduce-client-jobclient</artifactId>                 <version>${org.apache.hadoop.version}</version>             </dependency>           <!--分散式儲存-->         <dependency>             <groupId>org.apache.hadoop</groupId>             <artifactId>hadoop-common</artifactId>             <version>${org.apache.hadoop.version}</version>         </dependency>         <dependency>             <groupId>org.apache.hadoop</groupId>             <artifactId>hadoop-hdfs</artifactId>             <version>${org.apache.hadoop.version}</version>         </dependency>

           <!--資料庫驅動-->
          <dependency>
              <groupId>mysql</groupId>
              <artifactId>mysql-connector-java</artifactId>
             <version>5.1.46</version>
          </dependency>        </dependencies>
</project>

五、測試：在本地將jar包自動上傳到hdfs上執行，（執行時間長）

在hdfs上保證

1.有/wc資料夾--資料夾中的檔案內容以空格隔開

例如：我在/wc目錄下有一個a.txt，a.txt中內容如下

2.在hdfs上保證沒有/reout目錄

在打jar包之前需要將第三方jar包放在lib中（在resources中建立lib檔案），再打包。

以上操作之後在本地直接執行（右擊Run），就會出現類似下面的內容

相關推薦

MapReduce入門（三）倒排索引

什麼是倒排索引？            倒排索引源於實際應用中需要根據屬性的值來查詢記錄。這種索引表中的每一項都包括一個屬性值和具有該屬性值的各記錄的地址。由於不是由記錄來確定屬性值，而是由屬性值來確定記錄的位置，因而稱為倒排索引(inverted index)。帶有倒排索

mapreduce系列（6）---倒排索引的建立

一、概述 如我們有三個檔案： a.txt,b.txt,c.txt tian jun li lei han meimei li lei han meimei li lei han meimei tian jun gege jiejie tian jun

【Elasticsearch 7 探索之路】（三）倒排索引

上一篇，我們介紹了 ES 文件的基本 CURE 和批量操作。我們都知道倒排索引是搜尋引擎非常重要的一種資料結構，什麼是倒排索引，倒排索引的原理是什麼。 1 索引過程 在講解倒排索引前，我們先了解索引建立，下圖是 Elasticsearch 中資料索引過程的流程。 從上圖可以看到，文件未在 ES 中進行索引

MapReduce框架學習（4）——倒排索引程式實戰

參考： JeffreyZhou的部落格園 《Hadoop權威指南》第四版 0 倒排索引（Inverted Index） 前面我們執行過WordCount例子，得到的單詞計數結果，如果輸入3篇文件，得到

小實踐（5）倒排索引

背景         搜尋引擎通常都會建立關鍵字的倒排索引，由關鍵字為index，後面跟著包含該關鍵字的網頁，本次使用模擬資料，簡要嘗試一下，建立倒排索引的過程。資料：第一個元素為書名字，後面以空格分割，為書的關鍵字。spark版本：<dependency>

海量資料處理專題（八）——倒排索引(搜尋引擎之基石)(轉)

引言：在資訊大爆炸的今天，有了搜尋引擎的幫助，使得我們能夠快速，便捷的找到所求。提到搜尋引擎，就不得不說VSM模型，說到VSM，就不得不聊倒排索引。可以毫不誇張的講，倒排索引是搜尋引擎的基石。VSM檢索模型VSM全稱是Vector Space Model(向量空間模型)，是IR(Information Ret

ElasticSearch最佳入門實踐（三十九）倒排索引核心原理揭祕

1、例子，兩段文字 doc1：I really liked my small dogs, and I think my mom also liked them doc2：He never liked any dogs, so I hope that my m

ElasticSearch最佳入門實踐（六十六）倒排索引組成結構以及其索引可變原因

倒排索引，是適合用於進行搜尋的 倒排索引的結構 （1）包含這個關鍵詞的document list （2）包含這個關鍵詞的所有document的數量：IDF（inverse document frequency） （3）這個關鍵詞在每個document中出現的次數：TF（ter

hadoop入門筆記MapReduce簡介（三）

today 信息 編程模型 cut 大型 狀態 參數 dfs 好處 . MapReduce基本編程模型和框架 1.1 MapReduce抽象模型 大數據計算的核心思想是：分而治之。如下圖1所示。把大量的數據劃分開來，分配給各個子任務來完成。再將結果合並到一起輸出。 註：如果

Lucene 初學者實戰（二）正排索引與倒排索引

Lucene：基於傳統全文檢索引擎的倒排索引，並實現了分塊索引。與倒排所引相對立的是正排索引，也成為正向所引。本文將簡單介紹。 1 正排索引（forward index） 由key查詢實體的過程，是正排索引. 在搜尋引擎中每個檔案都對應一個檔案ID，檔案內容被表示為一

Storm入門（三）HelloWorld示例

right 出現 9.png context color tro order tput 執行 一、關聯代碼 使用maven，代碼如下。 pom.xml <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:x

java加密算法入門（三）-非對稱加密詳解

共享數據 net clas 實例 查看 安全性 自己的 generator mir 1、簡單介紹 這幾天一直在看非對稱的加密，相比之前的兩篇內容，這次看了兩倍多的時間還雲裏霧裏的，所以這篇文章相對之前的兩篇，概念性的東西多了些，另外是代碼的每一步我都做了介紹，方便自己以後

Linux入門（三）

ls cat hwclock cd date echo Linux常用命令： Linux文件系統： 1.文件名名稱嚴格區分大小寫 2.文件可以使用除/意外的任意字符；不建議使用特殊字符 3.文件名長度不能超過255個字符 4. 以. 開頭的文件為隱藏文件 工作目錄：workin

Bootstrap入門（三）：Less

樣式 ttr edi local 編輯 修改文件 方便 code b2c 很多時候我們需要定制Bootstrap的樣式，然後根制入門初步中，每次都定制網頁（http://v3.bootcss.com/customize/）生成我們需要的Css是一件很麻煩又不方便的事件。幸好

leaflet入門（三）使用GeoJSON創建矢量圖形

onf ack type play coo bus blog content roc 點對象： function g(feature, layer) { // does this feature have a property named popu

Spring入門（三）之IoC

使用 bsp martin 需要 容器 nbsp 依賴註入 tin 這就是 一、IoC定義 　　IoC，即控制反轉。開發者在使用類的實例之前，需要先創建對象的實例。但是IoC將創建實例的任務交給IoC容器，這樣開發應用代碼時只需要直接使用類的實例，這就是IoC。在討論控制反

吉他入門（三）

入門 strong 一個 nbsp 吉他 音符 str bsp ron 節奏1: | 0 0 0 0| 每個0代表四分音符，以四分音符為一拍每小節一拍 節奏2 | _0_ _0_ _0_ _0_ _0_. _

HTML入門（三）後臺系統顯示頁面_框架標簽

row http head span 技術分享 target html top logs <!DOCTYPE html> <html> <head> <meta charset="UTF-8">

react 入門（三）

復選框 sta 執行 ava ... 初始 targe 對象 mount <!DOCTYPE html> <html lang="en"> <head> <meta charset="utf-8"> <

ZooKeeper入門（三） ZooKeeper數據模型

每次 con ges 可用 同文件 2.3 per 而是 創建時間 1 簡述 ZooKeeper可以看成一種高可用性的文件系統，但是，它沒有文件和目錄，而是使用節點，稱為znode。 znode可以作為保存數據的容器（如同文件），也可以作為保存其他節點的容器（如同目錄）。