2. 程式人生 > >Intellij IDEA遠端向hadoop叢集提交mapreduce作業

Intellij IDEA遠端向hadoop叢集提交mapreduce作業

阿新 • • 發佈：2018-12-31

說明

安裝配置

1、首先將叢集上的hadoop環境下載到本地，本文是下載到“E:\javaws”。
2、在本地配置環境變數

HADOOP_HOME=D:\yangjm\Code\study\hadoop\hadoop-2.6.0
HADOOP_BIN_PATH=%HADOOP_HOME%\bin
HADOOP_PREFIX=D:\yangjm\Code\study\hadoop\hadoop-2.6.0
另外，PATH變數在最後追加;%HADOOP_HOME%\bin

3、去網上下載對應hadoop版本的hadoop.dll、winutils.exe，分別放到目錄“C:\Windows\System32”和“$HADOOP_HOME\bin”下。
說明：hadoop.dll主要是防止外掛報各種莫名錯誤，比如空物件引用，我本來以為intellij idea不需要安裝，結果被空指標錯誤拖了很久。
4、修改本地的hosts檔案。在目錄“C:\Windows\System32\drivers\etc”下。
新增叢集的ip地址和hostname的對應關係。hosts的具體作用這裡不再細說。
在該檔案中新增：

192.168.137.2 master
192.168.137.3 slave1
192.168.137.4 slave2

5、在intellij idea下新建maven專案
我最終的專案結構圖如下所示，注意是最終
這裡寫圖片描述
其中，gkd.xgs.yxm是我的package，裡面是WordCount.java程式。
resources是我新建的資料夾，裡面需要存放hadoop叢集中配置檔案core-site.xml、mapred-site.xml、yarn-site.xml，此外，將log4j.properties檔案也放在下面。
resources目錄結構如下圖：
這裡寫圖片描述
其中core-site.xml、mapred-site.xml、yarn-site.xml我都是直接複製的叢集中的檔案未做修改，log4j.properties配置複製的別人的也未做修改：
core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
 

</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>file:/usr/local/hadoop-2.6.0/tmp</value>
    <description>Abase for other temporary directories.</description>
</property>
</configuration>

mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:10020</value>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>master:19888</value>
</property>
    <property>
        <name>mapred.remote.os</name>
        <value>Linux</value>
        <description>Remote MapReduce framework's OS, can be either Linux or Windows</description>
    </property>

</configuration>

yarn-site.xml

<?xml version="1.0"?>
<configuration>

<!-- Site specific YARN configuration properties -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
</configuration>

log4j.properties

log4j.rootLogger=INFO, stdout
#log4j.logger.org.springframework=INFO
#log4j.logger.org.apache.activemq=INFO
#log4j.logger.org.apache.activemq.spring=WARN
#log4j.logger.org.apache.activemq.store.journal=INFO
#log4j.logger.org.activeio.journal=INFO


log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d{ABSOLUTE} | %-5.5p | %-16.16t | %-32.32c{1} | %-32.32C %4L | %m%n
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>gkd.xgs.yxm</groupId>
  <artifactId>WordC</artifactId>
  <version>1.0-SNAPSHOT</version>
  <packaging>jar</packaging>

  <name>WordC</name>
  <url>http://maven.apache.org</url>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  </properties>
  <repositories>
    <repository>
      <id>alimaven</id>
      <name>aliyun maven</name>
      <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
      <releases>
        <enabled>true</enabled>
      </releases>
      <snapshots>
        <enabled>false</enabled>
      </snapshots>
    </repository>
    <repository>
      <id>oschina</id>
      <name>oschina maven</name>
      <url>http://maven.oschina.net/content/groups/public/</url>
    </repository>
    <repository>
      <id>central</id>
      <name>central maven</name>
      <url>http://repo1.maven.org/maven2/</url>
    </repository>
    <repository>
      <id>Akka repository</id>
      <url>http://repo.akka.io/releases</url>
    </repository>
    <repository>
      <id>hadoop-pcap</id>
      <url>http://dl.bintray.com/hadoop-pcap/hadoop-pcap</url>
    </repository>
  </repositories>
  <dependencies>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-common</artifactId>
      <version>2.6.0</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-mapreduce-client-core</artifactId>
      <version>2.6.0</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-hdfs</artifactId>
      <version>2.6.0</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-mapreduce-client-jobclient</artifactId>
      <version>2.6.0</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-mapreduce-client-common</artifactId>
      <version>2.6.0</version>
    </dependency>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>3.8.1</version>
      <scope>test</scope>
    </dependency>
  </dependencies>
  <build>
    <plugins>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-assembly-plugin</artifactId>
        <version>2.5.5</version>
        <configuration>
          <archive>
            <manifest>
              <addClasspath>true</addClasspath>
              <classpathPrefix>lib/</classpathPrefix>

              <mainClass>gkd.xgs.yxm.WordCount</mainClass>

            </manifest>
          </archive>
          <descriptorRefs>
            <descriptorRef>jar-with-dependencies</descriptorRef>
          </descriptorRefs>
        </configuration>
        <executions>
          <execution>
            <id>make-assembly</id>
            <phase>package</phase>
            <goals>
              <goal>single</goal>
            </goals>
          </execution>
        </executions>
      </plugin>
    </plugins>
  </build>
</project>

說明：需要修改其中的 mainClass中的值，該值是用來指明入口類，格式為：包名.類名，其他的可以複製貼上。
7、新增library（感覺非必須，因為mvn中已經在pom.xml中添加了hadoop相關的依賴）
將本地hadoop2.6.0下的share目錄下的所有資料夾新增進來，具體步驟可以參考：http://www.cnblogs.com/yjmyzz/p/how-to-remote-debug-hadoop-with-eclipse-and-intellij-idea.html
8、設定執行環境
這裡寫圖片描述
說明：
（1）mainclass跟在pom.xml中設定的一樣，格式都是：包名.類名
（2）program arguments：檢視WordCount.java程式可知,執行程式時需要兩個引數，一個是輸入檔案，一個是結果輸出路徑。
我的第一個引數是：hdfs://master:9000/user/yxm/input/yxm.log
第二個引數是hdfs://master:9000/user/yxm/output
其中第一個路徑及檔案必須是已經存在的，第二個引數中的output目錄是不存在的。
（3）Working directory:工作路徑，選擇你本地安裝的hadoop2.6.0的路徑，比如我這裡是：E:\javaws\hadoop-2.6.0。
9、修改WordCount.java程式
新增以下程式碼

System.setProperty("hadoop.home.dir", "E:\\javaws\\hadoop-2.6.0");//如果沒有這句話，會報找不到winutils.exe的錯誤，也不知道是不是由於我修改了環境變數之後沒有重啟的原因。
        Configuration conf = new Configuration();
        conf.set("fs.default.name", "hdfs://master:9000");
        conf.set("mapreduce.app-submission.cross-platform", "true");//意思是跨平臺提交，在windows下如果沒有這句程式碼會報錯 "/bin/bash: line 0: fg: no job control"，去網上搜答案很多都說是linux和windows環境不同導致的一般都是修改YarnRunner.java，但是其實添加了這行程式碼就可以了。
        conf.set("mapreduce.framework.name", "yarn");//叢集的方式執行，非本地執行。

10、打包此程式
直接使用mvn package打包，在target程式中會生成包含依賴可以直接執行的程式：WordC-1.0-SNAPSHOT-jar-with-dependencies.jar，我將此jar檔案複製到了工程根目錄下。
此時在WordCount.java程式中新增一行程式碼

conf.set("mapred.jar","E:\\javaws\\WordC\\WordC-1.0-SNAPSHOT-jar-with-dependencies.jar");

此時點選執行，可以成功。
這裡寫圖片描述
說明：
（1）如果不打包新增到程式中還是會報錯：No job jar file set. User classes may not be found. See Job or Job#setJar(String)。
（2）查詢別人的配置教程，一般就是將jar檔案直接放在根目錄下，配置時不寫絕對路徑，程式碼為：

conf.set("mapred.jar","WordC-1.0-SNAPSHOT-jar-with-dependencies.jar");

我這邊執行的時候會報錯找不到該jar檔案。
11、最終WordCount.java的程式碼

package gkd.xgs.yxm;

import java.io.IOException;
import java.util.StringTokenizer;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;


public class WordCount {


    public static class TokenizerMapper
            extends Mapper<Object, Text, Text, IntWritable> {


        private final static IntWritable one = new IntWritable(1);
        private Text word = new Text();


        public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
            StringTokenizer itr = new StringTokenizer(value.toString());
            while (itr.hasMoreTokens()) {
                word.set(itr.nextToken());
                context.write(word, one);
            }
        }
    }


    public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
        private IntWritable result = new IntWritable();


        public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable val : values) {
                sum += val.get();
            }
            result.set(sum);
            context.write(key, result);
        }
    }


    public static void main(String[] args) throws Exception {
        System.setProperty("hadoop.home.dir", "E:\\javaws\\hadoop-2.6.0");
        Configuration conf = new Configuration();
        conf.set("fs.default.name", "hdfs://master:9000");
        conf.set("mapreduce.app-submission.cross-platform", "true");
        conf.set("mapreduce.framework.name", "yarn");
        conf.set("mapred.jar","E:\\javaws\\WordC\\WordC-1.0-SNAPSHOT-jar-with-dependencies.jar");
        String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
        if (otherArgs.length < 2) {
            System.err.println("Usage: wordcount <in> [<in>...] <out>");
            System.exit(2);
        }
        Job job = Job.getInstance(conf, "word count");
        job.setJarByClass(WordCount.class);
        job.setMapperClass(TokenizerMapper.class);
        job.setCombinerClass(IntSumReducer.class);
        job.setReducerClass(IntSumReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        for (int i = 0; i < otherArgs.length - 1; ++i) {
            FileInputFormat.addInputPath(job, new Path(otherArgs[i]));
        }
        FileOutputFormat.setOutputPath(job,
                new Path(otherArgs[otherArgs.length - 1]));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

相關推薦

Intellij IDEA遠端向hadoop叢集提交mapreduce作業

說明 安裝配置 1、首先將叢集上的hadoop環境下載到本地，本文是下載到“E:\javaws”。 2、在本地配置環境變數 HADOOP_HOME=D:\yangjm\Code\study\hadoop\hadoop-2.6.0 HADOOP_B

windows下idea中搭建hadoop開發環境，向遠端hadoop叢集提交mapreduce任務

1.下載hadoop2.6.0-cdh5.6.1,解壓並安裝 公司用的hadoop叢集版本是hadoop2.6.0-cdh5.6.1，防止版本衝突，所有的hadoop版本號都用了這個。 下載地址：http://archive.cloudera.com/cdh

IDEA向hadoop叢集提交作業

1. 說明 2. 配置本機hadoop環境 2.1解壓hadoop-2.6.1.tar.gz至任意一個目錄 我這裡選擇將其解壓到E:\java\hadoop-2.6.1目錄下。 2.2設定hadoop環境變數 注意HADOOP_USER

通過Idea遠端除錯Hadoop叢集

      早期的開發中經常用eclipse遠端除錯Hadoop叢集，近期Idea的市場佔有率逐漸增加，本文介紹如何在通過Idea遠端除錯Hadoop叢集。 一、工程截圖 二、操作流程 Idea中新建專案 將h

IntelliJ IDEA 遠端除錯Hadoop

開發環境   IntelliJ IDEA 2017.1.3  JDK VERSION  jdk 1.8 Hadoop 版本 hadoop1.0.0 虛擬機器 完全分散式  node1172.16.20.101  master  node2172.16.20.102  sl

配置IDEA開發環境向遠端叢集提交MapReduce應用

本文的主要目的 本文主要記錄了通過windows10上的IDEA向遠端HADOOP叢集提交應用的配置過程。 安裝配置HADOOP叢集 略 安裝配置IDEA 略 配置windows端HADOOP客戶端 複製叢集中的hadoop資料夾到windows，作為

Hadoop實踐（二）---叢集和開發環境搭建（Intellij IDEA & Maven 開發Hadoop）

1. 開發環境準備 1. Hadoop叢集安裝 2. Maven安裝 3. Intellij IDEA安裝 2. 建立專案 1. 建立Maven專案 2. 輸入GroupId 和 ArtifactId 新建專案後有提示

IntelliJ IDEA遠端除錯Tomcat

博主說 在除錯程式碼的過程中，為了更好的定位及解決問題，有時候需要我們使用遠端除錯的方法。在本文中，就讓我們一起來看看，如何利用 IntelliJ IDEA 進行遠端 Tomcat 除錯的配置。 服務端Tomcat配置（Linux） 進入服務端Tomc

[IDE][IDEA小技巧系列]Intellij IDEA遠端除錯

配置 idea  Edit Configurations  從左側新增一個Remote 新增完畢後在右側的設定位 Command Line arguments for running remote JVM需要進行設定 -agentlib:jdwp=transport

簡單明瞭IntelliJ IDEA 遠端除錯 Tomcat 的方法

首先，配置remote： 點選Edit Configurations，進入如下介面： 我們進入了Run/Debug Configurations介面，然後點選左上角的+，選擇Remote： 標註 3：除錯模式，預設為Attach； 標註 4

12--配置IDEA遠端除錯Hadoop程式（Hadoop HA下）

public class MyUtils { public static void deleteDir(Configuration conf, String dirPath) throws IOException{ FileSystem fs=FileSystem.get(conf)

IntelliJ Idea 遠端除錯Java服務

1、背景 在很多情況下，服務端程式部署在遠端，某部分邏輯出現問題時，不停地對程式碼修改，增加log查出問題根源。但是，有些服務啟動時間較長、不斷的打包、上傳、測試會令人非常頭疼。因此，可以使用遠端除錯的方式對遠端部署的服務除錯。 2、準備 idea ID

Intellij IDEA遠端debug教程實戰和要點總結

遠端除錯，特別是當你在本地開發的時候，你需要除錯伺服器上的程式時，遠端除錯就顯得非常有用。  JAVA 支援除錯功能，本身提供了一個簡單的除錯工具JDB，支援設定斷點及執行緒級的除錯同時，不同的JVM通

Intellij idea遠端連線主機資源庫

Intellij idea的功能很強大，下面給大家介紹Intellij idea一個不為人知的強大功能。遠端連線主機資源庫。（相當於XManager Enterprise等一些上傳更新檔案至伺服器的軟體） 1.開啟Intellij idea，選中file—

在阿里雲伺服器上快速搭建JavaWeb環境（安裝JDK、Tomcat、MySQL）+Intellij IDEA遠端部署除錯tomcat

首先介紹一下我的的伺服器的系統是Ubuntu 16.04 64位 ide用了Intellij IDEA JDK8 Tomcat8 MySQL5.7 一、先下載JDK 8 1、JDK8 # sudo apt-get install openjdk-8

向HTCondor叢集提交LS-DYNA任務

submit檔案 #################### # # Exampl

IntelliJ IDEA遠端連線tomcat，實現單步除錯

web專案部署到tomcat上之後，有時需要打斷點單步除錯，如果用的是Intellij idea，可以通過如下方法實現： 開啟de

IntelliJ IDEA遠端Debug Linux的Java程式，找問題不要只會看日誌了

# 1 前言 > 歡迎訪問[南瓜慢說 www.pkslow.com](https://www.pkslow.com/)獲取更多精彩文章！ 我們習慣於在本地開發的時候`debug`，能快速定位與解決問題，那部署在伺服器上是不是就沒有辦法了呢？只能通過檢視日誌來定位？ 不是的，在遠端的伺服器上，我們

[轉]hadoop運行mapreduce作業無法連接0.0.0.0/0.0.0.0:10020

temp ide 屬性 增加 mes 時間 kerberos 動態更新 lap 14/04/04 17:15:12 INFO mapreduce.Job: map 0% reduce 0% 14/04/04 17:19:42 INFO mapreduce.Job: ma

元資料與資料治理｜Intellij IDEA提交遠端Hadoop MapReduce任務（第八篇）

1.新建IntelliJ下空的的maven專案 直接next即可。 2.配置依賴 編輯pom.xml檔案，新增apache源和hadoop依賴 基礎依賴hadoop-core和hadoop-common； 讀寫HDFS，需要依賴hadoop-hdfs和hadoop-client