下載

在下面的地址下載位元組需要的版本，如果是windows下建議先下載hadoop windows工具包看一下現在支援哪些版本，然後選擇對應的hadoop版本。

hadoop下載 hadoop windows工具包

下載完之後解壓：

					hadoop windows工具包可選版本

					hadoop windows工具包bin目錄

					hadoop根目錄

					hadoop bin目錄

使用hadoop工具包的bin目錄覆蓋hadoop的bin目錄，注意對應版本，一般大版本對上基本就沒有問題。覆蓋之前最好先備份。

配置檔案

core-site.xml

<configuration>
    <property>       
        <name>fs.defaultFS</name>       
        <value>hdfs://localhost:9000</value>   
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/G:/datacenter/data30/tmp</value>
    </property>
</configuration>
 

主要配置的是hdfs這個檔案系統的訪問介面和臨時目錄。

hdfs-site.xml

<configuration>
    <property>       
        <name>dfs.replication</name>       
        <value>1</value>   
    </property>   
    <property>       
        <name>dfs.namenode.name.dir</name>       
        <value>/G:/datacenter/data30/namenode</value>   
    </property>   
    <property>       
        <name>dfs.datanode.data.dir</name>     
        <value>/G:/datacenter/data30/datanode</value>   
    </property>
</configuration>
 

配置hdfs系統的namenode目錄和datanode目錄。

mapred-site.xml

<configuration>   
    <property>       
        <name>mapreduce.framework.name</name>       
        <value>yarn</value>   
    </property>
</configuration>

yarn-site.xml

<configuration>   
    <property>       
        <name>yarn.nodemanager.aux-services</name>       
        <value>mapreduce_shuffle</value>   
    </property>   
    <property>       
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>   
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>   
    </property>
</configuration>
 

這裡的yarn不是打包工具，而是一個資源排程器，YARN只提供運算資源的排程，使用者程式向YARN申請資源，YARN就負責分配資源。

YARN中的主管角色叫ResourceManager，YARN中具體提供運算資源的角色叫NodeManager。

啟動

把winutil的bin目錄拷貝到hadoop的bin目錄下，直接執行替換操作，建議替換之前先備份。然後把hadoop.dll動態連結檔案拷貝一份到C:\Windows\System32目錄下。

替換完成之後先配置一下環境變數，假設已經配置了JAVA的環境變數，就只需要配置HADOOP_HOME，指向hadoop的解壓目錄就可以了，然後path中加上hadoop的bin和sbin目錄。

記得前面建立的目錄，現在要先格式化hadoop：

hadoop namenode -format
hdfs namenode -format

上面2個命令任意一個，推薦下面一個，格式化成功之後，前面配置的namenode目錄下會出現一個current資料夾。

現在就可以執行start-all.cmd指令碼了，當然也可以先執行start-hdfs.xml，然後執行start-yarn.xml指令碼。

start-hdfs.xml啟動的是namenode和datanode，start-yarn.xml啟動的是resourcemanager和nodemanager。

啟動好之後執行一下jps命令，可能看到下面的內容：

JobTracker
SecondaryNameNode
NodeManager
ResourceManager
NameNode
DataNode

因為是單機，不是叢集所以可能只有下面4個：

NodeManager
ResourceManager
NameNode
DataNode

可以訪問： http://localhost:50070 來檢視hdfs的web介面。

hadoop3.0開始訪問： http://localhost:9870

也可以通過下面的配置修改(core-site.xml)：

<property>
  <name>dfs.namenode.http-address</name>
  <value>127.0.0.1:50070</value>
</property>

可以訪問： http://localhost:8088 來檢視yarn的web介面，為了先用起來這裡先不詳細介紹，後面會補充一點內容。

hdfs命令與Java介面

hdfs基本命令

hadoop fs -rm -r /dir #刪除
hadoop fs -ls -R /dir #列表
hadoop fs -mkdir /dir #建立目錄
hadoop fs -put in.txt /tmp #上傳
hadoop fs -get /tmp/in.txt out.txt #下載

我們可以看到hadoop fs命令和操作linux的命令基本一致，上面需要注意一點的就是檔案上傳和下載了。上傳檔案指定的目錄一定要存在。

例如，上面的上傳命令就會把當前目錄下的in.txt檔案上傳到hdfs的/tmp目錄下，使用列表命令就可以看到hdfs有一個/tmp/in.txt檔案。

下載命令也一樣，指定hdfs的路徑，後一個是本地的路徑。

hdfs Java介面

這裡使用maven地方方式，先新增依賴：

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>${hadoop.version}</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-hdfs</artifactId>
    <version>${hadoop.version}</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>${hadoop.version}</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-mapreduce-client-core</artifactId>
    <version>${hadoop.version}</version>
</dependency>

這裡的${hadoop.version}選擇對應hadoop的版本就可以了。

下面是一個hdfs操作的簡單示例：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.io.IOUtils;
import org.junit.Test;

import java.io.FileInputStream;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

public class HDFSUtilTest {

    private static final String PATH = "hdfs://localhost:9000/";

    private static final String DIR = "/dir";

    private static final String FILE = "/dir/hello2";

    public static final String IN = "G:\\tmp\\in2.txt";


    /**
     * 刪除資料夾 hadoop fs -rmr /dir
     * @throws IOException
     */
    @Test
    public void remove() throws IOException, URISyntaxException {
        FileSystem fileSystem = getFileSystem();
        Path path = new Path(DIR);
        fileSystem.delete(path, true);
    }

    /**
     * 瀏覽資料夾 hadoop fs -lsr path
     * @throws IOException
     * @throws URISyntaxException
     */
    @Test
    public void list() throws IOException, URISyntaxException {
        FileSystem fileSystem = getFileSystem();
        Path root = new Path("/");
        FileStatus[] listStatus = fileSystem.listStatus(root);
        for (FileStatus fileStatus : listStatus) {
            String isDir = fileStatus.isDirectory() ? "資料夾" : "檔案";
            String permission = fileStatus.getPermission().toString();
            int replication = fileStatus.getReplication();
            long len = fileStatus.getLen();
            String path = fileStatus.getPath().toString();
            System.out.println(isDir + "\t" + permission + "\t" + replication
                    + "\t" + len + "\t" + path);
        }
    }

    /**
     * 下載檔案 hadoop fs -get src des
     * @throws IOException
     * @throws URISyntaxException
     */
    @Test
    public void getData() throws IOException, URISyntaxException {
        FileSystem fileSystem = getFileSystem();
//        String file = "/out/_SUCCESS";
        String file = "/out/part-r-00000";
        Path path = new Path(file);
        FSDataInputStream inputStream = fileSystem.open(path);
        IOUtils.copyBytes(inputStream, System.out, 1024, true);
    }

    /**
     * 上傳檔案 hadoop fs -put src des
     * @throws IOException
     * @throws URISyntaxException
     */
    @Test
    public void putData() throws IOException, URISyntaxException {
        FileSystem fileSystem = getFileSystem();
        Path path = new Path(FILE);
        FSDataOutputStream out = fileSystem.create(path);
        FileInputStream in = new FileInputStream(IN);
        IOUtils.copyBytes(in, out, 1024, true);
    }

    /**
     * 建立資料夾 hadoop fs -mkdir /dir
     * @throws IOException
     * @throws URISyntaxException
     */
    @Test
    public void mkDir() throws IOException, URISyntaxException {
        FileSystem fileSystem = getFileSystem();
        Path path = new Path(DIR);
        fileSystem.mkdirs(path);
    }

    private static FileSystem getFileSystem() throws IOException, URISyntaxException {
        URI uri = new URI(PATH);
        Configuration conf = new Configuration();
        FileSystem fileSystem = FileSystem.get(uri, conf);
        return fileSystem;
    }

}

hadoop mapreduce

下面是一個經典的hadoop mapreduce入門級示例。

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

import java.io.IOException;
import java.util.StringTokenizer;

public class WordCount {

    public static class TokenizerMapper extends Mapper<Object, Text,Text, IntWritable>{

        private final static IntWritable one = new IntWritable(1);

        private Text word = new Text();

        @Override
        public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
            StringTokenizer stringTokenizer = new StringTokenizer(value.toString());
            while (stringTokenizer.hasMoreTokens()){
                word.set(stringTokenizer.nextToken());
                context.write(word,one);
            }
        }
    }

    public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> {
        private IntWritable result = new IntWritable();

        @Override
        public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
            int sum = 0;
            for(IntWritable num : values){
                sum += num.get();
            }
            result.set(sum);
            context.write(key,result);
        }
    }

    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        Configuration configuration = new Configuration();
        configuration.set("fs.default.name", "hdfs://localhost:9000");
        String[] remainingArgs = new GenericOptionsParser(configuration, args).getRemainingArgs();
        if(remainingArgs.length < 2){
            System.out.println("args error");
            System.exit(2);
        }
        Job job = Job.getInstance(configuration, "word count");
        job.setJarByClass(WordCount.class);
        job.setMapperClass(TokenizerMapper.class);
        job.setCombinerClass(IntSumReducer.class);
        job.setReducerClass(IntSumReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        FileInputFormat.addInputPath(job, new Path(remainingArgs[0]));
        FileOutputFormat.setOutputPath(job, new Path(remainingArgs[1]));
        System.exit(job.waitForCompletion(true) ? 0:1);
    }
}

導包的時候會發現有mapreduce包和mapred包，暫時還沒有了解這2個包有什麼區別。

main接收2個引數，第一個引數是要處理檔案的目錄，第二個是處理結果的輸出目錄。

就是把第一個引數指定的目錄下的檔案使用TokenizerMapper這個類的map方法，就是使用StringTokenizer分詞，然後使用IntSumReducer的reduce方法執行了一個彙總操作。

注意：這個mapreduce操作都在hdfs上進行的，所以可以先通過命令將要分析的檔案上傳到hdfs上。

另外指定目錄的時候是不是以/開頭的很重要，如果不是以/開頭就會在前面拼接上系統屬性user.dir的值。例如，指定的路徑是"in/data.txt"，實際上會轉換為/home/username/in/data.txt這個路徑，如果是"/in/data.txt"，那麼就是路徑本身。

YARN

Scheduler

Scheduler是排程器，根據應用程式的資源需求進行資源分配，不參與應用程式具體的執行和監控等工作資源分配的單位就是Container，排程器是一個可插拔的元件，使用者可以根據自己的需求實 現自己的排程器。YARN 本身為我們提供了多種直接可用的排程器，比如 FIFO，Fair Scheduler 和Capacity Scheduler等。

ResourceManager

ResourceManager 是基於應用程式對叢集資源的需求進行排程的 YARN 叢集主控節點，負責 協調和管理整個叢集（所有 NodeManager）的資源，響應使用者提交的不同型別應用程式的 解析，排程，監控等工作。ResourceManager 會為每一個 Application 啟動一個 MRAppMaster，並且MRAppMaster分散在各個NodeManager節點。

ResourceManager的職責：

1. 處理客戶端請求
2. 啟動或監控 MRAppMaster
3. 監控 NodeManager
4. 資源的分配與排程

NodeManager

NodeManager是YARN叢集當中真正資源的提供者，是真正執行應用程式的容器的提供者， 監控應用程式的資源使用情況，並通過心跳向叢集資源排程器 ResourceManager 進行彙報以更新自己的健康狀態。同時其也會監督Container的生命週期管理，監控每個 Container 的資源使用情況，追蹤節點健康狀況，管理日 志和不同應用程式用到的附屬服務。

NodeManager的職責：

1. 管理單個節點上的資源
2. 處理來自 ResourceManager 的命令
3. 處理來自 MRAppMaster 的命令

MRAppMaster

MRAppMaster 對應一個應用程式，職責是：向資源排程器申請執行任務的資源容器，執行 任務，監控整個任務的執行，跟蹤整個任務的狀態，處理任務失敗以異常情況

Container

Container 容器是一個抽象出來的邏輯資源單位。容器是由 ResourceManager Scheduler 服務 動態分配的資源構成，它包括了該節點上的一定量 CPU，記憶體，磁碟，網路等資訊，MapReduce 程式的所有 Task 都是在一個容器裡執行完成的，容器的大小是可以動態調整的

ASM

應用程式管理器 ASM 負責管理整個系統中所有應用程式，包括應用程式提交、與排程器協 商資源以啟動 MRAppMaster、監控MRAppMaster執行狀態並在失敗時重新啟動它等。

文件

相關推薦