官網指南

Purpose

Using the CLI MiniCluster, users can simply start and stop a single-node Hadoop cluster with a single command, and without the need to set any environment variables or manage configuration files. The CLI MiniCluster starts both a YARN/MapReduce & HDFS clusters.

This is useful for cases where users want to quickly experiment with a real Hadoop cluster or test non-Java programs that rely on significant Hadoop functionality.
 

• 文件地址

安裝

• 基於mac、jdk8

protobuf

下載

• 一定要安裝2.5.0，
• 下載頁面
• 2.5.0下載地址

安裝

• 解壓
• 進入根目錄

$ ./configure
$ make
$ make install

檢視

$ protoc --version
libprotoc 2.5.0

minicluster

下載

• 下載頁面
• 3.2.1原始碼下載
• 3.2.1二進位制下載

安裝

• 解壓
• 進入根目錄

$ mvn clean install -DskipTests
$ mvn package -Pdist -Dtar -DskipTests -Dmaven.javadoc.skip
$ cd /hadoop-dist/target/hadoop-3.2.1
 

• 不知道為啥一直報ByteBuffer的position方法找不到的錯，直接下載個二進位制包，3.2.1二進位制下載，解壓後替換這個目錄hadoop-3.2.1
• 確保目錄許可權沒問題
• 第一次執行時要加上-format引數

$ bin/mapred minicluster -format

• 如果沒指定埠，通過lsof -i|grep java檢視LISTEN的埠