hadoop2.8.4安裝Mac
阿新 • • 發佈:2018-12-20
1.java環境安裝 網上搜索 JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_171.jdk/Contents/Home
2.下載hadoop2.8.4 binary版本 下載地址:hadoop2.8.4
3.解壓檔案
$ tar -zxvf hadoop-2.8.0.tar.gz
4.配置hadoop環境變數
4.1 bash_profile檔案
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_171.jdk/Contents/Home export HADOOP_HOME=//Users/yujia/Documents/hadoop/hadoop-2.8.4 export PATH=$PATH:/usr/local/mysql/bin:$HADOOP_HOME/bin:$JAVA_HOME/bin source ~/.bash_profile
hadoop是否安裝成功
$ hadoop version --顯示如下內容: Hadoop 2.8.4 Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r 17e75c2a11685af3e043aa5e604dc831e5b14674 Compiled by jdu on 2018-05-08T02:50Z Compiled with protoc 2.5.0 From source with checksum b02a59bb17646783210e979bea443b0 This command was run using /Users/yujia/Documents/hadoop/hadoop-2.8.4/share/hadoop/common/hadoop-common-2.8.4.jar
4.2 配置core-site.xml ——(defaultFS)指定了NameNode的主機名與埠
<?xmlversion="1.0" encoding="UTF-8"?> <configuration> <!-- fs.defaultFS - 這是一個描述叢集中NameNode結點的URI(包括協議、主機名稱、埠號),叢集裡面的每一臺機器都需要知道NameNode的地址。 DataNode結點會先在NameNode上註冊,這樣它們的資料才可以被使用。獨立的客戶端程式通過這個URI跟DataNode互動,以取得檔案的塊列表。--> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:8000</value> </property> <!-- hadoop.tmp.dir 是hadoop檔案系統依賴的基礎配置,很多路徑都依賴它。 如果hdfs-site.xml中不配置namenode和datanode的存放位置,預設就放在這個路徑中--> <property> <name>hadoop.tmp.dir</name> <value>/Users/time/Documents/hadoop-2.7.3/tmp</value> <description>A base for othertemporary directories.</description> </property> </configuration>
4.3 配置hdfs-site.xml——指定了HDFS的預設引數副本數
<?xmlversion="1.0" encoding="UTF-8"?>
<configuration>
<!-- dfs.replication -它決定著 系統裡面的檔案塊的資料備份個數。對於一個實際的應用,它應該被設為3。
少於三個的備份,可能會影響到資料的可靠性-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!-- datanaode和namenode的物理儲存,如果不設定,它的值hadoop.tmp.dir-->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hdfs/name</value>
</property>
<!-- 可以不設定,namenode的Web 監控 埠,預設是0.0.0.0:50070-->
<property>
<name>dfs.namenode.http-address</name>
<value>localhost:57000</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hdfs/data</value>
</property>
</configuration>
4.4 mapred-site.xml配置
$ cp mapred-site.xml.template mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
4.5 Yarn-site.xml 配置
<?xmlversion="1.0"?>
<configuration>
<!-- resourcemanager -->
<!-- client visit address -->
<property>
<name>yarn.resourcemanager.address</name>
<value>localhost:18040</value>
</property>
<!-- ApplicationMaster visit address-->
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>localhost:18030</value>
</property>
<!-- NodeManager visit address -->
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value> localhost:18025</value>
</property>
<!-- web visit address -->
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>localhost:18088</value>
</property>
<!-- NodeManager support mapreduce service-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
5.格式化namenode $ hadoop namenode -format 問題一:碰到找不到java_home的情況 在hadoop安裝路徑下,進入hadoop/etc/hadoop/目錄並編輯hadoop-env.sh,修改JAVA_HOME為JAVA的安裝路徑 export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_171.jdk/Contents/Home
然後執行hadoop namenode -format 問題二:需要輸入多次的密碼
6.啟動hadoop ./sbin/start-all.sh
7.web測試 我們也可以通過瀏覽器檢視hadoop的詳細資訊,開啟連結: