技術標籤：Hadoophadoop

Hadoop中的檔案配置：
一、配置java和Hadoop的環境變數：
兩種方式：
1.在/etc/profile.d檔案下建立了my_env.sh檔案
2.在/etc/profile文件最後增加

export JAVA_HOME=/opt/java/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin


export HADOOP_HOME=/opt/hadoop/hadoop2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

注意：自己要改到自己對應的目錄下哈！！！別隻會跟著走

二、配置/etc/hosts檔案（我的理解是讓主機名和其ip形成一個對映）

192.168.21.132 master
192.168.21.133 slave01
192.168.21.134 slave02

三、配置core-site.xml檔案（這是Hadoop的核心配置檔案）
1指定namenode的位置
2hadoop.tmp.dir 是hadoop檔案系統依賴的基礎配置，很多路徑都依賴它。如果hdfs-site.xml中不配置namenode和datanode的存放位置，預設就放在這個路徑中。

	<!-- 這個屬性用來指定namenode的hdfs協議的檔案系統通訊地址，可以指定一個主機+埠，也可以指定為一個namenode服務（這個服務內部可以有多臺namenode實現ha的namenode服務）-->
 

	 <property>  
		 <name>fs.default.name</name>
		 <value>hdfs://master:9000</value>
	 </property>
	 <!--設定臨時檔案的儲存地址，但是需要提前建立好-->	 
	 <property>  
		 <name>hadoop.tmp.dir</name>  
		 <value>/opt/tmp</value>   
	 </property>

四、配置hdfs-site.xml檔案（主要用來設定hdfs）

<!--設定secondary-namenode的通訊地址-->
 	<property>
		<name>dfs.namenode.secondary.http-adress</name>
		<value>master:9001</value>
	</property>
	<!--資料備份次數-->
	 <property>
		 <name>dfs.replication</name>  
	 	<value>1</value>
	</property>
	 <!--存放namenode資料-->
	<property>
		<name>dfs.name.dir</name>
		<value>/opt/hadoop/hdfs/name</value>
	</property>
	 <!--存放datanode資料-->
	<property>
		<name>dfs.data.dir</name>
		<value>/opt/hadoop/hdfs/data</value>
	</property>

五、配置yarn-site.xml檔案（yarn）
Yarn.resourcemanager.hostname:資源管理器所在節點的主機名
Yarn.nodemanager.aux-services:一個逗號分隔的輔助服務列表，這些服務由節點管理器執行。該屬性預設為空。

	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<!--yarn總資源管理器的通訊地址-->
	<property>
	     <name>yarn.resourcemanager.address</name>
	<value>master:8032</value>
	</property>
	<!--yarn資源排程器的通訊地址-->
	<property>
	<name>yarn.resourcemanager.scheduler.address</name>
	<value>master:8030</value>
	</property>
	<!--yarn管理器的資源通道地址-->
	<property>
	<name>yarn.resourcemanager.resource-tracker.address</name>
	<value>master:8031</value>
	</property> 

	<property>
		<name>yarn.nodemanager.vmem-pmem-ratio</name>
		<value>3.0</value>
	</property>	
<!-- 日誌聚集功能使能 -->
    <property>
       		<name>yarn.log-aggregation-enable</name>
   		 <value>true</value>
	 </property>
	 <property>
		<name>yarn.log.server.url</name>
		<value>http://master:19888/jobhistory/logs</value>
	</property>
    
    <!-- 日誌保留時間設定7天 -->
         <property>
	    <name>yarn.log-aggregation.retain-seconds</name>
	    <value>604800</value>
	</property>    

六、mapred-site.xml檔案配置

<!---- 指定mr框架為yarn方式,Hadoop二代MP也基於資源管理系統Yarn來執行 -->
	<property>                                                                    
		<name>mapreduce.framework.name</name>  
		<value>yarn</value>  
	</property>

7.配置hadoop-env.sh和yarn-env.sh環境配置檔案

export JAVA_HOME=/opt/java/jdk1.8

到此資原始檔配置基本完成了！！！！！