hadoop完全分布式的搭建的理解
阿新 • • 發佈:2017-05-18
hadoop完全分布式的搭建的理解
hadoop完全分布式的搭建思路?
jdk必須安裝,所有機器都是一樣的。環境變量是PATH,但是在配置PATH的時候,一定要加上.;這是系統原來的環境變量,如果不加這個,可能再次開不出機器。
Hadoop安裝,可以放在yarn,也可以不放在yarn,環境變量HADOOP_HOME,JAVA_HOME(這個主要是切換jdk來用的,j2ee就是這樣的)
所有機器的host裏面必須有對應的主機,各個子節點的IP地址,以及域名對應關系,則必須修改各個機器的hostname的域名,重啟立馬生效。
配置ssh協議,首先各個節點,先配置自己的,然後遠程登錄到自己,不需要登錄密碼
各個節點必須互通,則可以將各個節點的公鑰都發給主節點,這就意味著所有所有節點都可以訪問主機不需要秘鑰,然後主機將所有發過來的秘鑰加到自己的authorized_keys中,這就意味著所有節點的公鑰都在此(包括主節點的)然後將其發送給各個節點,這樣大家都擁有很多公鑰,則都可以互訪,為什麽這麽設計,為什麽直接各個機器配好ssh,都互相復制下,不也一樣,而且公鑰只有一份,因為公鑰裏面攜帶了IP地址和用戶名,就必須不一樣,因為不同的IP地址。
配置好了之後,如何檢測?
可以檢測它的namenode和mapreduce管理界面,一個是50070,一個是50030
本文出自 “簡答生活” 博客,謝絕轉載!
hadoop完全分布式的搭建的理解