1. 程式人生 > >hadoop完全分布式的搭建的理解

hadoop完全分布式的搭建的理解

hadoop完全分布式的搭建的理解

hadoop完全分布式的搭建思路?

  1. jdk必須安裝,所有機器都是一樣的。環境變量是PATH,但是在配置PATH的時候,一定要加上.;這是系統原來的環境變量,如果不加這個,可能再次開不出機器。

  2. Hadoop安裝,可以放在yarn,也可以不放在yarn,環境變量HADOOP_HOME,JAVA_HOME(這個主要是切換jdk來用的,j2ee就是這樣的)

  3. 所有機器的host裏面必須有對應的主機,各個子節點的IP地址,以及域名對應關系,則必須修改各個機器的hostname的域名,重啟立馬生效。

  4. 配置ssh協議,首先各個節點,先配置自己的,然後遠程登錄到自己,不需要登錄密碼

  5. 各個節點必須互通,則可以將各個節點的公鑰都發給主節點,這就意味著所有所有節點都可以訪問主機不需要秘鑰,然後主機將所有發過來的秘鑰加到自己的authorized_keys中,這就意味著所有節點的公鑰都在此(包括主節點的)然後將其發送給各個節點,這樣大家都擁有很多公鑰,則都可以互訪,為什麽這麽設計,為什麽直接各個機器配好ssh,都互相復制下,不也一樣,而且公鑰只有一份,因為公鑰裏面攜帶了IP地址和用戶名,就必須不一樣,因為不同的IP地址。

  6. 配置好了之後,如何檢測?

    可以檢測它的namenode和mapreduce管理界面,一個是50070,一個是50030

本文出自 “簡答生活” 博客,謝絕轉載!

hadoop完全分布式的搭建的理解