大資料之五 hadoop HDFS HA叢集客戶端+eclipse配置
阿新 • • 發佈：2018-12-15
- 首先我們選擇一臺客戶機，任意選擇，只要能與叢集通訊即可，這裡就使用真機
- 將叢集中配置好的 hadoop 安裝包拷貝到真機上
- 配置 hadoop 的環境變數
HADOOP_HOME：hadoop安裝包的位置
HADOOP_USER_NAME：登入叢集的使用者名稱稱，只要是可以登入叢集的使用者名稱就可以，這裡配置為root
- 啟動eclipse，點選選單欄的window–>Preferences 進入Preferences選項視窗，此時會有一個Hadoop Map/Reduce，點選如下圖，選擇hadoop安裝包的位置，點選Apply–>OK
- 點選選單欄的window–>Show View–>other進入Show View 視窗如下。在搜尋欄輸入Map/Reduce，選中黃色小象Map/Reduce Location，點選OK
- 此時下方控制檯視窗便會出現Map/Reduce Location的視窗，在空白處右擊，選擇 New Hadoop location
- 按下圖進行配置，點選finish
- 配置完成，project視窗中顯示如下，連線成功
- 如果要在專案中操作HDFS叢集，則需要匯入依賴jar包。
將hadoop安裝包中share\hadoop目錄下 common,hdfs,tools三個資料夾中的jar包及其下lib資料夾中的jar包整合並匯入專案。
- 將加入的jar包加入classpath，通過build path。然後就可以在專案中操作HDFS叢集了
