HDFS第一次課堂測試
阿新 • • 發佈:2018-10-01
com localhost str 一點 就是 分享 fig oca 截圖
起初在linux上想使用Map/Reduce來完成操作,發現需要導入的jar包過多,大概在6點左右寫完程序卻跑不起來,一直在找jar包,直接被卡死在這裏。
從教室回來之後,發現好多人都是在windows下完成的操作。突然想起來,暑假裏按教程做的那個精準推送的實例,也是在windows的eclipse上編寫好代碼,將文本文件也放入,打成jar包,然後在linux虛擬機上啟用hadoop來進行調用完成操作。
所以換了一種方法,改成在windows下編程,通過hadoop的jar包來連接虛擬機完成操作。
這是實驗完成的截圖。
中途遇到了一些問題,比如:
1、連接9000端口失敗。我原來做偽分布的配置時將core-site.xml中的配置改成了localhost:8080,那時候是習慣這個號。
現在兩個問題,第一點要將localhost這個只用於本機的改成虛擬機的ip地址,就從ifconfig可以查出來。
第二點,8080改成大多數人通用的9000,其實我也不知道這倆的區別在哪裏,不過8080經常需要使用,這也可以防止端口互相占用。
2、主機和虛擬機的連接問題,出現了一些小意外,已解決,截圖如下:
在自己主機下能登錄(http://192.168.180.128:50070/):
在cmd裏能ping通:
剩下的就是一些代碼上的小問題,這裏要給自己長個記性就是要重點註意路徑,因為它一般寫在字符串裏,即便有錯誤也不會主動報錯,很隱秘。
附上實驗要求輸出內容的截圖:
HDFS第一次課堂測試