1. 程式人生 > >HDFS第一次課堂測試

HDFS第一次課堂測試

com localhost str 一點 就是 分享 fig oca 截圖

起初在linux上想使用Map/Reduce來完成操作,發現需要導入的jar包過多,大概在6點左右寫完程序卻跑不起來,一直在找jar包,直接被卡死在這裏。

從教室回來之後,發現好多人都是在windows下完成的操作。突然想起來,暑假裏按教程做的那個精準推送的實例,也是在windows的eclipse上編寫好代碼,將文本文件也放入,打成jar包,然後在linux虛擬機上啟用hadoop來進行調用完成操作。

所以換了一種方法,改成在windows下編程,通過hadoop的jar包來連接虛擬機完成操作。

技術分享圖片

這是實驗完成的截圖。

中途遇到了一些問題,比如:

1、連接9000端口失敗。我原來做偽分布的配置時將core-site.xml中的配置改成了localhost:8080,那時候是習慣這個號。

現在兩個問題,第一點要將localhost這個只用於本機的改成虛擬機的ip地址,就從ifconfig可以查出來。

第二點,8080改成大多數人通用的9000,其實我也不知道這倆的區別在哪裏,不過8080經常需要使用,這也可以防止端口互相占用。

2、主機和虛擬機的連接問題,出現了一些小意外,已解決,截圖如下:

在自己主機下能登錄(http://192.168.180.128:50070/):

技術分享圖片

在cmd裏能ping通:

技術分享圖片

剩下的就是一些代碼上的小問題,這裏要給自己長個記性就是要重點註意路徑,因為它一般寫在字符串裏,即便有錯誤也不會主動報錯,很隱秘。

附上實驗要求輸出內容的截圖:

技術分享圖片

HDFS第一次課堂測試