偽分散式(hdfs)執行Hadoop案例(二)
阿新 • • 發佈:2019-02-20
一 介紹
HDFS中如下元件:
1) NameNode : 儲存檔案的元資料,如檔名,檔案目錄結構,檔案屬性等。
2) DataNode: 在檔案系統中儲存檔案塊的資料等。
3)Secondary NameNode: 用來監控HDFS狀態的輔助後臺程式,每隔一段時間獲取HDFS元資料的快照。
二 使用HDFS並執行MapReduce程式
1 首先將 etc/hadoop/hadoop-env.sh 中的
export JAVA_HOME=/opt/module/jdk1.8.0_144 |
JAVA_HOME改成本地jdk的路徑
2 配置 core-site.xml
3 配置hdfs-site.xml
4 啟動叢集
(a) 格式化 namenode(第一次啟動時格式化,以後就不要總格式化)
(b) 啟動 namenode,jps檢視是否啟動成功
(c) 啟動 datanode
5 web檢視
出現如圖則表示已經成功搭建好檔案系統
6 操作叢集進行工作
在檔案系統上建立目錄,在web端檢視
將檔案上傳到檔案系統進行測試
執行mapreduce程式
可直接點選下載檔案,檢視結果,也可通過命令獲取到本機
刪除結果