Hadoop安裝與部署
阿新 • • 發佈:2018-04-08
hadoop1、hadoop:由java語言開發的開源的分布式計算平臺。可提供PB(100萬G)存儲。hadoop是可靠的,高效的,可伸縮的。
hadoop假設計算元素和存儲會失敗,維護多個副本,確保針對失敗的節點重分布處理。文件以塊的方式存儲.
2、hadoop最核心的是hdfs和mapreduce,hdfs為海量存儲提供存儲。mapreduce為海量數據提供計算。mapreduce分為jobtrackers和taskreduce組成。
3、hadoop集群包含一個master和若幹個slave角色。master稱為namenode節點,slave為datanode節點。
4、hdfs命令
hdfs namenode -format:格式化hdfs文件系統
start-all.sh: 啟動集群
jps: 查看節點進程
查看master統計信息和hdfs存儲信息:http://masterip:50070
hadoop fs -普通命令: 管理hdfs文件命令
hdfs dfsadmin -report:查看節點狀態信息
hdfs dfsadmin -safemode enter|leave|get 開啟|關閉|查看 安全模式,在安全模式下只可查看不可寫入
hadoop假設計算元素和存儲會失敗,維護多個副本,確保針對失敗的節點重分布處理。文件以塊的方式存儲.
2、hadoop最核心的是hdfs和mapreduce,hdfs為海量存儲提供存儲。mapreduce為海量數據提供計算。mapreduce分為jobtrackers和taskreduce組成。
3、hadoop集群包含一個master和若幹個slave角色。master稱為namenode節點,slave為datanode節點。
4、hdfs命令
hdfs namenode -format:格式化hdfs文件系統
jps: 查看節點進程
查看master統計信息和hdfs存儲信息:http://masterip:50070
hadoop fs -普通命令: 管理hdfs文件命令
hdfs dfsadmin -report:查看節點狀態信息
hdfs dfsadmin -safemode enter|leave|get 開啟|關閉|查看 安全模式,在安全模式下只可查看不可寫入
Hadoop安裝與部署