世界杯項目案例:HDFS分布式文件系統
項目案例：HDFS分布式文件系統
Hadoop的簡介：
Hadoop是apache軟件基金會的開源分布式計算平臺hadoop集群包括兩種角色Mater和Slave。一個HDFS集群由一個運行於Master上的NameNode和若幹個運行於Slave節點的DataNode組成。NameNode負責管理文件系統命名空間和客戶端對文件系統的訪問操作；DataNode管理存儲的數據。文件以塊形式在DataNode中存儲，假如一個塊大小設置為50MB，塊的副本數為3（通過設置塊的副本數來達到冗余效果，防止單個DataNode磁盤故障後數據丟失），一個40MB的文件將被存儲在一個塊中，然後將相同的3個塊存儲在3
本實驗的目的：
搭建hadoop的HDFS，通過DataNode節點的添加與刪除實現HDFS空間動態增加與減少，以及HDFS文件系統的基本管理。
需要掛載hadoop光盤 hadoop.iso
將文件復制到腳本裏的指定路徑
腳本解釋
安裝完成，重啟生效
驗證
其他主機操作類似，需修改腳本的IP地址和主機名
slave-1配置
驗證
slave-3配置
驗證
slave-3配置
驗證
在master上配置SSH密鑰對要求master免密碼登錄各slave，用於開啟相應服務。
Master無密碼連接slave，先切換hadoop用戶，用ssh-keygen
通過ssh-copy-id將公鑰復制至3個slave主機中，復制過程需要輸入slave主機的hadoop用戶密碼，作用是master遠程啟動slave。
確定hadoop用戶對文件的屬主和屬組權限
配置hadoop
復制文件，並給權限
如果是手動修改需要修改以下地方
由master通過SSH安全通道把剛才配置的6個文件復制給每個slave
slave需要對文件有755權限
初始化master
檢查新生成的目錄
啟動hadoop群集（開機hadoop的冗余功能）
啟停hadoopde的管理命令位於@HADOOP_HOME/sbin下，以start
通過jps查看各節點上的進程是否正常
驗證訪問
hadoop基本命令
使用“hadoopfs”命令可以結合普通的文件管理命令實現很多操作，如查看、修改權限、統計、獲取幫助、創建、刪除、上傳下載文件等，更多的用法可使用“hadoop fs -help”或“hadoop fs -usage”命令查看。
查看節點狀態
HDFS高級命令
開機安全模式
將本地文件復制到HDFS上
將HDFS上的文件復制到本地
修改屬組
修改權限
修改所有者
統計顯示目錄中文件大小
合並文件
為HDFS集群添加節點
slave4節點安裝jdk與hadoop，配置環境變量
復制hosts文件到每臺服務器
配置ssh無密碼連接
在master上修改hadoop後，復制到其他節點
新節點上啟動並平衡節點以及存儲的數據
查看集群信息
刪除DataNode節點
添加要刪除的節點
刷新配置
查看集群信息
hadoop集群搭建完成！
總結：需要懂得原理加強自身不斷完善自己！
世界杯項目案例:HDFS分布式文件系統