HDFS(分散式檔案儲存系統)
一 、HDFS命令列客戶端的常用操作命令
(1)start-dfs.sh :自動啟動整個叢集
stop-dfs.sh :自動停止整個叢集
(2)上傳檔案到hdfs中: hadoop fs -put /本地檔案 /HDFS路徑
(3)下載檔案到客戶端本地磁碟: hadoop fs -get /hdfs中的路徑 /本地磁碟目錄
(4)在hdfs中建立資料夾: hadoop fs -mkdir -p /aaa/xxx
(5)移動hdfs中的檔案(更名): hadoop fs -mv /hdfs的路徑1 /hdfs的另一個路徑2
(6)刪除hdfs中的檔案或資料夾: hadoop fs -rm -r /aaa
(7)檢視hdfs中的文字檔案內容: hadoop fs -cat /demo.txt hadoop fs -tail -f /demo.txt
二、開發程式碼
(1)將hdfs客戶端開發所需的jar匯入工程(jar包可在hadoop安裝包中找到common/hdfs)
(2)要對hdfs中的檔案進行操作,程式碼中首先需要獲得一個hdfs的客戶端物件
Configuration conf = new Configuration();
//指定本客戶端上傳到hdfs時需要儲存的副本數為2
conf.set("dfs.replication", "2");
//指定本客戶端上傳檔案到hdfs時切塊的規格大小:128m
conf.set("dfs.blocksize", "128m");
FileSystem fs = FileSystem.get(new URI("hdfs://hdp-01:9000"),conf,"root");
(3)利用fs物件的方法進行檔案操作
上傳檔案—— fs.copyFromLocalFile(new Path("本地路徑"),new Path("hdfs的路徑"));
下載檔案——fs.copyToLocalFile(new Path("hdfs的路徑"),new Path("本地路徑"));