1. 程式人生 > >HDFS(分散式檔案儲存系統)

HDFS(分散式檔案儲存系統)

一 、HDFS命令列客戶端的常用操作命令

(1)start-dfs.sh :自動啟動整個叢集

         stop-dfs.sh :自動停止整個叢集

(2)上傳檔案到hdfs中:    hadoop fs -put /本地檔案  /HDFS路徑

(3)下載檔案到客戶端本地磁碟:   hadoop fs -get /hdfs中的路徑   /本地磁碟目錄

(4)在hdfs中建立資料夾:    hadoop fs -mkdir  -p /aaa/xxx

(5)移動hdfs中的檔案(更名):    hadoop fs -mv /hdfs的路徑1  /hdfs的另一個路徑2

(6)刪除hdfs中的檔案或資料夾:     hadoop fs -rm -r /aaa

(7)檢視hdfs中的文字檔案內容:  hadoop fs -cat /demo.txt              hadoop fs -tail -f /demo.txt

二、開發程式碼

(1)將hdfs客戶端開發所需的jar匯入工程(jar包可在hadoop安裝包中找到common/hdfs)

(2)要對hdfs中的檔案進行操作,程式碼中首先需要獲得一個hdfs的客戶端物件

         Configuration conf = new Configuration();

        //指定本客戶端上傳到hdfs時需要儲存的副本數為2
        conf.set("dfs.replication", "2");
        //指定本客戶端上傳檔案到hdfs時切塊的規格大小:128m
        conf.set("dfs.blocksize", "128m");

         FileSystem fs = FileSystem.get(new URI("hdfs://hdp-01:9000"),conf,"root");

(3)利用fs物件的方法進行檔案操作

上傳檔案—— fs.copyFromLocalFile(new Path("本地路徑"),new Path("hdfs的路徑"));

下載檔案——fs.copyToLocalFile(new Path("hdfs的路徑"),new Path("本地路徑"));