HDFS的常用操作命令

提示

如果使用JPS查詢發現沒有DATANODE，則將本地目錄中的hadoop檔案中的Hadoopdata刪除

刪除後格式化hadoop

hadoop namenode -format

重新啟動hadoop

start-all.sh

操作指令

①建立input資料夾

hadoop fs -mkdir /input

在埠50070中可以檢視到已經建立的資料夾

②檢視列表資料夾

#hdfs dfs -ls 路徑
hadoop fs -ls /

③建立檔案

#hdfs dfs -touchz 路徑
hdfs dfs -touchz /input/hello.txt

④複製檔案

#hdfs dfs -cp 源目錄 目標目錄
hdfs dfs -cp /input /output

⑤移動檔案

#hdfs dfs -mv 源目錄 目標目錄
hdfs dfs -mv /input/hello.txt /output/hello2.txt

⑥上傳檔案

#hdfs dfs -put 原始檔夾 目標資料夾
hdfs dfs -put /usr/hadoop/test /

⑦下載檔案

#hdfs dfs -get 原始檔夾 目標資料夾hdfs dfs -get /input /usr/hadoop/download

⑧顯示檔案內容（先上傳一個有內容的txt文字）

--上傳的test1.txt 的文字內容--

dffsd dfsdfsdf dfdfsfasa sdas da sa d asdddsda ygdfgxgdfgdf sxqjwdf1whdfgqw xwqx

#hadoop fs -cat 路徑   #從頭檢視 #hadoop fs -tail 路徑   #從尾檢視hadoop fs -cat /input/test1.txthadoop fs -tail /input/test1.txt

#hadoop fs -text 路徑hadoop fs -text /input/test1.txt

⑨刪除檔案

#hdfs dfs -rm 目標檔案    #rm不可以刪除資料夾#hdfs dfs -rm -R 目標檔案   #遞迴刪除（慎用）hdfs dfs -rm /output/hello2.txt
 

⑩統計資料夾大小資訊

#hadoop fs -du -s -h 路徑hadoop fs -du -s -h /input

搭建完成之後的一個小玩意

執行統計的一個指令碼

指令碼路徑 hadoop->share->hadoop->mapreduce

#hadoop jar hadoop-mapreduce-examples-2.9.2.jar wordcount 源路徑 目標路徑hadoop jar hadoop-mapreduce-examples-2.9.2.jar wordcount /input /output/wordcount1

檢視執行指令碼統計出的單詞數

hadoop fs -cat /output/wordcount1/part-r-00000