HDFS常用命令以及簡單API
阿新 • • 發佈:2018-12-15
- 1) kill -9 xxxx 殺掉程序
- 2)hdfs的客戶端 1.網頁形式->測試用 ip:50070 2.命令列形式->測試用 3.企業級API 檢視幫助 hdfs dfs -help 檢視hdfs命令引數
1)檢視目錄檔案 hdfs dfs -ls / 2)上傳檔案 hdfs dfs -put /本地路徑 /hdfs路徑 3)下載檔案 hdfs dfs -get /hdfs路徑 /本地路徑 4)把檔案合併下載 hdfs dfs -getmerge /hdfs路徑 /本地路徑 5)刪除檔案 hdfs dfs -rm /hdfs路徑 6)刪除資料夾 hdfs dfs -rm -r /hdfs路徑 7)修改檔名 hdfs dfs -mv /檔名 hdfs dfs -mv /hdfs路徑 /hdfs路徑 這個命令不僅可以修改檔名 還可以將檔案修改名字後改變路徑儲存 8)檢視檔案 hdfs dfs -cat /檔案 hdfs dfs -tail -f /檔案 9)把本地檔案剪下上傳到hdfs hdfs dfs -moveFromLocal /本地路徑 /hdfs路徑 10)建立資料夾 hdfs dfs -mkdir /資料夾名 11)建立多級資料夾 hdfs dfs -mkdir -p /資料夾名/資料夾名 12)檢視hdfs資料夾中有多少檔案 hdfs dfs -count /資料夾 13)檢視hdfs空間 hdfs dfs -df / hdfs dfs -df -h / 14)複製檔案 hdfs dfs -cp /hdfs路徑 /hdfs路徑 15)修改檔案的副本數 hdfs dfs -setrep 副本數 /檔案
package com.ycf.text; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class HadoopDemo1 { public static void main(String[] args) throws IOException, InterruptedException, URISyntaxException { // TODO Auto-generated method stub //1.載入客戶端配置資訊 Configuration conf = new Configuration(); //2.指定塊大小 conf.set("dfs.blocksize", "6m"); //3.指定副本個數 conf.set("dfs.replication", "2"); //構造客戶端 FileSystem fs =FileSystem.get(new URI("hdfs://192.168.232.132:9000"), conf, "root"); //上傳檔案到hdfs fs.copyFromLocalFile(new Path("B:/JAVA測試目錄1級/哈哈ha.txt"),new Path("/work")); //關閉資源 fs.close(); } }