/**
 * @author root
 *測試hadoop hdfs 的客戶端操作
 *專案建立只需要匯入hadoop的hadoop-2.7.3-bin\share\hadoop下面所有jar包就可以了
 *也可以使用maven依賴 
 *hadoop-core
 */
public class TestHDFS {
    /**
     * hadoop URL
     */
    public static final String BASE_URL = "hdfs://s0:9000";
    /**
     *本地檔案系統的目錄 
     */
    public static final String LOCAL_URL = "F:/soft/temp"
 
;
    /**
     * hadoop目錄的地址
     */
    public static final String h = "/user/root/input";
    /**
     * 配置物件
     */
    public static Configuration conf;
    /**
     * hadoop分散式檔案系統的抽象
     * 
     */
    public static FileSystem fs;
//  靜態程式碼塊初始化檔案系統
    static {
        conf = new Configuration();
        try
 
 {
            fs = FileSystem.get(URI.create(BASE_URL),conf);
        } catch (IOException e) {
            System.out.println("there is error!");
            e.printStackTrace();
        }
    }

    /**
     * 測試建立檔案
     * @throws IllegalArgumentException
     * @throws IOException
     */
    public
 
 void create() throws IllegalArgumentException, IOException {
        FSDataOutputStream dos = fs.create(new Path(h+"/4.txt"),true);
        dos.write("hello hdfs\n".getBytes());
        System.out.println("create over");
    }

    public void exists() throws IOException {
//      測試檔案是否存在
        Path path = new Path(h+"/5.txt");
        System.out.println(fs.exists(path));
//      false
        path = new Path(h+"/4.txt");
        System.out.println(fs.exists(path));
//      true
    }   
    public void mkdir() throws IOException{
        Path path = new Path("user/root/test");
        boolean isSucc = fs.mkdirs(path);
        if(isSucc)System.out.println("建立目錄成功！");
    }

    public void downloadAndUpload() throws IllegalArgumentException, IOException{
/*
 *      從hdfs上覆制到本地檔案系統
 *      一開始使用copyToLocalFile(src,dst) 方法發生錯誤
 *      後來發現要使用copyToLocalFile(boolean delSrc, Path src, Path dst,
 *     boolean useRawLocalFileSystem) 方法，多的兩個引數表示第一個表示是否刪除原始檔，最後一個表示當本地檔案系統不存在時使用RawLocalFileSystem
*/
        fs.copyToLocalFile(false,new Path("/user/root/output1/part-00000"), new Path("F:/soft/temp"),true);
//      從本地檔案系統複製到hdfs上
        fs.copyFromLocalFile(new Path("F:/soft/temp/1.gz"), new Path("/user/root/ncdc_data"));
    }

    @Test
    public void input() throws IOException {
        String src = "G:/javaUtils/readme.txt";
        InputStream in = new BufferedInputStream(new FileInputStream(src));
        Path path = new Path(h+"/3.txt");
//      使用hadoop的FSDataOutputStream上傳檔案
//      對於大型檔案還可以使用進度條顯示進度
        FSDataOutputStream out = fs.create(path, new Progressable() {

            @Override
            public void progress() {
                System.out.print(". ");
            }

        });
//      hadoop的工具類
        IOUtils.copyBytes(in, out, 4096,true);
//      . . 562
        System.out.println(fs.getFileStatus(path).getLen());

    } 

    @Test
    public void deleteAndCreateNewFile() throws IllegalArgumentException, IOException{
//      true表示需要遞迴刪除
        fs.delete(new Path("/user/root/output1"),true);
        Path path = new Path(h+"/5.txt");
//      這個方法與create相比僅僅多了一個，檔案是否存在的判斷如果存在就不會建立了
        fs.createNewFile(path);
//      檔案追加
        FSDataOutputStream out = fs.append(new Path("/user/root/input/5.txt"));
        out.write("\nappend some data to a exists file\n".getBytes());
        out.flush();
        out.close();
    }