1. 從HDFS中讀取檔案內容

使用URL

import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;

import java.io.IOException;
import java.io.InputStream;
import java.net.MalformedURLException;
import java.net.URL;

/**
 * Created by zhangyan on 2017/1/4.
 */
public class URLCat {

    /**
     * 要從Hadoop檔案系統中讀取檔案，最簡單的方法是使用java.net.URL物件開啟資料流，進而從中讀取資料
     * 要讓Java程式能夠識別Hadoop的hdfs URL，
     * 需要採用的方法是 FsUrlStreamHandlerFactory例項作為URL中setURLStreamHandlerFactory方法的引數。
     * 由於Java虛擬機器只能呼叫一次上述方法，因此通常在靜態方法 中呼叫上述方法。
     *
     * 沒有以下的static塊中的內容，會報出異常 java.net.MalformedURLException: unknown protocol: hdfs
     */
 

static{ URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory()); } public static void main(String[] args) throws MalformedURLException,IOException{ InputStream in=null; try{ in = new URL(args[0]).openStream(); IOUtils.copyBytes(in, System.out, 4096, false); } finally{ IOUtils.closeStream(in); } }}

有時無法在應用中設定

URLStreamHandlarFactory例項，例如不受控制的第三方元件如果已經聲明瞭一個URLStreamHandlerFactory例項，你將無法再使用上述方法從Hadoop中讀取資料，這種情況下，需要使用FileSystem API來開啟一個檔案的輸入流。 

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

import java.io.InputStream;

/**
 * Created by zhangyan on 2017/1/5.
 */
/**
 * Hadoop的Filesystem類就是與Hadoop的某一檔案系統進行互動的 APl，
 * Filesystem類是一個抽象類，是需要被繼承的，所以只能通過get方法得到具體的類
 *
 * FileSystem是一個通用的檔案系統API，所以第一步是檢索需要使用的文 件系統例項，這裡是HDFS
 */
public class FileSystemCat {
    public static void main(String[] args) throws Exception {
        String uri = args[0];
        Configuration conf = new Configuration();

        //以下兩句定義FileSystem物件的方法都可以讀取HDFS內檔案的內容
        //FileSystem fs = FileSystem.get(URI.create(uri), conf);
        FileSystem fs = FileSystem.get(conf);

        //建立目錄
        fs.mkdirs(new Path("hdfs://myhadoop/apiPath"));

        InputStream in = null;
        try {
            //呼叫open()函式來獲取檔案的輸入流
            in = fs.open(new Path(uri));
            IOUtils.copyBytes(in, System.out, 4096, false);
        } finally {
            IOUtils.closeStream(in);
        }
    }
}
 

2. 向HDFS中寫入資料

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

import java.io.*;
import java.net.URI;

/**
 * Created by zhangyan on 2017/1/4.
 */
public class FileCopyToHDFS {
    public static void main(String[] args) throws IOException{
        String localSrc = args[0];
        String dst = args[1];
        InputStream in=new BufferedInputStream(new FileInputStream(localSrc));
        Configuration conf=new Configuration();

        //建立FileSystem物件。可以使用URI，也可以不使用URI
        //FileSystem fs=FileSystem.get(URI.create(dst),conf);
        FileSystem fs=FileSystem.get(conf);

        // 建立寫入資料的輸出流
        // 給準備建立的檔案指定一個Path物件
        // create()方法能夠為需要寫入且當前不存在的檔案建立父目錄
        OutputStream out=fs.create(new Path(dst));
        IOUtils.copyBytes(in, out, 4096, true);

    }
}

3. Delete HDFS中的Path

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;

/**
 * Created by zhangyan on 2017/1/4.
 */
public class MyUtils {
    public static void deleteDir(Configuration conf, String dirPath) throws IOException{
        FileSystem fs=FileSystem.get(conf);
        Path target=new Path(dirPath);
        //判斷Path物件在FileSystem中是否存在
        if(fs.exists(target)){
            //刪除路徑
            // 如果是directory的話，第二個引數為true則刪除資料夾及其包含的檔案，為false則拋異常
            // 如果是檔案的話，第二個引數為true或false都可以。。
            boolean delResult = fs.delete(target,true);
            if(delResult){
                System.out.println(target + " has been deleted sucessfullly.");
            } else {
                System.out.println(target + " deletion failed.");
            }
        }
    }
}

4. FileStatus，包含了檔案元資訊

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;

/**
 * Created by zhangyan on 2017/1/5.
 */
public class TestFileStatus {
    public static void main(String[] args) throws IOException{
        Configuration conf=new Configuration();
        FileSystem fs = FileSystem.get(conf);
        FileStatus fstat= fs.getFileStatus(new Path(args[0]));
        System.out.println(fstat.getAccessTime());
        System.out.println(fstat.getBlockSize());
        System.out.println(fstat.getLen());
        System.out.println(fstat.getReplication());
        System.out.println(fstat.getOwner());

    }
}