使用API訪問開啟安全Kerberos的Hdfs

• hadoop叢集(cdh叢集)在開啟kerberos安全認證方式後，通常如果在叢集shell客戶端通過hadoop dfs命令訪問的，經過kinit登入kerberos認證即可 ，如下所示

  • 如果不進行kinit登入kerberos使用者，則不能進行hdfs操作，如圖直接會報安全異常!
    
  • 而如果進行kinit登入後就能進行hdfs操作了，通過kinit [email protected] 然後輸出密碼就能在當前互動下獲取kerberos票據授權票據
    

• 而如果通過程式在遠端進行訪問，顯然不能再通過kinit來進行登入了，此時需要通過keytab檔案來進行訪問，keytab檔案生成這裡不在進行說明，主要說明獲取keytab檔案後如果通過程式碼來進行訪問

package com.test.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;
import org.apache.hadoop.security.UserGroupInformation;

import javax.security
 
.auth.Subject;
import java.io.IOException;
import java.net.URI;
import java.security.PrivilegedExceptionAction;

public class HdfsTest {
    public static void main(String[] args) throws Exception {
        test1();
    }
    //kerberos
    public static void test1() throws Exception{
        //設定java安全krb5配置，其中krb5.conf
 
檔案可以從成功開啟kerberos的叢集任意一臺節點/etc/krb5.conf拿到,
        //這裡應該也可以直接設定一下兩個屬性獲取 ，我沒有測試這個 
        //System.setProperty("java.security.krb5.realm","YOU-REALM.COM");
        //System.setProperty("java.security.krb5.KDC","kdc_hostname");
        System.setProperty("java.security.krb5.conf", "E:\\test\\krb5.conf")
        Configuration conf = new Configuration();
        //這裡設定namenode新
        conf.set("fs.defaultFS", "hdfs://namenode:8020");
        //需要增加hadoop開啟了安全的配置
        conf.setBoolean("hadoop.security.authorization", true);
        //配置安全認證方式為kerberos
        conf.set("hadoop.security.authentication", "Kerberos");
        //設定namenode的principal
        conf.set("dfs.namenode.kerberos.principal", "hdfs/[email protected]");
        //設定datanode的principal值為“hdfs/[email protected].COM”
        conf.set("dfs.datanode.kerberos.principal", "hdfs/[email protected]");
        //通過hadoop security下中的 UserGroupInformation類來實現使用keytab檔案登入 
        UserGroupInformation.setConfiguration(conf);
        //設定登入的kerberos principal和對應的keytab檔案，其中keytab檔案需要kdc管理員生成給到開發人員
        UserGroupInformation.loginUserFromKeytab("[email protected]","E:\\test\\user01.keytab");
        //獲取帶有kerberos驗證的檔案系統類
        FileSystem fileSystem1 = FileSystem.get(conf);
        //測試訪問情況
        Path path=new Path("hdfs://namenodehost:8020/user/user01");
        if(fileSystem1.exists(path)){
            System.out.println("===contains===");
        }
        RemoteIterator<LocatedFileStatus> list=fileSystem1.listFiles(path,true);
        while (list.hasNext()){
            LocatedFileStatus fileStatus=list.next();
            System.out.println(fileStatus.getPath());
        }
    } 
 }