2. 程式人生 > >Impala和Hive整合Sentry、Kerberos認證

Impala和Hive整合Sentry、Kerberos認證

阿新 • • 發佈：2018-12-13

關於 Kerberos 的安裝和 HDFS 配置 kerberos 認證，請參考 HDFS配置kerberos認證。

關於 Kerberos 的安裝和 YARN 配置 kerberos 認證，請參考 YARN配置kerberos認證。

關於 Kerberos 的安裝和 Hive 配置 kerberos 認證，請參考 Hive配置kerberos認證。

請先完成 HDFS 、YARN、Hive 配置 Kerberos 認證，再來配置 Impala 整合 Kerberos 認證 ！

參考 使用yum安裝CDH Hadoop叢集 安裝 hadoop 叢集，叢集包括三個節點，每個節點的ip、主機名和部署的元件分配如下：

192.168.56.121        cdh1     NameNode、Hive、ResourceManager、HBase、impala-state-store、impala-catalog、Kerberos Server
192.168.56.122        cdh2     DataNode、SSNameNode、NodeManager、HBase、impala-server
192.168.56.123        cdh3     DataNode、HBase、NodeManager、impala-server

注意：hostname 請使用小寫，要不然在整合 kerberos 時會出現一些錯誤。

1. 安裝必須的依賴

在每個節點上執行下面的命令：

 

  1. $ yum install python-devel openssl-devel python-pip cyrus-sasl cyrus-sasl-gssapi cyrus-sasl-devel -y

  2. $ pip-python install ssl

2. 生成 keytab

在 cdh1 節點，即 KDC server 節點上執行下面命令：

 

  1. $ cd /var/kerberos/krb5kdc/

  2.  

  3. kadmin.local -q "addprinc -randkey impala/[email protected] "

  4. kadmin.local -q "addprinc -randkey impala/[email protected] "

  5. kadmin.local -q "addprinc -randkey impala/[email protected] "

  6.  

  7. kadmin.local -q "xst -k impala-unmerge.keytab impala/[email protected] "

  8. kadmin.local -q "xst -k impala-unmerge.keytab impala/[email protected] "

  9. kadmin.local -q "xst -k impala-unmerge.keytab impala/[email protected] "

另外，如果你使用了haproxy來做負載均衡，參考官方文件Using Impala through a Proxy for High Availability，還需生成 proxy.keytab：

 

  1. $ cd /var/kerberos/krb5kdc/

  2.  

  3. # proxy 為安裝了 haproxy 的機器

  4. kadmin.local -q "addprinc -randkey impala/[email protected] "

  5.  

  6. kadmin.local -q "xst -k proxy.keytab impala/[email protected] "

合併 proxy.keytab 和 impala-unmerge.keytab 生成 impala.keytab：

 

  1. $ ktutil

  2. ktutil: rkt proxy.keytab

  3. ktutil: rkt impala-unmerge.keytab

  4. ktutil: wkt impala.keytab

  5. ktutil: quit

拷貝 impala.keytab 和 proxy_impala.keytab 檔案到其他節點的 /etc/impala/conf 目錄

 

  1. $ scp impala.keytab cdh1:/etc/impala/conf

  2. $ scp impala.keytab cdh2:/etc/impala/conf

  3. $ scp impala.keytab cdh3:/etc/impala/conf

並設定許可權，分別在 cdh1、cdh2、cdh3 上執行：

 

  1. $ ssh cdh1 "cd /etc/impala/conf/;chown impala:hadoop *.keytab ;chmod 400 *.keytab"

  2. $ ssh cdh2 "cd /etc/impala/conf/;chown impala:hadoop *.keytab ;chmod 400 *.keytab"

  3. $ ssh cdh3 "cd /etc/impala/conf/;chown impala:hadoop *.keytab ;chmod 400 *.keytab"

由於 keytab 相當於有了永久憑證，不需要提供密碼(如果修改 kdc 中的 principal 的密碼，則該 keytab 就會失效)，所以其他使用者如果對該檔案有讀許可權，就可以冒充 keytab 中指定的使用者身份訪問 hadoop，所以 keytab 檔案需要確保只對 owner 有讀許可權(0400)

3. 修改 impala 配置檔案

修改 cdh1 節點上的 /etc/default/impala，在 IMPALA_CATALOG_ARGS 、IMPALA_SERVER_ARGS 和 IMPALA_STATE_STORE_ARGS 中新增下面引數：

 

  1. -kerberos_reinit_interval=60

  2. -principal=impala/[email protected]

  3. -keytab_file=/etc/impala/conf/impala.keytab

如果使用了 HAProxy（關於 HAProxy 的配置請參考 Hive使用HAProxy配置HA），則 IMPALA_SERVER_ARGS 引數需要修改為（proxy為 HAProxy 機器的名稱，這裡我是將 HAProxy 安裝在 cdh1 節點上）：

 

  1. -kerberos_reinit_interval=60

  2. -be_principal=impala/[email protected]

  3. -principal=impala/[email protected]

  4. -keytab_file=/etc/impala/conf/impala.keytab

在 IMPALA_CATALOG_ARGS 中新增：

-state_store_host=${IMPALA_STATE_STORE_HOST} \

將修改的上面檔案同步到其他節點。最後，/etc/default/impala 檔案如下，這裡，為了避免 hostname 存在大寫的情況，使用 hostname 變數替換 _HOST：

 

  1. IMPALA_CATALOG_SERVICE_HOST=cdh1

  2. IMPALA_STATE_STORE_HOST=cdh1

  3. IMPALA_STATE_STORE_PORT=24000

  4. IMPALA_BACKEND_PORT=22000

  5. IMPALA_LOG_DIR=/var/log/impala

  6.  

  7. IMPALA_MEM_DEF=$(free -m |awk 'NR==2{print $2-5120}')

  8. hostname=`hostname -f |tr "[:upper:]" "[:lower:]"`

  9.  

  10. IMPALA_CATALOG_ARGS=" -log_dir=${IMPALA_LOG_DIR} -state_store_host=${IMPALA_STATE_STORE_HOST} \

  11. -kerberos_reinit_interval=60\

  12. -principal=impala/${hostname}@JAVACHEN.COM \

  13. -keytab_file=/etc/impala/conf/impala.keytab

  14. "

  15.  

  16. IMPALA_STATE_STORE_ARGS=" -log_dir=${IMPALA_LOG_DIR} -state_store_port=${IMPALA_STATE_STORE_PORT}\

  17. -statestore_subscriber_timeout_seconds=15 \

  18. -kerberos_reinit_interval=60 \

  19. -principal=impala/${hostname}@JAVACHEN.COM \

  20. -keytab_file=/etc/impala/conf/impala.keytab

  21. "

  22. IMPALA_SERVER_ARGS=" \

  23. -log_dir=${IMPALA_LOG_DIR} \

  24. -catalog_service_host=${IMPALA_CATALOG_SERVICE_HOST} \

  25. -state_store_port=${IMPALA_STATE_STORE_PORT} \

  26. -use_statestore \

  27. -state_store_host=${IMPALA_STATE_STORE_HOST} \

  28. -be_port=${IMPALA_BACKEND_PORT} \

  29. -kerberos_reinit_interval=60 \

  30. -be_principal=impala/${hostname}@JAVACHEN.COM \

  31. -principal=impala/[email protected] \

  32. -keytab_file=/etc/impala/conf/impala.keytab \

  33. -mem_limit=${IMPALA_MEM_DEF}m

  34. "

  35.  

  36. ENABLE_CORE_DUMPS=false

將修改的上面檔案同步到其他節點：cdh2、cdh3：

 

  1. $ scp /etc/default/impala cdh2:/etc/default/impala

  2. $ scp /etc/default/impala cdh3:/etc/default/impala

更新 impala 配置檔案下的檔案並同步到其他節點：

 

  1. cp /etc/hadoop/conf/core-site.xml /etc/impala/conf/

  2. cp /etc/hadoop/conf/hdfs-site.xml /etc/impala/conf/

  3. cp /etc/hive/conf/hive-site.xml /etc/impala/conf/

  4.  

  5. scp -r /etc/impala/conf cdh2:/etc/impala

  6. scp -r /etc/impala/conf cdh3:/etc/impala

4. 啟動服務

啟動 impala-state-store

impala-state-store 是通過 impala 使用者啟動的，故在 cdh1 上先獲取 impala 使用者的 ticket 再啟動服務：

 

  1. $ kinit -k -t /etc/impala/conf/impala.keytab impala/[email protected]

  2. $ service impala-state-store start

然後檢視日誌，確認是否啟動成功。

$ tailf /var/log/impala/statestored.INFO

啟動 impala-catalog

impala-catalog 是通過 impala 使用者啟動的，故在 cdh1 上先獲取 impala 使用者的 ticket 再啟動服務：

 

  1. $ kinit -k -t /etc/impala/conf/impala.keytab impala/[email protected]

  2. $ service impala-catalog start

然後檢視日誌，確認是否啟動成功。

$ tailf /var/log/impala/catalogd.INFO

啟動 impala-server

impala-server 是通過 impala 使用者啟動的，故在 cdh1 上先獲取 impala 使用者的 ticket 再啟動服務：

 

  1. $ kinit -k -t /etc/impala/conf/impala.keytab impala/[email protected]

  2. $ service impala-server start

然後檢視日誌，確認是否啟動成功。

$ tailf /var/log/impala/impalad.INFO

5. 測試

測試 impala-shell

在啟用了 kerberos 之後，執行 impala-shell 時，需要新增 -k 引數：

 

  1. $ impala-shell -k

  2. Starting Impala Shell using Kerberos authentication

  3. Using service name 'impala'

  4. Connected to cdh1:21000

  5. Server version: impalad version 1.3.1-cdh4 RELEASE (build 907481bf45b248a7bb3bb077d54831a71f484e5f)

  6. Welcome to the Impala shell. Press TAB twice to see a list of available commands.

  7.  

  8. Copyright (c) 2012 Cloudera, Inc. All rights reserved.

  9.  

  10. (Shell build version: Impala Shell v1.3.1-cdh4 (907481b) built on Wed Apr 30 14:23:48 PDT 2014)

  11. [cdh1:21000] >

  12. [cdh1:21000] > show tables;

  13. Query: show tables

  14. +------+

  15. | name |

  16. +------+

  17. | a |

  18. | b |

  19. | c |

  20. | d |

  21. +------+

  22. Returned 4 row(s) in 0.08s

6. 排除

如果出現下面異常：

[cdh1:21000] > select * from test limit 10;
Query: select * from test limit 10
ERROR: AnalysisException: Failed to load metadata for table: default.test
CAUSED BY: TableLoadingException: Failed to load metadata for table: test
CAUSED BY: TTransportException: java.net.SocketTimeoutException: Read timed out
CAUSED BY: SocketTimeoutException: Read timed out

則需要在 hive-site.xml 中新增下面引數：

 

  1. <property>

  2. <name>hive.metastore.client.socket.timeout</name>

  3. <value>3600</value>

  4. </property>

本文主要記錄 CDH 5.2 Hadoop 叢集中配置 Impala 和 Hive 整合 Sentry 的過程，包括 Sentry 的安裝、配置以及和 Impala、Hive 整合後的測試。

使用 Sentry 來管理叢集的許可權，需要先在叢集上配置好 Kerberos。

關於 Hadoop 叢集上配置 kerberos 以及 ldap 的過程請參考本部落格以下文章：

Sentry 會安裝在三個節點的 hadoop 叢集上，每個節點的ip、主機名和部署的元件分配如下：

192.168.56.121        cdh1     NameNode、Hive、ResourceManager、HBase、impala-state-store、impala-catalog、Kerberos Server、sentry-store
192.168.56.122        cdh2     DataNode、SSNameNode、NodeManager、HBase、impala-server
192.168.56.123        cdh3     DataNode、HBase、NodeManager、impala-server

Sentry 的使用有兩種方式，一是基於檔案的儲存方式（SimpleFileProviderBackend），一是基於資料庫的儲存方式（SimpleDbProviderBackend），如果使用基於檔案的儲存則只需要安裝sentry，否則還需要安裝 sentry-store。

1. 基於資料庫的儲存方式

1.1 安裝服務

在 cdh1 節點上安裝 sentry-store 服務：

yum install sentry sentry-store -y

修改 Sentry 的配置檔案 /etc/sentry/conf/sentry-store-site.xml，下面的配置參考了 Sentry原始碼中的配置例子：

 

  1. <?xml version="1.0" encoding="UTF-8"?>

  2. <configuration>

  3. <property>

  4. <name>sentry.service.admin.group</name>

  5. <value>impala,hive,hue</value>

  6. </property>

  7. <property>

  8. <name>sentry.service.allow.connect</name>

  9. <value>impala,hive,hue</value>

  10. </property>

  11. <property>

  12. <name>sentry.verify.schema.version</name>

  13. <value>true</value>

  14. </property>

  15. <property>

  16. <name>sentry.service.server.rpc-address</name>

  17. <value>cdh1</value>

  18. </property>

  19. <property>

  20. <name>sentry.service.server.rpc-port</name>

  21. <value>8038</value>

  22. </property>

  23. <property>

  24. <name>sentry.store.jdbc.url</name>

  25. <value>jdbc:postgresql://cdh1/sentry</value>

  26. </property>

  27. <property>

  28. <name>sentry.store.jdbc.driver</name>

  29. <value>org.postgresql.Driver</value>

  30. </property>

  31. <property>

  32. <name>sentry.store.jdbc.user</name>

  33. <value>sentry</value>

  34. </property>

  35. <property>

  36. <name>sentry.store.jdbc.password</name>

  37. <value>redhat</value>

  38. </property>

  39. <property>

  40. <name>sentry.hive.server</name>

  41. <value>server1</value>

  42. </property>

  43. <property>

  44. <name>sentry.store.group.mapping</name>

  45. <value>org.apache.sentry.provider.common.HadoopGroupMappingService</value>

  46. </property>

  47. </configuration>

建立資料庫，請參考 Hadoop自動化安裝shell指令碼：

 

  1. yum install postgresql-server postgresql-jdbc -y

  2.  

  3. ln -s /usr/share/java/postgresql-jdbc.jar /usr/lib/hive/lib/postgresql-jdbc.jar

  4. ln -s /usr/share/java/postgresql-jdbc.jar /usr/lib/sentry/lib/postgresql-jdbc.jar

  5.  

  6. su -c "cd ; /usr/bin/pg_ctl start -w -m fast -D /var/lib/pgsql/data" postgres

  7. su -c "cd ; /usr/bin/psql --command \"create user sentry with password 'redhat'; \" " postgres

  8. su -c "cd ; /usr/bin/psql --command \"CREATE DATABASE sentry owner=sentry;\" " postgres

  9. su -c "cd ; /usr/bin/psql --command \"GRANT ALL privileges ON DATABASE sentry TO sentry;\" " postgres

  10. su -c "cd ; /usr/bin/psql -U sentry -d sentry -f /usr/lib/sentry/scripts/sentrystore/upgrade/sentry-postgres-1.4.0-cdh5.sql" postgres

  11. su -c "cd ; /usr/bin/pg_ctl restart -w -m fast -D /var/lib/pgsql/data" postgres

/var/lib/pgsql/data/pg_hba.conf 內容如下：

# TYPE  DATABASE    USER        CIDR-ADDRESS          METHOD

# "local" is for Unix domain socket connections only
local   all         all                               md5
# IPv4 local connections:
#host    all         all         0.0.0.0/0             trust
host    all         all         127.0.0.1/32          md5

# IPv6 local connections:
#host    all         all         ::1/128               nd5

如果叢集開啟了 Kerberos 驗證，則需要在該節點上生成 Sentry 服務的 principal 並匯出為 ticket：

 

  1. $ cd /etc/sentry/conf

  2.  

  3. kadmin.local -q "addprinc -randkey sentry/[email protected] "

  4. kadmin.local -q "xst -k sentry.keytab sentry/[email protected] "

  5.  

  6. chown sentry:hadoop sentry.keytab ; chmod 400 *.keytab

然後，在/etc/sentry/conf/sentry-store-site.xml 中新增如下內容：

 

  1. <property>

  2. <name>sentry.service.security.mode</name>

  3. <value>kerberos</value>

  4. </property>

  5. <property>

  6. <name>sentry.service.server.principal</name>

  7. <value>sentry/[email protected]</value>

  8. </property>

  9. <property>

  10. <name>sentry.service.server.keytab</name>

  11. <value>/etc/sentry/conf/sentry.keytab</value>

  12. </property>

1.2. 準備測試資料

參考 Securing Impala for analysts，準備測試資料：

 

  1. $ cat /tmp/events.csv

  2. 10.1.2.3,US,android,createNote

  3. 10.200.88.99,FR,windows,updateNote

  4. 10.1.2.3,US,android,updateNote

  5. 10.200.88.77,FR,ios,createNote

  6. 10.1.4.5,US,windows,updateTag

  7.  

  8. $ hive -S

  9. hive> create database sensitive;

  10. hive> create table sensitive.events (

  11. ip STRING, country STRING, client STRING, action STRING

  12. ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

  13.  

  14. hive> load data local inpath '/tmp/events.csv' overwrite into table sensitive.events;

  15. hive> create database filtered;

  16. hive> create view filtered.events as select country, client, action from sensitive.events;

  17. hive> create view filtered.events_usonly as

  18. select * from filtered.events where country = 'US';

1.3 Hive-server2 整合 sentry

要求

在使用 Sentry 時，有如下要求：

1、需要修改 /user/hive/warehouse 許可權：

 

  1. hdfs dfs -chmod -R 770 /user/hive/warehouse

  2. hdfs dfs -chown -R hive:hive /user/hive/warehouse

2、修改 hive-site.xml 檔案，關掉 HiveServer2 impersonation

3、taskcontroller.cfg 檔案中確保 min.user.id=0。

修改配置檔案

修改 hive-site.xml，新增如下：

 

  1. <property>

  2. <name>hive.security.authorization.task.factory</name>

  3. <value>org.apache.sentry.binding.hive.SentryHiveAuthorizationTaskFactoryImpl</value>

  4. </property>

  5. <property>

  6. <name>hive.server2.session.hook</name>

  7. <value>org.apache.sentry.binding.hive.HiveAuthzBindingSessionHook</value>

  8. </property>

  9. <property>

  10. <name>hive.sentry.conf.url</name>

  11. <value>file:///etc/hive/conf/sentry-site.xml</value>

  12. </property>

在 /etc/hive/conf/ 目錄建立 sentry-site.xml：

 

  1. <?xml version="1.0" encoding="UTF-8"?>

  2. <configuration>

  3. <property>

  4. <name>sentry.service.client.server.rpc-port</name>

  5. <value>8038</value>

  6. </property>

  7. <property>

  8. <name>sentry.service.client.server.rpc-address</name>

  9. <value>cdh1</value>

  10. </property>

  11. <property>

  12. <name>sentry.service.client.server.rpc-connection-timeout</name>

  13. <value>200000</value>

  14. </property>

  15. <property>

  16. <name>sentry.service.security.mode</name>

  17. <value>kerberos</value>

  18. </property>

  19. <property>

  20. <name>sentry.service.server.principal</name>

  21. <value>sentry/[email protected]</value>

  22. </property>

  23. <property>

  24. <name>sentry.service.server.keytab</name>

  25. <value>/etc/sentry/conf/sentry.keytab</value>

  26. </property>

  27. <property>

  28. <name>sentry.hive.provider</name>

  29. <value>org.apache.sentry.provider.file.HadoopGroupResourceAuthorizationProvider</value>

  30. </property>

  31. <property>

  32. <name>sentry.hive.provider.backend</name>

  33. <value>org.apache.sentry.provider.db.SimpleDBProviderBackend</value>

  34. </property>

  35. <property>

  36. <name>sentry.hive.server</name>

  37. <value>server1</value>

  38. </property>

  39. <property>

  40. <name>sentry.metastore.service.users</name>

  41. <value>hive</value>

  42. </property>

  43. <property>

  44. <name>sentry.hive.testing.mode</name>

  45. <value>false</value>

  46. </property>

  47. </configuration>

sentry-store 中建立角色和組

在 beeline 中通過 hive（注意，在 sentry 中 hive 為管理員使用者）的 ticket 連線 hive-server2，建立 role、group 等等，執行下面語句：

 

  1. create role admin_role;

  2. GRANT ALL ON SERVER server1 TO ROLE admin_role;

  3. GRANT ROLE admin_role TO GROUP admin;

  4. GRANT ROLE admin_role TO GROUP hive;

  5.  

  6. create role test_role;

  7. GRANT ALL ON DATABASE filtered TO ROLE test_role;

  8. GRANT ALL ON DATABASE sensitive TO ROLE test_role;

  9. GRANT ROLE test_role TO GROUP test;

上面建立了兩個角色，一個是 admin_role，具有管理員許可權，可以讀寫所有資料庫，並授權給 admin 和 hive 組（對應作業系統上的組）；一個是 test_role，只能讀寫 filtered 和 sensitive 資料庫，並授權給 test 組

在 ldap 建立測試使用者

在 ldap 伺服器上建立系統使用者 yy_test，並使用 migrationtools 工具將該使用者匯入 ldap，最後設定 ldap 中該使用者密碼。

 

  1. # 建立 yy_test使用者

  2. useradd yy_test

  3.  

  4. grep -E "yy_test" /etc/passwd >/opt/passwd.txt

  5. /usr/share/migrationtools/migrate_passwd.pl /opt/passwd.txt /opt/passwd.ldif

  6. ldapadd -x -D "uid=ldapadmin,ou=people,dc=lashou,dc=com" -w secret -f /opt/passwd.ldif

  7.  

  8. #使用下面語句修改密碼，填入上面生成的密碼，輸入兩次：

  9.  

  10. ldappasswd -x -D 'uid=ldapadmin,ou=people,dc=lashou,dc=com' -w secret "uid=yy_test,ou=people,dc=lashou,dc=com" -S

在每臺 datanode 機器上建立 test 分組，並將 yy_test 使用者加入到 test 分組：

groupadd test ; useradd yy_test; usermod -G test,yy_test yy_test

測試

通過 beeline 連線 hive-server2，進行測試：

 

  1. # 切換到 test 使用者進行測試

  2. $ su test

  3.  

  4. $ kinit -k -t test.keytab test/[email protected]

  5.  

  6. $ beeline -u "jdbc:hive2://cdh1:10000/default;principal=test/[email protected]"

1.4 Impala 整合 Sentry

修改配置

修改 /etc/default/impala 檔案中的 IMPALA_SERVER_ARGS 引數，新增：

 

  1. -server_name=server1

  2. -sentry_config=/etc/impala/conf/sentry-site.xml

在 IMPALA_CATALOG_ARGS 中新增：

-sentry_config=/etc/impala/conf/sentry-site.xml

注意：server1 必須和 sentry-provider.ini 檔案中的保持一致。

IMPALA_SERVER_ARGS 引數最後如下：

 

  1. hostname=`hostname -f |tr "[:upper:]" "[:lower:]"`

  2.  

  3. IMPALA_SERVER_ARGS=" \

  4. -log_dir=${IMPALA_LOG_DIR} \

  5. -catalog_service_host=${IMPALA_CATALOG_SERVICE_HOST} \

  6. -state_store_port=${IMPALA_STATE_STORE_PORT} \

  7. -use_statestore \

  8. -state_store_host=${IMPALA_STATE_STORE_HOST} \

  9. -kerberos_reinit_interval=60 \

  10. -principal=impala/${hostname}@JAVACHEN.COM \

  11. -keytab_file=/etc/impala/conf/impala.keytab \

  12. -enable_ldap_auth=true -ldap_uri=ldaps://cdh1 -ldap_baseDN=ou=people,dc=javachen,dc=com \

  13. -server_name=server1 \

  14. -sentry_config=/etc/impala/conf/sentry-site.xml \

  15. -be_port=${IMPALA_BACKEND_PORT} -default_pool_max_requests=-1 -mem_limit=60%"

建立 /etc/impala/conf/sentry-site.xml 內容如下：

 

  1. <?xml version="1.0" encoding="UTF-8"?>

  2. <configuration>

  3. <property>

  4. <name>sentry.service.client.server.rpc-port</name>

  5. <value>8038</value>

  6. </property>

  7. <property>

  8. <name>sentry.service.client.server.rpc-address</name>

  9. <value>cdh1</value>

  10. </property>

  11. <property>

  12. <name>sentry.service.client.server.rpc-connection-timeout</name>

  13. <value>200000</value>

  14. </property>

  15. <property>

  16. <name>sentry.service.security.mode</name>

  17. <value>kerberos</value>

  18. </property>

  19. <property>

  20. <name>sentry.service.server.principal</name>

  21. <value>sentry/[email protected]</value>

  22. </property>

  23. <property>

  24. <name>sentry.service.server.keytab</name>

  25. <value>/etc/sentry/conf/sentry.keytab</value>

  26. </property>

  27. </configuration>

測試

請參考下午基於檔案儲存方式中 impala 的測試。

2. 基於檔案儲存方式

2.1 hive 整合 sentry

修改配置檔案

在 hive 的 /etc/hive/conf 目錄下建立 sentry-site.xml 檔案，內容如下：

 

  1. <?xml version="1.0" encoding="UTF-8"?>

  2. <configuration>

  3. <property>

  4. <name>hive.sentry.server</name>

  5. <value>server1</value>

  6. </property>

  7. <property>

  8. <name>sentry.hive.provider.backend</name>

  9. <value>org.apache.sentry.provider.file.SimpleFileProviderBackend</value>

  10. </property>

  11. <property>

  12. <name>hive.sentry.provider</name>

  13. <value>org.apache.sentry.provider.file.HadoopGroupResourceAuthorizationProvider</value>

  14. </property>

  15. <property>

  16. <name>hive.sentry.provider.resource</name>

  17. <value>/user/hive/sentry/sentry-provider.ini</value>

  18. </property>

  19. </configuration>

建立 sentry-provider.ini 檔案並將其上傳到 hdfs 的 /user/hive/sentry/ 目錄：

 

  1. $ cat /tmp/sentry-provider.ini

  2. [databases]

  3. # Defines the location of the per DB policy file for the customers DB/schema

  4. #db1 = hdfs://cdh1:8020/user/hive/sentry/db1.ini

  5.  

  6. [groups]

  7. admin = any_operation

  8. hive = any_operation

  9. test = select_filtered

  10.  

  11. [roles]

  12. any_operation = server=server1->db=*->table=*->action=*

  13. select_filtered = server=server1->db=filtered->table=*->action=SELECT

  14. select_us = server=server1->db=filtered->table=events_usonly->action=SELECT

  15.  

  16. [users]

  17. test = test

  18. hive= hive

  19.  

  20. $ hdfs dfs -rm -r /user/hive/sentry/sentry-provider.ini

  21. $ hdfs dfs -put /tmp/sentry-provider.ini /user/hive/sentry/

  22. $ hdfs dfs -chown hive:hive /user/hive/sentry/sentry-provider.ini

  23. $ hdfs dfs -chmod 640 /user/hive/sentry/sentry-provider.ini

關於 sentry-provider.ini 檔案的語法說明，請參考官方文件。這裡我指定了 Hive 組有全部許可權，並指定 Hive 使用者屬於 Hive 分組，而其他兩個分組只有部分許可權。

然後在 hive-site.xml 中新增如下配置：

 

  1. <property>

  2. <name>hive.security.authorization.task.factory</name>

  3. <value>org.apache.sentry.binding.hive.SentryHiveAuthorizationTaskFactoryImpl</value>

  4. </property>

  5. <property>

  6. <name>hive.server2.session.hook</name>

  7. <value>org.apache.sentry.binding.hive.HiveAuthzBindingSessionHook</value>

  8. </property>

  9. <property>

  10. <name>hive.sentry.conf.url</name>

  11. <value>file:///etc/hive/conf/sentry-site.xml</value>

  12. </property>

將配置檔案同步到其他節點，並重啟 hive-server2 服務。

測試

這裡，我叢集中 hive-server2 開啟了 kerberos 認證，故通過 hive 使用者來連線 hive-server2。

 

  1. $ kinit -k -t /etc/hive/conf/hive.keytab hive/[email protected]

  2.  

  3. $ beeline -u "jdbc:hive2://cdh1:10000/default;principal=hive/[email protected]"

  4. scan complete in 10ms

  5. Connecting to jdbc:hive2://cdh1:10000/default;principal=hive/[email protected]

  6. Connected to: Apache Hive (version 0.13.1-cdh5.2.0)

  7. Driver: Hive JDBC (version 0.13.1-cdh5.2.0)

  8. Transaction isolation: TRANSACTION_REPEATABLE_READ

  9. Beeline version 0.13.1-cdh5.2.0 by Apache Hive

  10. 5 rows selected (0.339 seconds)

  11.  

  12. 0: jdbc:hive2://cdh1:10000/default> show databases;

  13. +----------------+--+

  14. | database_name |

  15. +----------------+--+

  16. | default |

  17. | filtered |

  18. | sensitive |

  19. +----------------+--+

  20. 10 rows selected (0.145 seconds)

  21.  

  22. 0: jdbc:hive2://cdh1:10000/default> use filtered

  23. No rows affected (0.132 seconds)

  24.  

  25. 0: jdbc:hive2://cdh1:10000/default> show tables;

  26. +----------------+--+

  27. | tab_name |

  28. +----------------+--+

  29. | events |

  30. | events_usonly |

  31. +----------------+--+

  32. 2 rows selected (0.158 seconds)

  33. 0: jdbc:hive2://cdh1:10000/default> use sensitive;

  34. No rows affected (0.115 seconds)

  35.  

  36. 0: jdbc:hive2://cdh1:10000/default> show tables;

  37. +-----------+--+

  38. | tab_name |

  39. +-----------+--+

  40. | events |

  41. +-----------+--+

  42. 1 row selected (0.148 seconds)

2.3 impala 整合 sentry

修改配置檔案

修改 /etc/default/impala 檔案中的 IMPALA_SERVER_ARGS 引數，新增：

 

  1. -server_name=server1

  2. -authorization_policy_file=/user/hive/sentry/sentry-provider.ini

  3. -authorization_policy_provider_class=org.apache.sentry.provider.file.LocalGroupResourceAuthorizationProvider

注意：server1 必須和 sentry-provider.ini 檔案中的保持一致。

IMPALA_SERVER_ARGS 引數最後如下：

 

  1. hostname=`hostname -f |tr "[:upper:]" "[:lower:]"`

  2.  

  3. IMPALA_SERVER_ARGS=" \

  4. -log_dir=${IMPALA_LOG_DIR} \

  5. -catalog_service_host=${IMPALA_CATALOG_SERVICE_HOST} \

  6. -state_store_port=${IMPALA_STATE_STORE_PORT} \

  7. -use_statestore \

  8. -state_store_host=${IMPALA_STATE_STORE_HOST} \

  9. -be_port=${IMPALA_BACKEND_PORT} \

  10. -server_name=server1 \

  11. -authorization_policy_file=/user/hive/sentry/sentry-provider.ini \

  12. -authorization_policy_provider_class=org.apache.sentry.provider.file.LocalGroupResourceAuthorizationProvider \

  13. -enable_ldap_auth=true -ldap_uri=ldaps://cdh1 -ldap_baseDN=ou=people,dc=javachen,dc=com \

  14. -kerberos_reinit_interval=60 \

  15. -principal=impala/${hostname}@JAVACHEN.COM \

  16. -keytab_file=/etc/impala/conf/impala.keytab \

  17. "

測試

重啟 impala-server 服務，然後進行測試。因為我這裡 impala-server 集成了 kerberos 和 ldap，現在通過 ldap 來進行測試。

先通過 ldap 的 test 使用者來測試：

 

  1. impala-shell -l -u test

  2. Starting Impala Shell using LDAP-based authentication

  3. LDAP password for test:

  4. Connected to cdh1:21000

  5. Server version: impalad version 2.0.0-cdh5 RELEASE (build ecf30af0b4d6e56ea80297df2189367ada6b7da7)

  6. Welcome to the Impala shell. Press TAB twice to see a list of available commands.

  7.  

  8. Copyright (c) 2012 Cloudera, Inc. All rights reserved.

  9.  

  10. (Shell build version: Impala Shell v2.0.0-cdh5 (ecf30af) built on Sat Oct 11 13:56:06 PDT 2014)

  11.  

  12. [cdh1:21000] > show databases;

  13. Query: show databases

  14. +---------+

  15. | name |

  16. +---------+

  17. | default |

  18. +---------+

  19. Fetched 1 row(s) in 0.11s

  20.  

  21. [cdh1:21000] > show tables;

  22.  

  23. Query: show tables

  24. ERROR: AuthorizationException: User 'test' does not have privileges to access: default.*

  25.  

  26. [cdh1:21000] >

可以看到 test 使用者沒有許可權檢視和資料庫，這是因為 sentry-provider.ini 檔案中並沒有給 test 使用者分配任何許可權。

下面使用 hive 使用者來測試。使用下面命令在 ldap 中建立 hive 使用者和組並給 hive 使用者設定密碼。

 

  1. $ grep hive /etc/passwd >/opt/passwd.txt

  2. $ /usr/share/migrationtools/migrate_passwd.pl /opt/passwd.txt /opt/passwd.ldif

  3.  

  4. $ ldapadd -x -D "uid=ldapadmin,ou=people,dc=javachen,dc=com" -w secret -f /opt/passwd.ldif

  5.  

  6. $ grep hive /etc/group >/opt/group.txt

  7. $ /usr/share/migrationtools/migrate_group.pl /opt/group.txt /opt/group.ldif

  8.  

  9. $ ldapadd -x -D "uid=ldapadmin,ou=people,dc=javachen,dc=com" -w secret -f /opt/group.ldif

  10.  

  11. # 修改 ldap 中 hive 使用者密碼

  12. $ ldappasswd -x -D 'uid=ldapadmin,ou=people,dc=javachen,dc=com' -w secret "uid=hive,ou=people,dc=javachen,dc=com" -S

然後，使用 hive 使用者測試：

$ impala-shell -l -u hive
    Starting Impala Shell using LDAP-based authentication
    LDAP password for hive:
    Connected to cdh1:21000
    Server version: impalad version 2.0.0-cdh5 RELEASE (build ecf30af0b4d6e56ea80297df2189367ada6b7da7)
    Welcome to the Impala shell. Press TAB twice to see a list of available commands.

    Copyright (c) 2012 Cloudera, Inc. All rights reserved.

    (Shell build version: Impala Shell v2.0.0-cdh5 (ecf30af) built on Sat Oct 11 13:56:06 PDT 2014)

[cdh1:21000] > show databases;
    Query: show databases
    +------------------+
    | name             |
    +------------------+
    | _impala_builtins |
    | default          |
    | filtered         |
    | sensitive        |
    +------------------+
    Fetched 11 row(s) in 0.11s

[cdh1:21000] > use sensitive;
    Query: use sensitive

[cdh1:21000] > show tables;
    Query: show tables
    +--------+
    | name   |
    +--------+
    | events |
    +--------+
    Fetched 1 row(s) in 0.11s

[cdh1:21000] > select * from events;
    Query: select * from events
    +--------------+---------+---------+------------+
    | ip           | country | client  | action     |
    +--------------+---------+---------+------------+
    | 10.1.2.3     | US      | android | createNote |
    | 10.200.88.99 | FR      | windows | updateNote |
    | 10.1.2.3     | US      | android | updateNote |
    | 10.200.88.77 | FR      | ios     | createNote |
    | 10.1.4.5     | US      | windows | updateTag  |
    +--------------+---------+---------+------------+
    Fetched 5 row(s) in 0.76s

同樣，你還可以使用其他使用者來測試。

也可以使用 beeline 來連線 impala-server 來進行測試：

 

  1. $ beeline -u "jdbc:hive2://cdh1:21050/default;" -n test -p test

  2. scan complete in 2ms

  3. Connecting to jdbc:hive2://cdh1:21050/default;

  4. Connected to: Impala (version 2.0.0-cdh5)

  5. Driver: Hive JDBC (version 0.13.1-cdh5.2.0)

  6. Transaction isolation: TRANSACTION_REPEATABLE_READ

  7. Beeline version 0.13.1-cdh5.2.0 by Apache Hive

  8. 0: jdbc:hive2://cdh1:21050/default>

3. 參考文章

  • Securing Impala for analysts
  • Setting Up Hive Authorization with Sentry
  • Sentry原始碼中的配置例子

    impala授權

    SHOW CREATE table hue.auth_permission;
    ALTER TABLE hue.auth_permission DROP FOREIGN KEY content_type_id_refs_id_id value;
    DELETE FROM hue.django_content_type;
    ALTER TABLE hue.auth_permission ADD FOREIGN KEY (content_type_id) REFERENCES django_content_type (id);

    為HDFS定義URI時，還必須指定NameNode。例如：
    GRANT ALL ON URI檔案：/// path / to / dir TO <role>
    GRANT ALL ON URI hdfs：// namenode：port / path / to / dir TO <role>
    GRANT ALL ON URI hdfs：// ha -nn-uri / path / to / dir TO <role>
    管理使用者的許可權示例
    在此示例中，SQL語句授予 entire_server 角色伺服器中的資料庫和URI的所有特權。

    CREATE ROLE whole_server;
    GRANT ROLE whole_server TO GROUP admin_group;
    GRANT ALL ON SERVER server1 TO ROLE whole_server;


    具有特定資料庫和表的許可權的使用者
    如果使用者具有特定資料庫中特定表的許可權，則使用者可以訪問這些內容，但不能訪問其他內容。他們可以在輸出中看到表及其父資料庫 顯示錶格 和 顯示資料庫， 使用 適當的資料庫，並執行相關的行動（選擇 和/或 插）基於表許可權。要實際建立表需要所有 資料庫級別的許可權，因此您可以為使用者設定單獨的角色，以設定架構以及對錶執行日常操作的其他使用者或應用程式。
    CREATE ROLE one_database;
    GRANT ROLE one_database TO GROUP admin_group;
    GRANT ALL ON DATABASE db1 TO ROLE one_database;

    CREATE ROLE instructor;
    GRANT ROLE instructor TO GROUP trainers;
    GRANT ALL ON TABLE db1.lesson TO ROLE instructor;

    # This particular course is all about queries, so the students can SELECT but not INSERT or CREATE/DROP.
    CREATE ROLE student;
    GRANT ROLE student TO GROUP visitors;
    GRANT SELECT ON TABLE db1.training TO ROLE student;

    使用外部資料檔案的許可權
    通過資料插入資料時 負載資料 語句，或從普通Impala資料庫目錄之外的HDFS位置引用，使用者還需要對與這些HDFS位置對應的URI的適當許可權。

    在這個例子中：

    該 external_table 角色可以插入並查詢Impala表， external_table.sample。
    該 STAGING_DIR角色可以指定HDFS路徑/使用者/ Cloudera的/ external_data與負載資料宣告。當Impala查詢或載入資料檔案時，它會對該目錄中的所有檔案進行操作，而不僅僅是單個檔案，因此任何Impala都可以位置 引數指的是目錄而不是單個檔案。
    CREATE ROLE external_table; 
    GRANT ROLE external_table TO GROUP cloudera; 
    GRANT ALL ON TABLE external_table.sample TO ROLE external_table; 

    CREATE ROLE staging_dir; 
    GRANT ROLE staging TO GROUP cloudera; 
    GRANT ALL ON URI'hdfs：//127.0.0.1：8020 / user / cloudera / external_data'TO ROLE staging_dir;

    將管理員職責與讀寫許可權分開
    要建立資料庫，您需要該資料庫的完全許可權，而對該資料庫中的表的日常操作可以在特定表上使用較低級別的許可權執行。因此，您可以為每個資料庫或應用程式設定單獨的角色：可以建立或刪除資料庫的管理角色，以及只能訪問相關表的使用者級角色。

    在此示例中，職責分為3個不同組中的使用者：
    CREATE ROLE training_sysadmin;
    GRANT ROLE training_sysadmin TO GROUP supergroup;
    GRANT ALL ON DATABASE training1 TO ROLE training_sysadmin;

    CREATE ROLE instructor;
    GRANT ROLE instructor TO GROUP cloudera;
    GRANT ALL ON TABLE training1.course1 TO ROLE instructor;

    CREATE ROLE visitor;
    GRANT ROLE student TO GROUP visitor;
    GRANT SELECT ON TABLE training1.course1 TO ROLE student;

    server=server_name->db=database_name->table=table_name->action=SELECT
    server=server_name->db=database_name->table=table_name->action=ALL

    server=impala-host.example.com->db=default->table=t1->action=SELECT
    server=impala-host.example.com->db=*->table=audit_log->action=SELECT
    server=impala-host.example.com->db=default->table=t1->action=*

相關推薦

Impala和Hive整合Sentry、Kerberos認證

關於 Kerberos 的安裝和 HDFS 配置 kerberos 認證，請參考 HDFS配置kerberos認證。 關於 Kerberos 的安裝和 YARN 配置 kerberos 認證，請參考 YARN配置kerberos認證。 關於 Kerberos 的安裝和 Hive 配置

hive整合sentry，impala，hue之後權限管理操作

rop ase sele mce 授權 use ole 權限管理 sta 7.Hive授權參考(開啟sentry之後,對用戶授權用不了,只能針對用戶組，grant role testrole to user xxxxxxx; ) 7.1：角色創建和刪除 create

hive 整合sentry

環境 apache-hive-2.3.3-bin apache-sentry-2.1.0-bin sentry是目前最新的版本，支援hive的最高版本為2.3.3，hive版本如果高於2.3.3，會出一些版本相容問題[親測] hive快速安裝 wget http://m

大資料開發面試：Impala和hive的比較（最全版）

Impala和hive的比較 Impala是Cloudera公司主導開發的新型查詢系統，它提供SQL語義，能查詢儲存在Hadoop的HDFS和HBase中的PB級大資料。已有的Hive系統雖然也提供了SQL語義，但由於Hive底層執行使用的是MapReduce引擎，仍然是一

SparkSQL和Hive整合

-a. 啟動hive的metastore服務[[email protected] ~]$ /opt/cdh-5.3.6/hive-0.13.1-cdh5.3.6/bin/hive --service metastore &Q>org.apache.th

Impala006-impala 資料處理&impala 和 HBase整合&JDBC方式訪問Impala

一、資料檔案處理    載入資料：     1、insert語句：插入資料時每條資料產生一個數據檔案，不建議用此方式載入批量資料     2、load data方式：再進行批量插入時使用這種方式比較合適     3、來自中間表：此種方式使用於從一個小檔案較多的大表中讀取檔

hbase和hive整合實戰

hbase表對映到hive表中 1 在hbase中建立表： 表名hbase_test, 有三個列族 f1、f2、f3 create 'hbase_test',{NAME => 'f1',VERSIONS => 1},{NAME => 'f2',

springmvc整合kerberos認證hive jdbc連線

話說，是springmvc連線hive沒啥問題，那如果是kerberos認證的hive怎麼連 <beans:bean id="jdbcListener" class="com.bonc.b

SpringBoot整合Shiro、JWT 進行請求認證和鑑權

什麼是JWT? JSON Web Token（JWT）是一個開放標準（RFC 7519），它定義了一種緊湊且獨立的方式，可以在各方之間作為JSON物件安全地傳輸資訊。此資訊可以通過數字簽名進行驗證和信任。JWT可以使用祕密（使用HMAC演算法）或使用RSA或ECDSA的公鑰/私鑰對進

hive0.11的hive server實現kerberos認證和impersonation中碰到的問題

1. 針對”select *from xxx“這種不起MR Job的語句，server端是直接通過MetastoreClient拿到了表對應hdfs的存放路徑用FetchTask讀取出來的。這邊有點要注意的是hive 0.11中新增加了一個配置項”hive.fetch.task.conversion“，由

ElasticSearch和Hive做整合

oop 執行 nod last space property style pan mil 1、上傳elasticsearh-hadoop的jar包到server1-hadoop-namenode-01上 在server1-hadoop-namenode-01上執行：

008-shiro與spring web項目整合【二】認證、授權、session管理

添加 ner != efi ebs ref private date err 一、認證 1、添加憑證匹配器 添加憑證匹配器實現md5加密校驗。 修改applicationContext-shiro.xml： <!-- realm -->

SpringBoot(十四)：springboot整合shiro-登錄認證和權限管理

sets man throws 將不 匹配 跳轉 ida 管理員 領域 原文出處： 純潔的微笑 這篇文章我們來學習如何使用Spring Boot集成Apache Shiro。安全應該是互聯網公司的一道生命線，幾乎任何的公司都會涉及到這方面的需求。在Java領域一般有Spri

Spring整合JMS、IBM MQ發送和接收消息

turn this oat implement actor AI encoding title post Spring整合JMS、IBM MQ發送和接收消息 2017年03月23日 17:45:30 轉載。 https://blog.csdn.net/Yolanda

Spring Boot整合JPA、Redis和Swagger2

enc code extends art redis學習 and 小結 JD pip 好久沒有總結了，最近也一直在學習。今天就把spring boot與其它技術的整合做個小總結，主要是jpa、redis和swagger2。公司裏有用到這些，整合起來也很簡單。 首先，新建一個

03、Swagger2和Springmvc整合詳細記錄（爬坑記錄）

component 效果 ges context tex ron 問題 package amp 時間 內容 備註 2018年6月18日 基本使用 spirngmvc整合swagger2 開始之前這個系列博文基本是，在項目的使用中一些模塊的內容記錄，但是

業務邏輯:五、完成認證用戶的動態授權功能 六、完成Shiro整合Ehcache緩存權限數據

nbsp 數據 屬性 查詢 添加 系統 tro 系統管 核心 一、 完成認證用戶的動態授權功能 提示：根據當前認證用戶查詢數據庫，獲取其對應的權限，為其授權 操作步驟： 在realm的授權方法中通過使用principals對象獲取到當前登錄用戶 創建一個授權信息對象

十一、mybatis和spring整合

tor .class 持久 source 字母 HERE code 掃描 method 想要整合mybatis和spring,那麽我們首先要知道這兩個框架是幹嘛的，對於mybatis我們前面幾篇博客已經有了很詳細的介紹，我們通過加載mybatis-configuratio

spring、springmvc和mybatis整合（java config方式）

ada vat req style face sat roo art 實體 　　之前項目中使用ssm框架大多是基於xml的方式，spring3.0以後就提供java config的模式來構建項目，並且也推薦使用這種方式，自從接觸過springboot後，深深感受到這種純ja

【多資料來源連線】-Spring整合Hbase、Impala、Orcale三種資料來源

       專案中需要按需連線不同的資料來源，原專案預設為mysql連線，現在要新增Hbase、Impala、Orcale三種資料來源，以支援現有的查詢（屬於報表子系統）。 MySql、Orcale、Impala是關係型資料庫，可以用bean來配置