005-hive概述
阿新 • • 發佈:2017-06-05
keep grant 語法 數據表 dex apr delete per times
Hive概述
名稱 | |||
hive系統架構 | metastore | derby mysql |
|
HDFS | /usr/hive/warehouse | ||
Mapreduce | |||
hive配置文件 | hive-env.sh hive-site.xml hive-log4j.properties |
||
hive命令行 | hive --config | ||
hive shell | quit、exit reset set add、list、delete FILES !<command> dfs<command> source files |
||
hive service | hive --service cli hive --service hiveserver hive --service metastore hive --service hwi hive --service jar |
||
HiveQL | 語法關鍵字 | show databases show PARTITIONS show tables create table load data(local) inpath select * from desc、alert/drop limit、as、case when then、union like、group by、having cluster by |
|
數據類型 | 簡單類型 | tinyint、smallint、int、bigint float、double boolean string timestamp binary |
|
復雜類型 | array map struct |
||
表 | 內部表 | ||
外部表 | HDFS HBase Cassandra DynamoDB |
||
表查詢 | 單表查詢 inner joins outer joins Semi joins map joins 子查詢 視圖 |
||
數據表設計 | 每日一表 每日一表分區 按桶分散數據 |
||
Hive優化 | 表分區Partitions 表存儲桶buckets 表壓縮 索引→bitmap indexes 執行計劃 控制Mappers、reducer數量 |
||
訪問方式 | Hive shell java jdbc api thrift client Rhive |
||
自定義函數 | 自定義函數UDF 自定義聚合函數UADF |
||
Hive安全 | 認證 | hive.files.umask.value hive.metastore.authorization.storage.checks hive.metastore.execute.setugi |
|
授權 | hive.security.authorization.enabled hive.security.authorization.createtable.owner.grants hive.security.authorization.createtable.user.grants |
||
權限模型 | User Group Role |
||
web控制臺 | hwi:9999 | ||
軟件集成 | zookeeper thrift Ooize HCatalog AWS |
005-hive概述