Hive部署
阿新 • • 發佈:2017-12-29
hive什麽是 Hive
Hive 是一個翻譯器,它可以將SQL語句翻譯成一個 MapReduce 程序
常見的數據分析引擎: Hive, Pig, Impala, Spark SQL
Hive 是一個基於Hadoop 之上的數據分析引擎(數據倉庫)
Hives HDFS
表 --------> 目錄
數據 --------> 文件
分區 --------> 目錄 HIVE_HOME=/root/training/apache-hive-2.3.0-bin
export HIVE_HOME
PATH=$HIVE_HOME/bin:$PATH
export PATH <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:derby:;databaseName=metastore_db;create=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>org.apache.derby.jdbc.EmbeddedDriver</value>
</property>
<property>
<name>hive.metastore.local</name>
<value>true</value>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>file:///root/training/apache-hive-2.3.0-bin/warehouse</value>
</property>
</configuration>
初始化MetaStore:
schematool -dbType derby -initSchema
Hive 是一個翻譯器,它可以將SQL語句翻譯成一個 MapReduce 程序
常見的數據分析引擎: Hive, Pig, Impala, Spark SQL
Hive 是一個基於Hadoop 之上的數據分析引擎(數據倉庫)
Hives HDFS
表 --------> 目錄
數據 --------> 文件
分區 --------> 目錄
環境部署:
部署前準備:
環境變量:vi ~/.bash_profile
export HIVE_HOME
PATH=$HIVE_HOME/bin:$PATH
export PATH
嵌入式部署:
(1)使用Hive自帶的Derby數據庫來存儲元信息
(2)Hive只支持一個連接
創建 conf/hive-site.xml
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:derby:;databaseName=metastore_db;create=true</value>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>org.apache.derby.jdbc.EmbeddedDriver</value>
</property>
<property>
<name>hive.metastore.local</name>
<value>true</value>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>file:///root/training/apache-hive-2.3.0-bin/warehouse</value>
</property>
</configuration>
初始化MetaStore:
schematool -dbType derby -initSchema
Hive部署