LINUX下安裝HPL/SQL
Java 1.6 及以上版本
Hadoop 1.x 或 2.x版本
本例環境信息:
Linux version:CentOS release 6.8 (Final)
Hadoop version:hdp 2.4.0.0-169
Java version:jre-1.8.0-openjdk.x86_64
下載hpl/sql安裝包
下載地址:http://www.hplsql.org/download
下載完成後上傳到linux平臺
解壓安裝包並安裝到/opt:
tar -zvxf hplsql-0.3.31.tar.gz -C /opt
ln -s /opt/hplsql-0.3.31 /opt/hplsql
解壓後包含以下文件
? hplsql.cmd
? hplsql-x.x.x.jar
? hplsql-site.xml
? antlr-runtime-4.5.jar
修改權限:
Chmod +x /opt/hplsql
配置CLASSPATH
Cd /opt/hplsql
Vi hplsql
如果是hadoop為CDH
刪除hplsql文件中所有的export “HADOOP_CLASSPATH=…”
添加export “HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH/jars/*”
如果是hadoop為HDP
檢查/usr/hdp/x.x.x.x-x目錄,並修改hplsql文件中所有的export “HADOOP_CLASSPATH=…”路徑為/usr/hdp/x.x.x.x-x對應的路徑。
其他版本的hadoop,請檢查/usr/lib下是否有hadoop的jars,並在phlsql文件做對應的修改。
測試是否安裝成功
/opt/hplsql –version
Cd /opt/hplsql
./hplsql –version
如果以上命令能返回hplsql的版本信息,則表示安裝成功。
添加hplsql到PATH變量
Export PATH=$PATH:/opt/hplsql
設置PATH後就可以直接通過hplsql命令調用HPL/SQL
Hplsql <option>
配置
Cd /opt/hplsql
Vi hplsql-site.xml
修改
<property>
<name>hplsql.conn.init.hive2conn</name>
</property>
為:
<property>
<name>hplsql.conn.init.hive2conn</name>
<value>
Set mapred.job.queue.name=dev;
Set hive.execution.engine=mr;
Use sales_db;
</value>
</property>
運行HPL/SQL
Hplsql -e “CURRENT_DATE+1”
Hplsql -e “SELECT * FROM src LIMIT 1”
Hplsql -f script.sql
在shell腳本中使用HPL/SQL
從HPL/SQL腳本中獲取一個值
MDATE=$(hplsql -e “NVL(MIN_PARTITION_DATE(sales,local_dt,code=’A’),’1970-01-01’)”)
START=$(hplsql -e ‘CURRENT_DATE – 1’)
LINUX下安裝HPL/SQL