1. 程式人生 > >sqoop(1):安裝和配置

sqoop(1):安裝和配置

一、功能

在大資料處理之後,需要資料展示,所以,要把相對較少的資料儲存到關係型資料庫中,然後做一套框架給外部查詢展示。sqoop的作用就是把資料從hdfs或者hive中匯出到mysql等關係型資料庫

二、sqoop部署

1.解壓 

tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/modules/

2.重新命名sqoop-env-template.sh為sqoop-env.sh檔案

3.修改sqoop-env.sh檔案

export HADOOP_COMMON_HOME=/opt/modules/apache/hadoop-2.7.3
export HADOOP_MAPRED_HOME=/opt/modules/apache/hadoop-2.7.3
export HIVE_HOME=/opt/modules/hive-1.2.1
export ZOOCFGDIR=/opt/modules/zookeeper-3.4.5/conf

4.使用 bin/sqoop help 可以檢視幫助資訊

5.將mysql驅動包放到sqoop/lib目錄下,因為連線mysql需要!

cp /opt/software/mysql-connector-java-5.1.27-bin.jar ./

6.mysqlTohive需要配置hive相關引數

(1)往/etc/profile最後加入 

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/modules/hive-1.2.1/lib/*

然後重新整理配置

source /etc/profile

(2) 把hive-site複製到sqoop中!

 cp ../hive-1.2.1/conf/hive-site.xml  conf/

2.命令:

三、測試

1.測試sqoop連線mysql

bin/sqoop list-databases --connect jdbc:mysql://bigdata.ibeifeng.com:3306/ --username root --password 123456

2.顯示錶

bin/sqoop \
list-tables \
--connect jdbc:mysql://bigdata.ibeifeng.com:3306/sqoop \
--username root \
--password 123456