sqoop(1):安裝和配置
阿新 • • 發佈:2018-11-12
一、功能
在大資料處理之後,需要資料展示,所以,要把相對較少的資料儲存到關係型資料庫中,然後做一套框架給外部查詢展示。sqoop的作用就是把資料從hdfs或者hive中匯出到mysql等關係型資料庫
二、sqoop部署
1.解壓
tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/modules/
2.重新命名sqoop-env-template.sh為sqoop-env.sh檔案
3.修改sqoop-env.sh檔案
export HADOOP_COMMON_HOME=/opt/modules/apache/hadoop-2.7.3 export HADOOP_MAPRED_HOME=/opt/modules/apache/hadoop-2.7.3 export HIVE_HOME=/opt/modules/hive-1.2.1 export ZOOCFGDIR=/opt/modules/zookeeper-3.4.5/conf
4.使用 bin/sqoop help 可以檢視幫助資訊
5.將mysql驅動包放到sqoop/lib目錄下,因為連線mysql需要!
cp /opt/software/mysql-connector-java-5.1.27-bin.jar ./
6.mysqlTohive需要配置hive相關引數
(1)往/etc/profile最後加入
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/modules/hive-1.2.1/lib/*
然後重新整理配置
source /etc/profile
(2) 把hive-site複製到sqoop中!
cp ../hive-1.2.1/conf/hive-site.xml conf/
2.命令:
三、測試
1.測試sqoop連線mysql
bin/sqoop list-databases --connect jdbc:mysql://bigdata.ibeifeng.com:3306/ --username root --password 123456
2.顯示錶
bin/sqoop \ list-tables \ --connect jdbc:mysql://bigdata.ibeifeng.com:3306/sqoop \ --username root \ --password 123456