1. 程式人生 > >Sqoop資料遷移工具之簡單介紹和安裝(一)

Sqoop資料遷移工具之簡單介紹和安裝(一)

1、概述  sqoop 是 apache 旗下一款“Hadoop 和關係資料庫伺服器之間傳送資料”的工具。   匯入資料:MySQL,Oracle 匯入資料到 Hadoop 的 HDFS、HIVE、HBASE 等資料儲存系統 匯出資料:從 Hadoop 的檔案系統中匯出資料到關係資料庫 mysql 等   Sqoop 的本質還是一個命令列工具,和 HDFS,Hive 相比,並沒有什麼高深的理論。 

2、工作機制  將匯入或匯出命令翻譯成 MapReduce 程式來實現  在翻譯出的 MapReduce 中主要是對 InputFormat 和 OutputFormat 進行定製  

 3、Sqoop 安裝 

安裝 Sqoop 的前提是已經具備 Java 和 Hadoop 的環境   安裝包下載地址 http://ftp.wayne.edu/apache/sqoop/1.4.6/ 安裝包:sqoop-1.4.6.bin_hadoop-2.0.4-alpha.tar.gz   安裝步驟 1、 準備安裝包 sqoop-1.4.6.bin_hadoop-2.0.4-alpha.tar.gz   2、 解壓安裝包到安裝目錄

tar -zxvf sqoop-1.4.6.bin_hadoop-2.0.4-alpha.tar.gz  -C  apps/ cd apps

mv sqoop-1.4.6.bin_hadoop-2.0.4-alpha/  sqoop-1.4.6   3、 進入到 conf 資料夾,找到 sqoop-env-template.sh,修改其名稱為 sqoop-env.sh

 mv sqoop-env-template.sh sqoop-env.sh   4、 修改 sqoop-env.sh  export  HADOOP_COMMON_HOME=/home/hadoop/apps/hadoop-2.7.6

export HADOOP_MAPRED_HOME=/home/hadoop/apps/hadoop-2.7.6

export HBASE_HOME=/home/hadoop/apps/hbase-1.2.6

export HIVE_HOME=/home/hadoop/apps/apache-hive-2.3.2-bin

export ZOOCFGDIR=/home/hadoop/apps/zookeeper-3.4.10/conf   zookeeper 和 hbase 沒有安裝。那就不用管了。如果也安裝的有,並且要使用,那麼就 給配置上

  5、 加入 mysql 驅動包到 sqoop1.4.6/lib 目錄下

cp mysql-connector-java-5.1.40-bin.jar ~/apps/sqoop-1.4.6/lib/   6、 配置系統環境變數 vi  ~/.bashrc 然後輸入: export SQOOP_HOME=/home/hadoop/apps/sqoop1.4.6 export PATH=$PATH:$SQOOP_HOME/bin 然後儲存退出 source  ~/.bashrc  

(也可以修改配置 /etc/profile檔案) 7、 驗證安裝是否成功 sqoop-version 或者 sqoop version    8、 出現如圖所示畫面,證明安裝成功,那麼接下來就可以正常使用了。