Sqoop資料遷移工具之簡單介紹和安裝(一)
1、概述 sqoop 是 apache 旗下一款“Hadoop 和關係資料庫伺服器之間傳送資料”的工具。 匯入資料:MySQL,Oracle 匯入資料到 Hadoop 的 HDFS、HIVE、HBASE 等資料儲存系統 匯出資料:從 Hadoop 的檔案系統中匯出資料到關係資料庫 mysql 等 Sqoop 的本質還是一個命令列工具,和 HDFS,Hive 相比,並沒有什麼高深的理論。
2、工作機制 將匯入或匯出命令翻譯成 MapReduce 程式來實現 在翻譯出的 MapReduce 中主要是對 InputFormat 和 OutputFormat 進行定製
3、Sqoop 安裝
tar -zxvf sqoop-1.4.6.bin_hadoop-2.0.4-alpha.tar.gz -C apps/ cd apps
mv sqoop-1.4.6.bin_hadoop-2.0.4-alpha/ sqoop-1.4.6 3、 進入到 conf 資料夾,找到 sqoop-env-template.sh,修改其名稱為 sqoop-env.sh
mv sqoop-env-template.sh sqoop-env.sh 4、 修改 sqoop-env.sh export HADOOP_COMMON_HOME=/home/hadoop/apps/hadoop-2.7.6
export HADOOP_MAPRED_HOME=/home/hadoop/apps/hadoop-2.7.6
export HBASE_HOME=/home/hadoop/apps/hbase-1.2.6
export HIVE_HOME=/home/hadoop/apps/apache-hive-2.3.2-bin
export ZOOCFGDIR=/home/hadoop/apps/zookeeper-3.4.10/conf zookeeper 和 hbase 沒有安裝。那就不用管了。如果也安裝的有,並且要使用,那麼就 給配置上
5、 加入 mysql 驅動包到 sqoop1.4.6/lib 目錄下
cp mysql-connector-java-5.1.40-bin.jar ~/apps/sqoop-1.4.6/lib/ 6、 配置系統環境變數 vi ~/.bashrc 然後輸入: export SQOOP_HOME=/home/hadoop/apps/sqoop1.4.6 export PATH=$PATH:$SQOOP_HOME/bin 然後儲存退出 source ~/.bashrc
(也可以修改配置 /etc/profile檔案) 7、 驗證安裝是否成功 sqoop-version 或者 sqoop version 8、 出現如圖所示畫面,證明安裝成功,那麼接下來就可以正常使用了。