sqoop-1.4.7 搭建
sqoop搭建環境: jdk1.8 hadoop分布式集群(HDFS) HIVE(看使用情況)
下載網址:http://sqoop.apache.org/
建議: sqoop1.4.4版本,線上使用比較好,網上相關文檔也多 (推介線上使用)
sqoop1.99.7版本,創建job方式規範化,但網上資料較少
步驟:
1.解壓包
2.配置sqoop環境變量
3.將mysql驅動包mysql-connector-java-5.1.40.jar 拷貝到sqoop/lib 目錄下
4.修改sqoop配置 文件: sqoop-env.sh
5.將 hive-common-2.3.3.jar包拷貝到hive的lib目錄下 (需要用到hive時拷貝)
6.把java-json.jar添加到../sqoop/lib目錄(解決NoClassDefFoundError: org/json/JSONObject報錯)
sqoop-1.4.7 搭建
相關推薦
sqoop-1.4.7 搭建
jar包 common connector error 使用 mon obj .org 環境變量 sqoop搭建環境: jdk1.8 hadoop分布式集群(HDFS) HIVE(看使用情況) 下載網址:http://sqoop.apache.org
Spark專案之環境搭建(單機)四 sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 安裝
上傳解壓 sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz,重新命名 tar -zxf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop 進入sqoop
sqoop-1.4.7安裝(一)
(一):簡介和環境說明 sqoop是apache旗下一款“Hadoop和關係資料庫伺服器之間傳送資料”的工具。 匯入資料:MySQL,Oracle匯入資料到Hadoop的HDFS、HIVE、HBASE等資料儲存系統; 匯出資料:從Hadoop的檔案系統中匯出資料到關係資料庫
centos 7 安裝sqoop 1.4.7
1. 下載sqoop1.4.7 cd /home/workspace wget https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz tar -xzvf sqoop-
本地搭建hadoop叢集--sqoop的安裝.1.4.7 使用db2
安裝 1、解壓tar包 2、進入conf目錄 3、修改配置檔案 cp -a sqoop-env-template.sh sqoop-env.sh vm sqoop-env.sh export HADOOP_COMMON_HOME=/opt/mo
大資料學習系列8-Centos6.7 hadoop-2.6.5下sqoop-1.4.6的安裝部署
安裝sqoop的前提是已經具備java和hadoop的環境 1、下載並解壓 2、修改配置檔案 $ cd $SQOOP_HOME/conf $ mv sqoop-env-template.sh sqoop-env.sh 開啟sqoop-env.sh並編輯下面幾
Mongodb3.4.7搭建高可用集群(二)
cto logs ica sta ready 部署 ... ima exiting 部署Mongodb高可用集群 準備 按照官方說明,至少需要3個config server,2個mongos,2個shard,每個shard至少2個副本,就是4個shard,共需要9個Mong
Centos7 zabix3.4.7搭建
Centos7 zabix3.4.7搭建Zabbix 1.特點1)分布式監控2)支持自動發現網絡設備和服務器3)設置報警值並通知管理員4)支持圖表5)支持監控多種服務和跨平臺系統監控6)開源IE --> B/S註:需運行在LAMP平臺之上 2.原理1)Server:LAMP環境,2)Agent:搜集客戶
Sqoop-1.4.6安裝部署
部署的前提是已經存在HADOOP、HBASE、HIVE、ZOOKEEPER環境 (1)下載地址:sqoop-1.4.6 解壓到/home/sqoop/sqoop1.4 (2)、配置環境變數在:/etc/profiles 檔案中新增下面內容 #sqoop export S
報錯:Win10 這臺計算機中已經安裝了 .NET Framework 4.5.2/4.6.1/4.7.1等等任何版本 或版本更高的更新
Win10系統自帶的.net framework版本為4.7,自己安裝.NET Framework 4.5.2時會提示:這臺計算機中已經安裝了 .NET Framework 4.5.2 或版本更高的更新。 解決方法 下載安裝.net framework的開發版或者說開發包。開發版地址h
deepin linux 15.5 + 小米筆記本pro 下的深度學習環境tensorflow-gpu 1.4版本搭建過程
深度學習環境tensorflow-gpu 1.4安裝過程記錄 換了個小米筆記本用來辦公,內建win10,因為硬碟容量較小,搭建linux雙系統的想法只好暫時擱置,忍著用了幾個月。 前幾天買了塊硬碟,升級了一下筆記本,這下終於可以裝上雙系統了,程式猿還是覺得l
【日常學習筆記】2019/1/(4,7)(SSM再熟悉與網頁傳值)
學生管理系統(SSM簡易版)總結 可以用來再次熟悉SSM https://www.jianshu.com/p/6a594fbea51d 頁面傳值 示例:點選a頁面的p標籤,將p標籤內的學號傳遞到b頁面,之後b頁面根據得到的值,再進行ajax資料請求,顯示此學號的詳情。 a
【Python基礎】1.4.7 Turtle例項——用Python作畫之彩虹
語言:Python IDE:Python.IDE 需求 做出彩虹效果 顏色空間 RGB模型:光的三原色,共同決定色相 HSB/HSV模型:H色彩,S深淺,B飽和度,H決定色相 需要將HS
sqoop2的shell下的使用及其詳解(sqoop-1.99.7)
前提是安裝好sqoop!! 1.服務端 如圖,我們可以使用 sqoop2-server [ start | stop ] 來啟動和關閉服務端。之後使用 jps 命令可以檢視到 會多了這個程序。 在啟動服務成功後,會在自動生成兩個檔案(如果沒有檔案),(預設的是BASEDIR
1.4.7 HTML 多種空格轉義字元
記錄一下,空格的轉義字元分為如下幾種: &160#;nbsp;&160#; 不斷行的空白(1個字元寬度)  &8194#;ensp;&8194#; 半個空白(1個字元寬度)  &
spring boot 1.5.7 搭建基礎專案框架二 錯誤: 找不到或無法載入主類
一:當在eclipse啟動spring boot專案時出現問題:錯誤: 找不到或無法載入主類 com.example.demo.DemoApplication解決辦法:1,通過cmd命令列,進入專案目錄進行,mvn clean install 進行編譯專案install後,再
Windows10 解決“裝了 .NET Framework 4.5.2/4.6.1/4.7.1等等任何版本 或版本更高的更新”問題
ram com sof 系統 4.6.1 net 安裝 targe blank ========================================================= 系統自帶的.net framework版本為4.7,自己安裝.N
Sqoop-1.99.7安裝配置(詳細圖文)
環境:centos 6.5,hadoop2.6.4叢集 1.解壓安裝sqoop 從官網下載好安裝包,傳送到叢集中任意一臺主機即可。相信大家已經看到,1.99.7跟1.4.6是不相容的,而且官網也不建議使用這個版本在生產環境中使用。可是,為了學習,搞吧!
Sqoop-1.4.6安裝部署及詳細使用介紹和部分報錯資訊彙總
最近在開發oozie的排程系統中遇到了下面錯誤 ERROR tool.ImportTool: EncounteredIOException running import job: java.io.IOException: DataStreamer Exception:
Canalv1.1.4版本搭建HA叢集
## 前提 `Canal`上一個正式版是於`2019-9-2`釋出的`v1.1.4`,筆者幾個月前把這個版本的`Canal`推上了生產環境,部署了`HA`叢集。過程中雖然遇到不少的坑,但是在不出問題的前提下,`Canal`的作用還是非常明顯的。上週的一次改造上線之後,去掉了原來對業務系統訂單資料通過`Rab