Hadoop 2.7.2 + Sqoop2 安裝使用
1. 安裝環境
本次使用兩個節點,一個作為master,一個作為slave。兩個虛擬機使用virtualbox。操作系統為ubuntu 64bit server(Ubuntu Server 14.04.1 LTS).
2. 開始架設
先安裝一臺虛擬機,然後復制,修改hostname和mac address就可以直接作為slave使用。
a. 下載ubuntu iso文件。安裝操作系統,大概花費20分鐘。
b. 創建用戶和組。
c. 安裝java。
d. 下載解壓縮hadoop。
e. 配置ssh。
f. 修改hadoop配置文件slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。
g. 下載sqoop2並解壓。
h. 修改sqoop2配置文件中的兩項。
i. 復制虛擬機並修改hostname,mac地址。
3. 運行環境
在master機器上運行。
a. hdfs namenode -format
b. start-dfs.sh
c. start-yarn.sh
d. mr-jobhistory-daemon.sh start historyserver
e. sqoop2-server start
4. 使用sqoop2導入sql server數據到hdfs文件系統
a. 運行sqoop2-shell進入交互式客戶端。
> set option --name verbose --value true
> show connector
> create link -c 1
> create link -c 3
> show link --all
> create job -f 1 -t 2
> start job -j 1 -s
Hadoop 2.7.2 + Sqoop2 安裝使用