虛擬機器下linux+java+hadoop+hive環境搭建
最近在接觸hadoop的專案,把總結出的配置方法寫出來紀念一下,也方便後來人快速玩轉hadoop。
一、hadoop安裝:下載release版本hadoop0.20.1,解壓到/home/hadoop/ 。
1.命令列下執行
#mkdir input cp conf/*.xml input
bin/hadoop jar build/hadoop-0.16.0-dev-examples.jar grep input output 'dfs[a-z.]+'
#cat output/*
2.修改conf/hadoop-site.xml檔案
fs.default.name
localhost:9000
mapred.job.tracker
localhost:9001
dfs.replication
1
3.修改ssh許可權:
#ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
#cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
4.初始化並啟動各節點:
#bin/hadoop namenode -format
#bin/start-all.sh
二、安裝ant
ant為編譯工具,用來編譯hive原始碼。
解壓到/home/apache-ant1.7.1
修改/etc/profile檔案新增如下行(各軟體版本自行調整):
export ANT_HOME=/home/hadoop/apache-ant-1.7.1
export JAVA_HOME=/usr/java/jdk1.6.0_10
export HADOOP_HOME=/home/hadoop/hadoop-0.20.1
export JAVA_BIN=/usr/java/jdk1.6.0_10/bin
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$ANT_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH
執行#source /etc/profile
#ant
顯示
Buildfile: build.xml does not exist!
Build failed
ant安裝完畢!
三、安裝hive
未完待續。。。