[Hadoop系列]Hadoop的安裝-1.本地模式
阿新 • • 發佈:2019-01-28
Hadoop是Apache基金會下的一個開源雲端計算平臺專案。當前最新版本是hadoop 0.20.1。下面就hadoop 0.20.1為藍本,介紹在Ubuntu Linux 9.10下安裝hadoop的方法。
支援的平臺:
Linux,可作為開發和產品部署的平臺;
Windows,可作為開發平臺。
事先需要的軟體:
1.JavaTM1.6.x,必須安裝,建議選擇Sun公司發行的Java版本;
2.ssh必須安裝,並保證sshd執行,hadoop將以ssh進行通訊;
3.如果是windows,則需要裝Cygwin,用以支援shell命令。
安裝可用的模式:
1.本地模式;
2.偽分佈模式;
3.全分佈模式。
本地模式安裝步驟:
1.將hadoop安裝包解壓縮到某目錄下;
2.修改conf/hadoop-env.sh檔案,
export JAVA_HOME=
那行設定正確的JAVA_HOME
位置,當然如果事先在作業系統已經set完JAVA_HOME
,可以忽略此步驟;
本地模式安裝完了,就這麼簡單!
測試一下執行效果:
$ mkdir input
$ cp conf/*.xml input
$ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'
$ cat output/*
這個示例程式是hadoop自帶的,用於把conf下的xml檔案拷貝到input目錄下,並且找到並顯示所有與最後一個引數的正則表示式相匹配的行,output是輸出資料夾。