1. 程式人生 > >[Hadoop系列]Hadoop的安裝-1.本地模式

[Hadoop系列]Hadoop的安裝-1.本地模式

  Hadoop是Apache基金會下的一個開源雲端計算平臺專案。當前最新版本是hadoop 0.20.1。下面就hadoop 0.20.1為藍本,介紹在Ubuntu Linux 9.10下安裝hadoop的方法。(來源:http://blog.csdn.net/inkfish)

支援的平臺:(來源:http://blog.csdn.net/inkfish)
  Linux,可作為開發和產品部署的平臺;
  Windows,可作為開發平臺。

事先需要的軟體:(來源:http://blog.csdn.net/inkfish)
  1.JavaTM1.6.x,必須安裝,建議選擇Sun公司發行的Java版本;
  2.ssh必須安裝,並保證sshd執行,hadoop將以ssh進行通訊;
  3.如果是windows,則需要裝Cygwin,用以支援shell命令。

安裝可用的模式:(來源:http://blog.csdn.net/inkfish)


  1.本地模式;
  2.偽分佈模式;
  3.全分佈模式。

本地模式安裝步驟:(來源:http://blog.csdn.net/inkfish)
  1.將hadoop安裝包解壓縮到某目錄下;
  2.修改conf/hadoop-env.sh檔案,export JAVA_HOME= 那行設定正確的JAVA_HOME 位置,當然如果事先在作業系統已經set完JAVA_HOME ,可以忽略此步驟;


  本地模式安裝完了,就這麼簡單!

測試一下執行效果:(來源:http://blog.csdn.net/inkfish)

  $ mkdir input
  $ cp conf/*.xml input


  $ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'
  $ cat output/*

這個示例程式是hadoop自帶的,用於把conf下的xml檔案拷貝到input目錄下,並且找到並顯示所有與最後一個引數的正則表示式相匹配的行,output是輸出資料夾。