hadoop - 安裝詳解【包括jdk配置】

阿新 • • 發佈：2022-05-10

1.準備虛擬機器，安裝linux系統

我安裝的是centos7 , 在阿里映象下載的，

地址 http: //mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/CentOS-7-x86_64-DVD-2009.iso

歷史版本目錄地址 http: //mirrors.aliyun.com/centos/

【//前去掉空格】

vm 使用 16pro版本，

安裝3個虛擬機器

2.使用xshell遠端連線虛擬機器

3.官網下載hadoop

地址 https: //archive.apache.org/dist/hadoop/common

2.7.5版本直接下載地址
https: //archive.apache.org/dist/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz

【//前去掉空格】

4.在自己喜歡的目錄將壓縮包上傳過去

我的:

生成目錄
mkdirs /home/myhadoop 
進入該目錄
cd  /home/myhadoop 
本地檔案上傳該目錄
rz
然後選擇壓縮包即可上傳
解壓壓縮包到當前目錄
tar -zvxf hadoop-2.7.5.tar.gz -C 
進入解壓的目錄
cd hadoop-2.7.5

ls

可看到目錄
bin etc include lib libexec LICENSE.txt NOTICE.txt README.txt sbin share

說明：

bin目錄：存放對Hadoop相關服務（HDFS,YARN）進行操作的指令碼

etc目錄：Hadoop的配置檔案目錄，存放Hadoop的配置檔案

include目錄：對外提供的程式設計庫標頭檔案（具體動態庫和靜態庫在lib目錄中），這些標頭檔案均是用C++定義的，通常用於C++程式訪問HDFS或者編寫MapReduce程式。

lib目錄：存放Hadoop的本地庫（對資料進行壓縮解壓縮功能）

sbin目錄：存放啟動或停止Hadoop相關服務的指令碼

share目錄：存放Hadoop的依賴jar包、文件、和官方案例

配置環境變數
cd /etc/profile.d
vim my_env.sh
內容如下

#HADOOP_HOME
export HADOOP_HOME=/home/myhadoop/hadoop-2.7.5
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

儲存

然後執行
source my_env.sh
來生效

執行

hadoop version

如果出現

Error: JAVA_HOME is not set and could not be found.

則表示沒有新增jdk的環境變數

如果是使用本地資源來安裝jdk,取出jdk的安裝路徑，

如果是使用yum指令安裝，則其預設的安裝位置在

/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.322.b06-1.el7_9.x86_64

【jdk yum安裝，看我這篇隨筆 https: //www.cnblogs.com/c2g5201314/p/15780401.html】

我這裡的使用yum的，配置模板為

#JAVA_HOME 
export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.322.b06-1.el7_9.x86_64
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib/rt.jar
export PATH=$PATH:$JAVA_HOME/bin

進入配置目錄
cd /etc/profile.d
建立配置檔案
vim JAVA_HOME.sh
然後加入模板裡的內容，如果是本地資源來安裝則改掉 JAVA_HOME= 後的地址為自己的即可
儲存
執行 source JAVA_HOME.sh 生效

現在再執行 hadoop version

出現如下表示成功

其他的一些linux指令，只做備忘參考

hadoop fs -ls x  檢視 HDFS 的該級的檔案目錄
hadoop fs -ls x -R 迭代檢視 HDFS 的檔案目錄
hadoop fs -mkdir x 在HDFS 建立資料夾
hadoop fs -put x y  從本地上傳到HDFS
hadoop fs -get x y  從HDFS下載到本地
hadoop fs -mv x y  移動檔案，即剪下 
hadoop fs -rm x   刪除檔案，其實即使移動到回收站 
hadoop fs -rm -r x   刪除資料夾
hadoop fs -cp x y   拷貝檔案


Hadoop fs cat x 將檔案內容輸出到控制檯


sz x 將linux檔案下載到本地


cd   ./xxx/nb-fyzt
拷貝上一次的檔案
cp ./xxx.jar  ./xxx.jar-back

//刪除
rm xxx.jar

刪除後再上傳
rz 

執行
./run.sh restart

檢視
tail -f nohup.out 

檢視當前路徑
pwd


ctl + s 暫停輸出會卡死，點選 ctl + q 即可恢復