1. 程式人生 > >Hadoop編譯完整過程

Hadoop編譯完整過程

前言

在編譯Hadoop的過程中,用老版本的軟體會造成很多不必要的問題,用最新的穩定版本是最好的選擇。

hadoop編譯環境:

在下載完hadoop(最好下載最新版本)後,進入hadoop的目錄開啟BUILDING.txt,可以看到hadoop所依賴的軟體列表,按照我們在前言中的觀念,若其中沒有宣告某軟體的版本,就選擇最新的安裝,如果想省事的話也可以直接yum或者apt-get。

hadoop編譯過程中的問題:

1. 依賴問題

出現錯誤時首先檢視ERROR的資訊,仔細閱讀,一般來說都是有關環境依賴的問題,此時需下載相應的依賴,如果不能發現解決辦法,就去檢視相近的WORRING,這裡一般會闡述錯誤出現的原因。

2.編譯問題

當你無法在提示資訊中找到錯誤的解決辦法時,說明資訊提示的並不完整,在hadoop報錯資訊的最後幾行,會提示使用mvn <goals> -rf :hadoop-xxxx,根據資訊表示,這樣的方式可以讓你去編譯指定的包,不用從頭開始檢查,在編譯指定的包時,hadoop會提示更準確的錯誤資訊,根據資訊去解決(此時我猜你的問題八成是mvn clean的問題,哈哈),如果真出現了需要mvn clean的時候,使用如下指令mvn clean package -Pdist,native -DskipTests -Dtar  -rf :hadoop-xx  即可解決問題。

總結

在編譯hadoop的過程中一般除了依賴問題就是編譯的問題,遇到錯誤不要慌張,沉著冷靜,仔細應對,在錯誤提示資訊中尋找答案,不要盲目百度,祝好。