Hadoop編譯完整過程
阿新 • • 發佈:2019-02-09
前言
在編譯Hadoop的過程中,用老版本的軟體會造成很多不必要的問題,用最新的穩定版本是最好的選擇。
hadoop編譯環境:
在下載完hadoop(最好下載最新版本)後,進入hadoop的目錄開啟BUILDING.txt,可以看到hadoop所依賴的軟體列表,按照我們在前言中的觀念,若其中沒有宣告某軟體的版本,就選擇最新的安裝,如果想省事的話也可以直接yum或者apt-get。
hadoop編譯過程中的問題:
1. 依賴問題
出現錯誤時首先檢視ERROR的資訊,仔細閱讀,一般來說都是有關環境依賴的問題,此時需下載相應的依賴,如果不能發現解決辦法,就去檢視相近的WORRING,這裡一般會闡述錯誤出現的原因。
2.編譯問題
當你無法在提示資訊中找到錯誤的解決辦法時,說明資訊提示的並不完整,在hadoop報錯資訊的最後幾行,會提示使用mvn <goals> -rf :hadoop-xxxx,根據資訊表示,這樣的方式可以讓你去編譯指定的包,不用從頭開始檢查,在編譯指定的包時,hadoop會提示更準確的錯誤資訊,根據資訊去解決(此時我猜你的問題八成是mvn clean的問題,哈哈),如果真出現了需要mvn clean的時候,使用如下指令mvn clean package -Pdist,native -DskipTests -Dtar -rf :hadoop-xx 即可解決問題。
總結
在編譯hadoop的過程中一般除了依賴問題就是編譯的問題,遇到錯誤不要慌張,沉著冷靜,仔細應對,在錯誤提示資訊中尋找答案,不要盲目百度,祝好。