編譯spark原始碼步驟
阿新 • • 發佈:2019-02-05
為了閱讀spark的原始碼,我們需要對它先進行編譯,從而使Intelij能夠跳轉,從而方便閱讀。
1,先下載spark壓縮包
2,解壓
3,通過觀察,我們發現可以使用maven進行編譯。是maven工程。因為存在pom.xml檔案。
4,安裝maven,請自行百度。
存在pom.xml就是一個模組。所以我們將用intellij檢視spark-core模組作為例子。也就是core資料夾包含的內容。
5,到core目錄下,使用mvn clean compile 命令。這樣mvn會自行從mvn中心庫去下載依賴的jar包。這個過程特別漫長。
由於是國外的網站,所以很慢。mvn將下載的jar包放在本地倉庫,所以碰到下不動的jar包,你可以手動下載放過去。
我整整花了一天才下載完。。。。
6,使用Intelij開啟該子模組。 File->open
7,選擇File-》settings 設定下maven 本地庫,是讓工程找到你下載的jar包的。
localrepository要選擇正確。我是在maven中將本地倉庫設定在d盤了。你在該目錄下,你可以發現你用mvn clean compile命令下載的jar包。
Import mvn projects automatically 要勾選,這樣依賴可以自動匯入。
匯入成功後就是現在這樣了,可以檢視spark的核心程式碼了。
想看其他spark其他模組類似。
主要是看pom.xml
如果想看所有,那就在頂級目錄那裡使用mvn compile ,估計等一個月可以編譯完成。。。當然你網速好那就幸福了。。。