Spark2.2.2原始碼分析:1.程式碼閱讀環境準備
- 準備工作(僅針對於mac環境)
- ‘版本
軟體 |
版本 |
作業系統 |
MAC |
Jdk |
1.8 |
Maven |
3.3.9+ |
Scala |
2.10.6 |
Spark |
2.2.2 |
Hadoop |
2.7.3 |
檔案下載
網盤連結:https://pan.baidu.com/s/1-pSsko6D5K8YleSmNsnTTg 密碼:q0u9
配置環境變數 (軟體自行解壓配置)
bogon:~ sysadmin$ bogon:~ sysadmin$ more ~/.bash_profile
export MAVEN_HOME=/tools/apache-maven-3.3.9 export PATH=$PATH:$MAVEN_HOME/bin
export SCALA_HOME=/tools/scala-2.11.8 export PATH=$PATH:$SCALA_HOME/bin
export JAVA_HOME=/Library/java/JavaVirtualMachines/jdk1.8.0_161.jdk/Contents/Home export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/tools/hadoop-2.7.3 export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_USER_NAME=hadoop export PATH=$PATH:$HADOOP_USER_NAME
|
- Spark原始碼
匯入IDEA
maven記得下載原始碼和文件
修改pom.xml檔案
- 將軟體中使用的版本全部修正一下,指向已經配置好的版本
- scala.version
- hadoop.version
- 修改一個引數
<useZincServer>false</useZincServer> |
整體pom.xml檔案見網盤
執行編譯命令
mvn -T 1C -Pyarn -Phadoop-2.7 -DskipTests clean package |
注:使用指令碼編譯的時候,其實也是採用maven編譯,所以一定要確保編譯成功不要報錯,不然後面沒辦法debug