1. 程式人生 > >Spark2.2.2原始碼分析:1.程式碼閱讀環境準備

Spark2.2.2原始碼分析:1.程式碼閱讀環境準備

  • 準備工作(僅針對於mac環境)
  • ‘版本

軟體

版本

作業系統

MAC

Jdk

1.8

Maven

3.3.9+

Scala

2.10.6

Spark  

2.2.2

Hadoop

2.7.3

 

檔案下載

 

網盤連結:https://pan.baidu.com/s/1-pSsko6D5K8YleSmNsnTTg  密碼:q0u9

 

配置環境變數 (軟體自行解壓配置)

bogon:~ sysadmin$

bogon:~ sysadmin$ more ~/.bash_profile

 

export MAVEN_HOME=/tools/apache-maven-3.3.9

export PATH=$PATH:$MAVEN_HOME/bin

 

export SCALA_HOME=/tools/scala-2.11.8

export PATH=$PATH:$SCALA_HOME/bin

 

export JAVA_HOME=/Library/java/JavaVirtualMachines/jdk1.8.0_161.jdk/Contents/Home

export PATH=$PATH:$JAVA_HOME/bin

 

 

export HADOOP_HOME=/tools/hadoop-2.7.3

export PATH=$PATH:$HADOOP_HOME/bin

 

export HADOOP_USER_NAME=hadoop

export PATH=$PATH:$HADOOP_USER_NAME

 

 

 

  • Spark原始碼

 

匯入IDEA

 

 

 

maven記得下載原始碼和文件

 

 

​​​​​​​修改pom.xml檔案

  1. 將軟體中使用的版本全部修正一下,指向已經配置好的版本
    1. scala.version
    2. hadoop.version
  2. 修改一個引數

<useZincServer>false</useZincServer>

 

整體pom.xml檔案見網盤

 

​​​​​​​執行編譯命令

mvn -T 1C -Pyarn -Phadoop-2.7 -DskipTests clean package

注:使用指令碼編譯的時候,其實也是採用maven編譯,所以一定要確保編譯成功不要報錯,不然後面沒辦法debug