注：筆記旨在記錄，配置方式每個人多少有點不同，但大同小異，以下是個人愛好的配置方式.

• 一、配置jdk
• 二、配置ssh
• 三、配置hadoop
• 四、配置scala
• 五、配置spark

平臺：win10下的ubuntu虛擬機器內

所用到的檔案：
hadoop-2.7.3.tar
jdk-11.0.7_linux-x64_bin.tar.gz
scala-2.11.12.zip
spark-2.4.5-bin-hadoop2.7_Working_Config.zip
下載請點這裡 ：s81k

預先步驟：
將上述檔案下載並拷貝到虛擬機器共享目錄下（mnt/hgfs/共享資料夾名字）（外部window平臺操作）
將共享資料夾下檔案拷貝到usr/local下（llinux虛擬機器內操作）。
常用程式碼：
切換到管理員程式碼：sudo su

修改檔案許可權：sudo chown -R 使用者名稱 檔名(/*)
設定環境變數：vim ~/.bashrc
應用環境變數：source ~/.bashrc

一、配置jdk

1.1 開啟終端，進入到usr/local目錄下，直接解壓檔案jdk-11.0.7_linux-x64_bin.tar.gz到當前目錄下，並改名，程式碼如下：

cd //usr/local

sudo mv dk-11.0.7_linux-x64_bin java

1.2 配置環境變數：

vim ~/.bashrc

1.3 在開啟檔案中加入以下程式碼：

#JAVA
export JAVA_HOME=/usr/local/Java
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:.
 

1.4 應用修改：
source ~/.bashrc

1.5 測試，能看到java版本則是配置成功：
java -version

二、配置ssh

2.1 建立檔案.ssh: mkdir ~/.ssh

2.2 修改許可權： chmod 700 ~/.ssh

2.3 生成公鑰和私鑰（一路回車）： ssh-keygen –t rsa

2.4 將金鑰加入授權：cat ./id_rsa.pub >> ./authorized_keys

2.5 測試：ssh localhost

三、配置hadoop

3.1 進入到usr/local目錄下，直接解壓檔案hadoop-2.7.3.tar到當前目錄下，並改名：

cd //usr/local

sudo mv hadoop-2.7.3 hadoop

3.2 修改檔案許可權：

sudo chown -R 使用者名稱 hadoop

sudo chown -R 使用者名稱 hadoop/*

3.3 檢視版本號以及是否安裝好：

uhadoop/bin/hadoop version

3.4 設定環境變數：vim ~/.bashrc

export HADOOP_HOME=/usr/local/hadoop

export PATH=$PATH:/usr/local/hadoop/bin

3.5 應用修改：source ~/.bashrc

3.6 修改配置檔案：（hadoop/etc/hadoop目錄下，個人直接找到檔案開啟用文字編輯器編輯了）
vim core-site.xml

<configuration>
    <property>
       <name>fs.default.name</name>
       <value>hdfs://localhost:9000</value>
    </property>
    <property>
       <name>hadoop.tmp.dir</name>
       <value>/usr/local/hadoop/hadoop_tmp</value>
       <description>A base for other temporary directories.</description>
    </property>
</configuration>

vim hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

vim mapred-site.xml

<configuration>
  <property>
    <name>mapred.job.tracker</name>
   <value>localhost:9001</value>
  </property>
</configuration>

3.7 對namenode格式化： hadoop/bin/hadoop namenode –format

3.8 啟動hadoop：hadoop/sbin/start-all.sh

3.9 檢測程序：jps

有以下程序則是成功：

DateNode、nameNode、Jps、ResourceManager、SecondaryNameNode、NodeManager

四、配置scala

4.1 進入到usr/local目錄下，直接解壓檔案scala-2.11.12.zip到當前目錄下，並改名：

cd //usr/local

sudo mv scala-2.11.12 scala

4.2 設定環境變數：vim ~/.bashrc

export SCALA_HOME=/usr/local/scala

4.3 應用修改： source ~/.bashrc

五、配置spark

5.1 進入到usr/local目錄下，直接解壓檔案spark-2.4.5-bin-hadoop2.7_Working_Config.zip

到當前目錄下，並改名：

cd //usr/local

sudo mv spark-2.4.5-bin-hadoop2.7_Working_Config spark

5.2 設定環境變數：vim ~/.bashrc

export SPARK_HOME=/usr/local/hadoop

5.3 應用修改：source ~/.bashrc

5.4 配置spark：
vim spark-env.sh

export JAVA_HOME=/urs/local/java
export HADOOP_HOME=/urs/local/hadoop/
export HADOOP_CONF_DIR=//urs/local/hadoop/etc/hadoop
export SCALA_HOME=/usr/local/scala
export SPARK_HOME=/usr/local/spark
export SPARK_MASTER_IP=127.0.0.1
export SPARK_MASTER_PORT=7077
export SPARK_MASTER_WEBUI_PORT=8099
export SPARK_WORKER_CORES=3
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=5G
export SPARK_WORKER_WEBUI_PORT=8081
export SPARK_EXECUTOR_CORES=1
export SPARK_EXECUTOR_MEMORY=1G
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$HADOOP_HOME/lib/native

所有環境變數（裡面設定有一點點問題，不過不影響）： ~/.bashrc

export JAVA_HOME=/usr/local/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${SPARK_HOME}/bin:${SCALA_HOME}/bin:$PATH
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/bin
export SCALA_HOME=/usr/local/scala
export SPARK_HOME=/usr/local/spark

5.5 啟動spark（hadoop已經啟動的情況下）：
cd usr/local/spark

bin/spark-shell

出現spark的歡迎介面，配置成功了！