JavaSE MyBatis (一) 基礎概念
目錄注:筆記旨在記錄,配置方式每個人多少有點不同,但大同小異,以下是個人愛好的配置方式.
平臺:win10下的ubuntu虛擬機器內
所用到的檔案:
hadoop-2.7.3.tar
jdk-11.0.7_linux-x64_bin.tar.gz
scala-2.11.12.zip
spark-2.4.5-bin-hadoop2.7_Working_Config.zip
下載請點這裡 :s81k
預先步驟:
將上述檔案下載並拷貝到虛擬機器共享目錄下(mnt/hgfs/共享資料夾名字)(外部window平臺操作)
將共享資料夾下檔案拷貝到usr/local下(llinux虛擬機器內操作)。
常用程式碼:
切換到管理員程式碼:sudo su
修改檔案許可權:sudo chown -R 使用者名稱 檔名(/*)
設定環境變數:vim ~/.bashrc
應用環境變數:source ~/.bashrc
一、配置jdk
1.1 開啟終端,進入到usr/local目錄下,直接解壓檔案jdk-11.0.7_linux-x64_bin.tar.gz到當前目錄下,並改名,程式碼如下:
cd //usr/local
sudo mv dk-11.0.7_linux-x64_bin java
1.2 配置環境變數:
vim ~/.bashrc
1.3 在開啟檔案中加入以下程式碼:
#JAVA export JAVA_HOME=/usr/local/Java export JRE_HOME=$JAVA_HOME/jre export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:.
1.4 應用修改:
source ~/.bashrc
1.5 測試,能看到java版本則是配置成功:
java -version
二、配置ssh
2.1 建立檔案.ssh: mkdir ~/.ssh
2.2 修改許可權: chmod 700 ~/.ssh
2.3 生成公鑰和私鑰(一路回車): ssh-keygen –t rsa
2.4 將金鑰加入授權:cat ./id_rsa.pub >> ./authorized_keys
2.5 測試:ssh localhost
三、配置hadoop
3.1 進入到usr/local目錄下,直接解壓檔案hadoop-2.7.3.tar到當前目錄下,並改名:
cd //usr/local
sudo mv hadoop-2.7.3 hadoop
3.2 修改檔案許可權:
sudo chown -R 使用者名稱 hadoop
sudo chown -R 使用者名稱 hadoop/*
3.3 檢視版本號以及是否安裝好:
uhadoop/bin/hadoop version
3.4 設定環境變數:vim ~/.bashrc
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/bin
3.5 應用修改:source ~/.bashrc
3.6 修改配置檔案:(hadoop/etc/hadoop目錄下,個人直接找到檔案開啟用文字編輯器編輯了)
vim core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/hadoop_tmp</value>
<description>A base for other temporary directories.</description>
</property>
</configuration>
vim hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
vim mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
3.7 對namenode格式化: hadoop/bin/hadoop namenode –format
3.8 啟動hadoop:hadoop/sbin/start-all.sh
3.9 檢測程序:jps
有以下程序則是成功:
DateNode、nameNode、Jps、ResourceManager、SecondaryNameNode、NodeManager
四、配置scala
4.1 進入到usr/local目錄下,直接解壓檔案scala-2.11.12.zip到當前目錄下,並改名:
cd //usr/local
sudo mv scala-2.11.12 scala
4.2 設定環境變數:vim ~/.bashrc
export SCALA_HOME=/usr/local/scala
4.3 應用修改: source ~/.bashrc
五、配置spark
5.1 進入到usr/local目錄下,直接解壓檔案spark-2.4.5-bin-hadoop2.7_Working_Config.zip
到當前目錄下,並改名:
cd //usr/local
sudo mv spark-2.4.5-bin-hadoop2.7_Working_Config spark
5.2 設定環境變數:vim ~/.bashrc
export SPARK_HOME=/usr/local/hadoop
5.3 應用修改:source ~/.bashrc
5.4 配置spark:
vim spark-env.sh
export JAVA_HOME=/urs/local/java
export HADOOP_HOME=/urs/local/hadoop/
export HADOOP_CONF_DIR=//urs/local/hadoop/etc/hadoop
export SCALA_HOME=/usr/local/scala
export SPARK_HOME=/usr/local/spark
export SPARK_MASTER_IP=127.0.0.1
export SPARK_MASTER_PORT=7077
export SPARK_MASTER_WEBUI_PORT=8099
export SPARK_WORKER_CORES=3
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=5G
export SPARK_WORKER_WEBUI_PORT=8081
export SPARK_EXECUTOR_CORES=1
export SPARK_EXECUTOR_MEMORY=1G
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$HADOOP_HOME/lib/native
所有環境變數(裡面設定有一點點問題,不過不影響): ~/.bashrc
export JAVA_HOME=/usr/local/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${SPARK_HOME}/bin:${SCALA_HOME}/bin:$PATH
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/bin
export SCALA_HOME=/usr/local/scala
export SPARK_HOME=/usr/local/spark
5.5 啟動spark(hadoop已經啟動的情況下):
cd usr/local/spark
bin/spark-shell
出現spark的歡迎介面,配置成功了!