Linux相關環境安裝與配置
最近買了一個騰訊雲的伺服器，簡單安裝了下環境並記錄一下
Java:
1、查詢java相關的列表
yum -y list java*
2、安裝JDK(這裡是1.8.0版本)
yum install java-1.8.0-openjdk.x86_64
3、完成安裝後驗證
java -version
4、將JDK的安裝路徑加入到JAVA_HOME
vim /etc/profile
在檔案中新增路徑
#set java environment JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk.x86_64 PATH=$PATH:$JAVA_HOME/bin CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME CLASSPATH PATH
source /etc/profile
5、安裝成功
Scala:
1、確保你本地已經安裝了 JDK 1.5 以上版本，並且設定了 JAVA_HOME 環境變數及 JDK 的 bin 目錄
java -version
javac -version
2、從 Scala 官網地址http://www.scala-lang.org/downloads選擇版本下載並解壓縮檔案包，可將其移動至/usr/local/share下：
mv scala-2.11.7 scala mv /scalapath /usr/local/share
此時進入scala目錄下的bin資料夾輸入scala已經可以使用了
3、將scala命令新增到全域性
vim /etc/profile
在檔案中加入 export PATH="$PATH:/usr/local/share/scala/bin"
source /etc/profile
Python:
系統會自帶Python2.7版本，此處我們利用Annaconda安裝Python3.6版本
1、Annaconda下載，下載連線https://www.anaconda.com/download/，可以根據需求選擇Python的版本。也可以按照如下方式下載：
wget https://repo.continuum.io/archive/Anaconda3-5.0.1-Linux-x86_64.sh
2、下載完成並執行該檔案，如果無法執行可以先檢視一下許可權
bash Anaconda3-5.2.0-Linux-x86_64.sh
若出現如下錯誤則由於環境缺失導致
解決方法
yum install -y bzip2
3、在安裝過程中，不斷按回車或者Y(yes)即可
4、安裝完成後對python的環境變數進行新增，方便啟動
vim /etc/profile
#在檔案中新增
#Anaconda
export PATH=$PATH:/home/software/anaconda3/bin
source /etc/profile
5、開啟終端，輸入python3，如果顯示如下圖，則表示安裝成功
MySQL:
1、安裝前，我們可以檢測系統是否自帶安裝 MySQL:
rpm -qa | grep mysql
如果你係統有安裝，那可以選擇進行解除安裝:
rpm -e mysql // 普通刪除 rpm -e --nodeps mysql // 強力刪除
2、安裝 MySQL：
在 Centos系統下使用 yum 命令安裝 MySQL，若沒有yum需要進行下載
wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm rpm -ivh mysql-community-release-el7-5.noarch.rpm yum update yum install mysql-server
許可權設定並初始化MySQL:
chown mysql:mysql -R /var/lib/mysql
mysqld --initialize
啟動 MySQL並檢視狀態：
systemctl start mysqld
systemctl status mysqld
3、驗證安裝是否成功
mysqladmin --version
4、建立並設定root使用者賬號以及密碼：
mysqladmin -u root password "your password"
然後通過如下方法登入並連線MySQL:
mysql -u root -p
Enter password:*******
Hadoop:
安裝Hadoop需要預先安裝Java環境，並且需要jdk為jdk7版本以上。
1、官網上下載hadoop，下載地址：https://www.apache.org/dist/hadoop/common/
2、解壓並安裝檔案
tar -zxvf /var/ftp/pub/hadoop-2.9.2.tar.gz
3、編輯解壓後的/etc/hadoop/hadoop-env.sh檔案，在檔案中修改JAVA_HOME配置
vi etc/hadoop/hadoop-env.sh export JAVA_HOME=/usr/local/jdk1.8.0_221/
4、配置偽分散式
vim etc/hadoop/core-site.xml
#在檔案中新增
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
vim etc/hadoop/hdfs-site.xml
#在檔案中新增 <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
5、設定主機允許無密碼SSH連結
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa // 建立公鑰私鑰對 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys // 設定許可權，owner有讀寫許可權，group和others無許可權
6、格式化檔案系統
bin/hdfs namenode -format
7、啟動Hadoop
./sbin/start-all.sh // 啟動NameNode和DataNode程序
PS：可以通過jps指令檢視啟動的程序
後續會繼續安裝HIve、Spark等工具，未完待續 ~