pca各個向量之間的相關度_PCA與SVD之間的關係
阿新 • • 發佈：2020-12-31
一、叢集目錄檔案分發
1. scp（secure copy）安全拷貝
1）scp定義： scp可以實現伺服器與伺服器之間的資料拷貝。（from server1 to server2） （2）基本語法 scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname 命令 遞迴 要拷貝的檔案路徑/名稱 目的使用者@主機:目的路徑/名稱 （a）在hadoop102上，將hadoop102中/opt/module目錄下的軟體拷貝到hadoop103上 scp -r /opt/module atguigu@hadoop103:/opt/module （b）在hadoop104上，將hadoop102伺服器上的/opt/module目錄下的軟體拷貝到hadoop104上。 scp -r atguigu@hadoop102:/opt/module /opt/module （c）在hadoop103上操作將hadoop102中/opt/software目錄下的軟體拷貝到hadoop104上。 scp -r atguigu@hadoop102:/opt/software atguigu@hadoop104:/opt/software
2. rsync 遠端同步工具 （只能分發自己機器上的）
rsync和scp區別：用rsync做檔案的複製要比scp的速度快，rsync只對差異檔案做更新。scp是把所有檔案都複製過去。 rsync -av $pdir/$fname $user@hadoop$host:$pdir/$fname 命令 選項引數 要拷貝的檔案路徑/名稱 目的使用者@主機:目的路徑/名稱 -a 歸檔拷貝 -v 顯示覆制過程 a）把hadoop102機器上的/opt/software目錄同步到hadoop103伺服器的/opt/software目錄下 rsync -av /opt/software/ atguigu@hadoop103:/atguigu /software
3.xsync叢集分發指令碼
1.迴圈複製檔案到所有節點的相同目錄下:
2.基於rsync技術將檔案從一個節點同步到其他所有節點 xsync 要同步的檔名稱
3.指令碼實現(一般會把指令碼放到使用者的家目錄下的bin目錄下，因為這個路徑下會直接放到環境變數中）
在/home/atguigu目錄下建立bin目錄，並在bin目錄下建立xsync檔案
說明：在/home/atguigu/bin這個目錄下存放的指令碼，atguigu使用者可以在系統任何
地方直接執行。因為/home/atguigu/bin在系統的PATH環境變數中。
#!/bin/bash #1. 判斷引數個數 if [ $# -lt 1 ] then echo Not Enough Arguement! exit; fi #2. 遍歷叢集所有機器 for host in hadoop102 hadoop103 hadoop104 do echo ==================== $host ==================== #3. 遍歷所有目錄，挨個傳送 for file in $@ do #4 判斷檔案是否存在 if [ -e $file ] then #5. 獲取父目錄 pdir=$(cd -P $(dirname $file); pwd) #6. 獲取當前檔案的名稱 fname=$(basename $file) ssh $host "mkdir -p $pdir" rsync -av $pdir/$fname $host:$pdir else echo $file does not exists! fi done done
（b）修改指令碼 xsync 具有執行許可權
chmod +x xsync
c）測試指令碼
xsync /home/atguigu/xsync
二、hadoop叢集配置
1.配置叢集資訊（修改hadoop的自定義配置檔案）
1.配置：hadoop-env.sh （路徑：$HADOOP_HOME/etc/hadoop ） 可以不修改 hadoop 3.x 之後不影響
export JAVA_HOME=/opt/module/jdk1.8.0_212 （不知道jdk的路徑的話 echo $JAVA_HOME）
2.配置core-site.xml (核心配置檔案)（路徑：$HADOOP_HOME/etc/hadoop ）
cd $HADOOP_HOME/etc/hadoop
vim core-site.xml
檔案內容如下：
<!-- 指定NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop102:8020</value>
</property>
<!-- 指定hadoop資料的儲存目錄
官方配置檔案中的配置項是hadoop.tmp.dir ,用來指定hadoop資料的儲存目錄,此次配置用的hadoop.data.dir是自己定義的變數， 因為在hdfs-site.xml中會使用此配置的值來具體指定namenode 和 datanode儲存資料的目錄
-->
<property>
<name>hadoop.data.dir</name>
<value>/opt/module/hadoop-3.1.3/data</value>
</property>
<!-- 下面是相容性配置，先跳過 -->
<!-- 配置該atguigu(superUser)允許通過代理訪問的主機節點 -->
<property>
<name>hadoop.proxyuser.atguigu.hosts</name>
<value>*</value>
</property>
<!-- 配置該atguigu(superuser)允許代理的使用者所屬組 -->
<property>
<name>hadoop.proxyuser.atguigu.groups</name>
<value>*</value>
</property>
<!-- 配置該atguigu(superuser)允許代理的使用者-->
<property>
<name>hadoop.proxyuser.atguigu.users</name>
<value>*</value>
</property>
3.配置hdfs-site.xml HDFS配置檔案
cd $HADOOP_HOME/etc/hadoop
vim hdfs-site.xml
檔案內容如下：
<!-- 指定副本數 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- 指定NameNode資料的儲存目錄 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>file://${hadoop.data.dir}/name</value>
</property>
<!-- 指定Datanode資料的儲存目錄 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>file://${hadoop.data.dir}/data</value>
</property>
<!-- 指定SecondaryNameNode資料的儲存目錄 -->
<property>
<name>dfs.namenode.checkpoint.dir</name>
<value>file://${hadoop.data.dir}/namesecondary</value>
</property>
<!-- 相容配置，先跳過 -->
<property>
<name>dfs.client.datanode-restart.timeout</name>
<value>30s</value>
</property>
<!-- nn web端訪問地址-->
<property>
<name>dfs.namenode.http-address</name>
<value>hadoop102:9870</value>
</property>
<!-- 2nn web端訪問地址-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop104:9868</value>
</property>
4.配置yarn-site.xml YARN配置檔案
cd $HADOOP_HOME/etc/hadoop
vim yarn-site.xml
檔案內容如下：
<!--NodeManager上執行的附屬服務。需配置成mapreduce_shuffle，才可執行MapReduce程式-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定ResourceManager的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop103</value>
</property>
<!-- 環境變數的繼承 -->
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
<!-- 取消虛擬記憶體的限制 -->
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
5.配置mapred-site.xml MapReduce配置檔案
cd $HADOOP_HOME/etc/hadoop
vim mapred-site.xml
檔案內容如下：
<!-- 指定MapReduce程式執行在Yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
2.在叢集上分發配置好的hadoop
xsync /opt/module/hadoop-3.1.3
3.叢集單點啟動
1）如果叢集是第一次啟動，需要格式化NameNode
hdfs namenode -format
2）在hadoop102上啟動NameNode
hdfs --daemon start namenode
3）完成後執行jps命令，看到如下結果（程序號可能不同）
2867 NameNode
4）在hadoop102、hadoop103以及hadoop104上執行如下命令（三臺都要執行 xshell 工具的群發功能）啟動datanode
hdfs --daemon start datanode
5） 在hadoop104上啟動secondarynamenode
hdfs --daemon start secondarynamenode
6）在hadoop103上啟動ResourceManager
yarn --daemon start resourcemanager
7）在hadoop102、hadoop103以及hadoop104上執行如下命令（三臺都要執行）啟動nodemanager
yarn --daemon start nodemanager
4.叢集單點關閉
YRAN 和 HDFS無先後順序
1）在hadoop102、hadoop103以及hadoop104上關閉DataNode(Xshell群發功能)
hdfs --daemon stop datanode
2）在hadoop102上關閉NameNode
hdfs --daemon stop namenode
3） 在hadoop104上關閉SecondaryNameNode
hdfs --daemon stop secondarynamenode
4)在hadoop102、hadoop103以及hadoop104上關閉NodeManager(Xshell群發功能)
yarn --daemon stop nodemanager
5)在hadoop103上關閉ResourceManager
yarn --daemon stop resourcemanager
5.配置免密
（1）分別在hadoop102 hadoop103 hadoop104三臺機器上生成公鑰和私鑰：
ssh-keygen -t rsa
然後敲（三個回車），就會在 ~/.ssh目錄下生成兩個檔案
id_rsa（私鑰）、id_rsa.pub（公鑰）
（2）分別在hadoop102 hadoop103 hadoop104執行,將公鑰拷貝到要免密登入的目標機器上 自身機器也要配置
ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104