1. 程式人生 > >大數據基礎1

大數據基礎1

port nds number 動態 存儲目錄 lld tar.gz nbsp 命令

1、Linux下命令行中的復制和粘貼

安裝gpm:yum install -y gpm*

開啟gpm服務:systemctl start gpm

2、打開網卡

vi /etc/sysconfig/network-scripts/ifcfg-ens33

3、修改為靜態IP

BOOTPROTO=”dhcp” 這個是動態IP
BOOTPROTO=”static”這個是靜態IP
BOOTPROTO=”none”這個是無

4、IP地址

IPADDR=192.168.116.121

5、網關

GATEWAY=192.168.116.2

6、子網掩碼

NETMASK=255.255.255.0

7、DNS服務器1、2

DNS1=8.8.8.8
DNS2=8.8.4.4

8、vi /etc/resolv.conf

nameserver 8.8.8.8
nameserver 8.8.4.4

9、重啟網卡

service network restart

10、 如何測試可以ping通

ping 192.168.116.2
ping www.baidu.com

11、解壓JDK命令

tar -zxvf jdk-8u192-linux-x64.tar.gz -C /opt/module/

12、系統JDK環境變量的位置

vi /etc/profile

13、寫入

export JAVA_HOME=/opt/module/jdk1.8.0_192 export
PATH=$JAVA_HOME/bin:$PATH

14、環境變量生效

source /etc/profile

15、檢驗JDK是否生效

輸入javac,回車

16、解壓Hadoop

使用windscp上傳
tar -zxvf hadoop-2.7.3.tar.gz -C /opt/module/

17、解壓Hadoop

使用windscp上傳
tar -zxvf hadoop-2.7.3.tar.gz -C /opt/module/

18、創建日誌logs和臨時目錄tmp

mkdir logs tmp

[root@localhost hadoop-2.7.3]#cd etc/hadoop/

19、vi hadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_192

20、vi core-site.xml

<!-- 指定HDFS中NameNode的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://hsiehchou121:9000</value> </property> <!-- 指定hadoop運行時產生文件的存儲目錄 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/module/hadoop-2.7.3/tmp</value> </property>

21、vi hdfs-site.xml

<!-- 指定HDFS副本的數量 --> <property> <name>dfs.replication</name> <value>1</value> </property>

22、修改主機名

hostnamectl set-hostname 主機名
如:hostnamectl set-hostname hsiehchou121

23、檢查主機名

hostname

24、格式化 hdfs

[root@localhost hadoop-2.7.3]#bin/hdfs namenode -format

25、啟動 hdfs

[root@localhost hadoop-2.7.3]#sbin/start-dfs.sh

26、關閉 hdfs

[root@localhost hadoop-2.7.3]#sbin/stop-dfs.sh

27、查看進程

jps

[root@localhost hadoop-2.7.3]# jps 39668 DataNode 39547 NameNode 39932 Jps 39823 SecondaryNameNode

28、頁面

IP地址:50070
如:192.168.116.121:50070
顯示頁面就對了

29、臨時關閉防火墻

systemctl stop firewalld.service

30、永久禁用防火墻

systemctl disable firewalld.service

31、查看防火墻狀態

systemctl status firewalld.service

32、SSH無密碼登錄

[root@localhost hadoop-2.7.3]$ ssh-keygen -t rsa
然後敲(三個回車)

[root@localhost hadoop-2.7.3]# ssh-copy-id hsiehchou121 [root@localhost hadoop-2.7.3]# ssh hsiehchou121 [root@hsiehchou121 ~]# [root@hsiehchou121 ~]# exit logout

33、關閉selinux防火墻

vi /etc/selinux/config

大數據基礎1