大資料學習準備工作
- 一、linux安裝
- 1.1安裝vmware軟體
- 1.2驗證VMWARE是否安裝成功
(如果機器在安裝vmware的時候會出現一個錯誤:virtual XT,這需要重啟電腦<按F2/按DELET/.........>進入BIOS,開啟這個虛擬加速開關)
(有些WINDOWS8/10系統會出現虛擬網絡卡安裝失敗的現象,這需要關閉windows的驅動程式安裝簽名驗證)
- 1.3啟動vmware後的軟體介面
- 1.4新建虛擬機器
- 1.5選擇自定義配置
- 1.6選擇硬體相容標準
- 1.7選擇是否讓vmware安裝作業系統
- 1.8選擇將要安裝的作業系統的型別
- 1.9選擇虛擬系統檔案存放的目錄
1.10為虛擬機器分配cpu/記憶體
- 1.11選擇虛擬機器所連線的網路型別
1.12選擇為虛擬機器建立一塊新的虛擬磁碟
- 1.13虛擬機器建立完畢後,可以調整硬體配置(刪除印表機、音效卡等無用硬體)
- 1.14往虛擬機器的光碟機中插入一張linux安裝光碟的iso映象檔案
- 1.15啟動虛擬機器,將自動進入centos安裝介面
接下來按提示不斷下一步即可(中間可以選擇安裝模式:desktop、minimal、server等,建議先用desktop,因為安裝的工具軟體比較全)
- 1.16centos系統安裝完後,需要設定網路
首先在vmware中,檢視NAT網路模式中的虛擬路由器的網段和IP地址
- 1.17接下來設定windows的vmnet8的ip地址和虛擬機器中centos的ip地址,即可聯網
(圖片:NAT虛擬網路配置.png)
- 二、linux常用軟體安裝
- 2.1修改Linux的基本配置
- 修改主機名
vi /etc/sysconfig/network
NETWORKING=yes HOSTNAME=server1.itcast.cn |
- 修改ip地址
vi /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0 TYPE=Ethernet ONBOOT=yes BOOTPROTO=static IPADDR=192.168.0.101 NETMASK=255.255.255.0 |
service network restart
- 修改ip地址和主機名的對映關係
vi /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.0.101 server1.itcast.cn |
- 關閉iptables並設定其開機啟動/不啟動
service iptables stop
chkconfig iptables on
chkconfig iptables off
- 2.2安裝JDK
- 上傳jdk-7u45-linux-x64.tar.gz到Linux上
- 解壓jdk到/usr/local目錄
tar -zxvf jdk-7u45-linux-x64.tar.gz -C /usr/local/
- 設定環境變數,在/etc/profile檔案最後追加相關內容
vi /etc/profile
export JAVA_HOME=/usr/local/jdk1.7.0_45 export PATH=$PATH:$JAVA_HOME/bin |
- 重新整理環境變數
source /etc/profile
- 測試java命令是否可用
java -version
- 2.3安裝Tomcat
- 上傳apache-tomcat-7.0.68.tar.gz到Linux上
- 解壓tomcat
tar -zxvf apache-tomcat-7.0.68.tar.gz -C /usr/local/
- 啟動tomcat
/usr/local/apache-tomcat-7.0.68/bin/startup.sh
- 檢視tomcat程序是否啟動
jps
- 檢視tomcat程序埠
netstat -anpt | grep 2465
- 通過瀏覽器訪問tomcat
- 2.5安裝MySQL
- 上傳MySQL-server-5.5.48-linux2.6.x86_64.rpm、MySQL-client-5.5.48-linux2.6.x86_64.rpm到Linux上
- 使用rpm命令安裝MySQL-server-5.5.48-1.linux6.x86_64.rpm,缺少perl依賴
rpm -ivh MySQL-server-5.5.48-1.linux2.6.x86_64.rpm
- 安裝perl依賴,上傳6個perl相關的rpm包
rpm -ivh perl-*
- 再安裝MySQL-server,rpm包衝突
rpm -ivh MySQL-server-5.5.48-1.linux2.6.x86_64.rpm
- 解除安裝衝突的rpm包
rpm -e mysql-libs-5.1.73-5.el6_6.x86_64 --nodeps
- 再安裝MySQL-client和MySQL-server
rpm -ivh MySQL-client-5.5.48-1.linux2.6.x86_64.rpm
rpm -ivh MySQL-server-5.5.48-1.linux2.6.x86_64.rpm
- 啟動MySQL服務,然後初始化MySQL
service mysql start
/usr/bin/mysql_secure_installation
- 測試MySQL
mysql -u root -p
三、本地YUM源製作
- 3.1YUM相關概念
- 什麼是YUM
YUM(全稱為 Yellow dog Updater, Modified)是一個在Fedora和RedHat以及CentOS中的Shell前端軟體包管理器。基於RPM包管理,能夠從指定的伺服器自動下載RPM包並且安裝,可以自動處理依賴性關係,並且一次安裝所有依賴的軟體包,無須繁瑣地一次次下載、安裝。
- YUM的作用
在Linux上使用原始碼的方式安裝軟體非常滿分,使用yum可以簡化安裝的過程
- 3.2YUM的常用命令
安裝httpd並確認安裝
yum instll -y httpd
列出所有可用的package和package組
yum list
清除所有緩衝資料
yum clean all
列出一個包所有依賴的包
yum deplist httpd
刪除httpd
yum remove httpd
- 3.3製作本地YUM源
- 為什麼要製作本地YUM源
YUM源雖然可以簡化我們在Linux上安裝軟體的過程,但是生成環境通常無法上網,不能連線外網的YUM源,說以接就無法使用yum命令安裝軟體了。為了在內網中也可以使用yum安裝相關的軟體,就要配置yum源。
- YUM源的原理
YUM源其實就是一個儲存了多個RPM包的伺服器,可以通過http的方式來檢索、下載並安裝相關的RPM包
- 製作本地YUM源(以下十六個步驟)
1準備一臺Linux伺服器,用最簡單的版本CentOS-6.7-x86_64-minimal.iso
2配置好這臺伺服器的IP地址
3上傳CentOS-6.7-x86_64-bin-DVD1.iso到伺服器
4將CentOS-6.7-x86_64-bin-DVD1.iso映象掛載到某個目錄
mkdir /var/iso
mount -o loop CentOS-6.7-x86_64-bin-DVD1.iso /var/iso
5.修改本機上的YUM源配置檔案,將源指向自己
備份原有的YUM源的配置檔案
cd /etc/yum.repos.d/
rename .repo .repo.bak *
vi CentOS-Local.repo
[base] name=CentOS-Local baseurl=file:///var/iso gpgcheck=1 enabled=1 #很重要,1才啟用 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6 |
新增上面內容儲存退出
6清除YUM緩衝
yum clean all
7列出可用的YUM源
yum repolist
8安裝相應的軟體
yum install -y httpd
9.開啟httpd使用瀏覽器訪問http://192.168.0.100:80(如果訪問不通,檢查防火牆是否開啟了80埠或關閉防火牆)
service httpd start
10.將YUM源配置到httpd(Apache Server)中,其他的伺服器即可通過網路訪問這個內網中的YUM源了
cp -r /var/iso/ /var/www/html/CentOS-6.7
11.取消先前掛載的映象
umount /var/iso
12.在瀏覽器中訪問http://192.168.0.100/CentOS-6.7/
13讓其他需要安裝RPM包的伺服器指向這個YUM源,準備一臺新的伺服器,備份或刪除原有的YUM源配置檔案
cd /etc/yum.repos.d/
rename .repo .repo.bak *
vi CentOS-Local.repo
[base] name=CentOS-Local baseurl=http://192.168.0.100/CentOS-6.7 gpgcheck=1 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6 |
新增上面內容儲存退出
14在這臺新的伺服器上執行YUM的命令
yum clean all
yum repolist
15安裝相應的軟體
yum install -y gcc
16加入依賴包到私有yum的repository
進入到repo目錄
執行命令: createrepo .
- 四、VMware虛擬機器三種聯網方法及原理
- 4.1Brigde——橋接:預設使用VMnet0
- 4.1.1原理:
Bridge 橋"就是一個主機,這個機器擁有兩塊網絡卡,分別處於兩個區域網中,同時在"橋"上,執行著程式,讓區域網A中的所有資料包原封不動的流入B,反之亦然。這樣,區域網A和B就無縫的在鏈路層連線起來了,在橋接時,VMWare網絡卡和物理網絡卡應該處於同一IP網段 當然要保證兩個區域網沒有衝突的IP.
VMWare 的橋也是同樣的道理,只不過,本來作為硬體的一塊網絡卡,現在由VMWare軟體虛擬了!當採用橋接時,VMWare會虛擬一塊網絡卡和真正的物理網絡卡就行橋接,這樣,發到物理網絡卡的所有資料包就到了VMWare虛擬機器,而由VMWare發出的資料包也會通過橋從物理網絡卡的那端發出。
所以,如果物理網絡卡可以上網,那麼橋接的軟網絡卡也沒有問題了,這就是橋接上網的原理了。
- 4.1.2聯網方式:
這一種聯網方式最簡單,在區域網內,你的主機是怎麼聯網的,你在虛擬機器裡就怎麼連網。把虛擬機器看成區域網內的另一臺電腦就行了!
提示:主機網絡卡處在一個可以訪問Internet的區域網中,虛擬機器才能通過Bridge訪問Internet。
`````````````````````````````````````````````````````````````````````````````````````````````````````````````````````
- 4.2NAT——網路地址轉換 :預設使用VMnet8
- 4.2.1原理:
NAT 是 Network address translate的簡稱。NAT技術應用在internet閘道器和路由器上,比如192.168.0.123這個地址要訪問internet,它的資料包就要通過一個閘道器或者路由器,而閘道器或者路由器擁有一個能訪問internet的ip地址,這樣的閘道器和路由器就要在收發資料包時,對資料包的IP協議層資料進行更改(即 NAT),以使私有網段的主機能夠順利訪問internet。此技術解決了IP地址稀缺的問題。同樣的私有IP可以閘道器NAT 上網。
VMWare的NAT上網也是同樣的道理,它在主機和虛擬機器之間用軟體偽造出一塊網絡卡,這塊網絡卡和虛擬機器的ip處於一個地址段。同時,在這塊網絡卡和主機的網路介面之間進行NAT。虛擬機發出的每一塊資料包都會經過虛擬網絡卡,然後NAT,然後由主機的介面發出。
虛擬網絡卡和虛擬機器處於一個地址段,虛擬機器和主機不同一個地址段,主機相當於虛擬機器的閘道器,所以虛擬機器能ping到主機的IP,但是主機ping不到虛擬機器的IP。
- 4.2.2聯網方式:
方法1、動態IP地址。
主機是靜態IP或動態IP,都無所謂,將虛擬機器設定成使用DHCP方式上網,Windows下選擇“自動獲取IP“,linux下開啟DHCP服務即可。(這種方法最簡單,不用過多的設定,但要在VMware中進行“編輯→虛擬網路設定”,將NAT和DHCP都開啟了。一般NAT預設開啟,DHCP預設關閉)
方法2、靜態IP地址。
如果不想使用DHCP,也可以手動設定:
IP設定與vmnet1同網段,閘道器設定成vmnet8的閘道器(在“虛擬網路設定”裡的Net選項卡里能找到Gateway)通常是xxx.xxx.xxx.2。
子網掩碼設定與VMnet8相同(設定好IP地址後,子網掩碼自動生成)
DNS設定與主機相同。
例如:主機IP是10.70.54.31,設定虛擬機器IP為10.70.54.22。Netmask,Gateway,DNS都與主機相同即可實現 虛擬機器 ---主機 虛擬機器<---->網際網路 通訊。
提示:使用NAT技術,主機能上網,虛擬機器就可以訪問Internet,但是主機不能訪問虛擬機器。
- 4.3Host-Only——私有網路共享主機:預設使用VMnet1
- 4.3.1原理:
提供的是主機和虛擬機器之間的網路互訪。只想讓虛擬機器和主機之間有資料交換,而不想讓虛擬機器訪問Internet,就要採用這個設定了。
Host-only的條件下,VMWare在真正的Windows系統中,建立一塊軟網絡卡。這塊網絡卡可以在網路連線中看到,一般是VMNET1,這塊網絡卡的作用就是使Windows看到虛擬機器的IP。
- 4.3.2聯網方法:
方法1、動態IP地址。
像上面那樣開啟DHCP後,虛擬機器直接自動獲取IP地址和DNS。就可以和主機相連了。當然,還要進行一些區域網共享的操作,這裡不再贅述。
方法2、靜態IP地址。
也可以手動設定,將虛擬機器IP設定與VMnet1同網段,閘道器設定成VMnet1的閘道器相同,其餘設定與VMnet1相同,DNS設定與主機相同。
例如:VMnet1 IP:172.16.249.1 Gateway :172.16.249.2
那麼虛擬機器 IP:172.16.249.100 Gateway: 172.16.249.2
這樣、 虛擬機器<--->主機 可以通訊
但是、 虛擬機器<--->網際網路 無法通訊
提示:Host-only技術只用於主機和虛擬機器互訪,於訪問internet無關。
- 五、其他
- 5.1批量自動刪除rpm包:
rpm -qa | grep mysql | while read c; do rpm -e $c --nodeps; done
- 5.2minimal最小化安裝
eth0預設沒有自啟用
修改配置檔案
onboot=true
- 5.3修改靜態地址後發現無法ping外網
需要設定閘道器
route add default gw 192.168.33.1
新增nameserver
vi /etc/resolv.conf
nameserver 192.168.33.1
- 5.4掛載光碟
mkdir /mnt/cdrom
mount -t iso9660 -o ro /dev/cdrom/ /mnt/cdrom
- 5.5解決克隆後eth0不見的問題
直接修改 /etc/sysconfig/network-script/ifcfg-eth0
刪掉UUID HWADDR
配置靜態地址
然後:
rm -rf /etc/udev/rules.d/70-persistent-net.rules
然後 reboot
- 5.6ssh免密登陸示意圖