50臺集群架構配置介紹-3(NFS)
企業NFS共享存儲服務
介紹及作用位置：
透過網路（一般是局域網）讓不同的主機系統之間可以共享文件或目錄。
ＮＦＳ客戶端（一般為應用服務器 例:WEB 服務）可以透過掛載的方式將NFS服務器端共享的數據目錄掛載到客戶端本地系統中。從客戶端本地來看，NFS服務器端共享的目錄就好像是客戶端自己的磁盤分區或者目錄一樣，而實際上卻是遠端的NFS服務器目錄。
互聯網中小型網站集群架構後端常常用NFS進行數據共享，如果是大型網站，那麽有可能還會用到更復雜的分布式文件系統，例如:Moosefs(mfs)、GlusterFS,FastDFS
NFS服務部署服務器準備：
這邊我們開三臺虛擬機來實踐
1. 10.0.0.31 (nfs01) 作為服務器
服務器環境系統：
[root@nfs01 ~]# cat /etc/redhat-release
CentOS release 6.9 (Final)
[root@nfs01 ~]# uname -r
2.6.32-696.el6.x86_64
[root@nfs01 ~]# uname -m
x86_64
NFS 軟體列表：
要部署NFS服務，需要安裝下面的軟件包：
註意，如果要讓我們下載的yum留下來，以後可以做yum 倉庫，可以這樣配置
nfs-utils
NFS服務的主程序，包括rpc.nfsd、rpc.mountd這兩個daemons和相關文檔說明，以及執行命令文件等rpcbind
Centos6.X 下面RPC 的主程序。NFS可以視為一個RPC程序，在啟動任何一個RPC程序之前，需要做好端口和功能的對應映射工作，這個映射工作就是由rpcbind服務來完成的。因此，在提供NFS服務之前必須先啟動rpcbind服務才可以。
[root@backup yum]# cat /etc/yum.conf
[main]
cachedir=/var/cache/yum/$basearch/$releasever
keepcache=1 ------>這邊原本是0改成1
debuglevel=2
logfile=/var/log/yum.log
exactarch=1
查看目前已經下載的yum
[root@backup yum]# tree /var/cache/yum/x86_64/6/|grep "rpm"
│ │ ├── keyutils-1.4-5.el6.x86_64.rpm
│ │ ├── libevent-1.4.13-4.el6.x86_64.rpm
│ │ ├── libgssglue-0.1-11.el6.x86_64.rpm
│ │ ├── nfs-utils-1.2.3-75.el6.x86_64.rpm
│ │ └── nfs-utils-lib-1.1.5-13.el6.x86_64.rpm
│ ├── libtirpc-0.2.1-13.el6_9.x86_64.rpm
│ └── rpcbind-0.2.0-13.el6_9.1.x86_64.rpm
NFS 開啟服務：
[root@nfs01 ~]# /etc/init.d/rpcbind start
Starting rpcbind: [ OK ]
[root@nfs01 ~]# netstat -tunlp | grep rpc
tcp 0 0 0.0.0.0:111 0.0.0.0:* LISTEN 2974/rpcbind
tcp 0 0 :::111 :::* LISTEN 2974/rpcbind
udp 0 0 0.0.0.0:605 0.0.0.0:* 2974/rpcbind
udp 0 0 0.0.0.0:111 0.0.0.0:* 2974/rpcbind
udp 0 0 :::605 :::* 2974/rpcbind
udp 0 0 :::111 :::* 2974/rpcbind
rpc 主端口是111
要怎麽看有沒有房源啊？
[root@nfs01 ~]# rpcinfo -p localhost
program vers proto port service
100000 4 tcp 111 portmapper
100000 3 tcp 111 portmapper
100000 2 tcp 111 portmapper
100000 4 udp 111 portmapper
100000 3 udp 111 portmapper
100000 2 udp 111 portmapper
---->上面都只有自己的端口
開啟nfs服務
[root@nfs01 ~]# /etc/init.d/nfs start
Starting NFS services: [ OK ]
Starting NFS quotas: [ OK ]
Starting NFS mountd: [ OK ]
Starting NFS daemon: [ OK ]
Starting RPC idmapd: [ OK ]
然後我們再看看rpc 有沒有房了？
[root@nfs01 ~]# rpcinfo -p localhost
program vers proto port service
100000 4 tcp 111 portmapper
100000 3 tcp 111 portmapper
100000 2 tcp 111 portmapper
100000 4 udp 111 portmapper
100000 3 udp 111 portmapper
100000 2 udp 111 portmapper
100011 1 udp 875 rquotad
100011 2 udp 875 rquotad
100011 1 tcp 875 rquotad
100011 2 tcp 875 rquotad
100005 1 udp 40802 mountd
100005 1 tcp 46645 mountd
100005 2 udp 53778 mountd
100005 2 tcp 54941 mountd
100005 3 udp 59941 mountd
100005 3 tcp 40293 mountd
100003 2 tcp 2049 nfs
100003 3 tcp 2049 nfs
100003 4 tcp 2049 nfs
100227 2 tcp 2049 nfs_acl
100227 3 tcp 2049 nfs_acl
100003 2 udp 2049 nfs
100003 3 udp 2049 nfs
100003 4 udp 2049 nfs
100227 2 udp 2049 nfs_acl
100227 3 udp 2049 nfs_acl
100021 1 udp 44455 nlockmgr
100021 3 udp 44455 nlockmgr
100021 4 udp 44455 nlockmgr
100021 1 tcp 43293 nlockmgr
100021 3 tcp 43293 nlockmgr
100021 4 tcp 43293 nlockmgr
我們之前說過，每個進程都會有所謂的虛擬用戶，當我們在yum安裝時，變生成的下面的id 用戶
[root@nfs01 ~]# id nobody
uid=99(nobody) gid=99(nobody) groups=99(nobody)
[root@nfs01 ~]# id nfsnobody
uid=65534(nfsnobody) gid=65534(nfsnobody) groups=65534(nfsnobody)
[root@nfs01 ~]# chkconfig nfs on
[root@nfs01 ~]# chkconfig rpcbind on
總結：先啟動rpcbind，再啟動nfs服務。再把他們加入開機自啟動
查看一下nfs 跟rpc 的開機自啟動部分：
[root@nfs01 ~]# ls /etc/rc.d/rc3.d/ | grep -E "nfs|rpc"
K61nfs-rdma
K69rpcsvcgssd
S13rpcbind
S14nfslock
S19rpcgssd
S30nfs
實踐配置NFS：
NFS服務的默認配置文件路徑為:/etc/exports ，並且默認為空的。
[root@nfs01 ~]# ls -l /etc/exports
-rw-r--r--. 1 root root 0 Jan 12 2010 /etc/exports
格式：
NFS 共享目錄 NFS客戶端地址
EXAMPLE
# sample /etc/exports file
/ master(rw) trusty(rw,no_root_squash)
/projects proj*.local.domain(rw)
/usr *.local.domain(ro) @trusted(rw)
/home/joe pc001(rw,all_squash,anonuid=150,anongid=100)
/pub *(ro,insecure,all_squash)
/srv/www -sync,rw server @trusted @external(ro)
/foo 2001:db8:9:e54::/64(rw) 192.0.2.0/24(rw)
/build buildhost[0-9].local.domain(rw)
上述各個列的參數含義如下：
NFS 共享的目錄：為NFS服務端要共享的實際目錄，要用絕對路徑，如(/data)。註意共享目錄的本地權限，如果需要讀寫共享，一定要讓本地目錄可以被NFS客戶端的用戶(nfsnobody)讀寫。
NFS 客戶端地址：為NFS服務端授權的可訪問共享目錄的NFS客戶端地址，可以為單獨的ＩＰ地址或主機名、域名等 ，也可以為整個網段地址，還可以用“*” 來匹配所有客戶端服務器，這裏所謂的客戶端一般來說是前端的業務服務器，例如：web 服務。
權限參數集： 對授權的NFS客戶端的訪問權限設置
[root@nfs01 ~]# mkdir /data -p
[root@nfs01 ~]# id nfsnobody
uid=65534(nfsnobody) gid=65534(nfsnobody) groups=65534(nfsnobody)
[root@nfs01 ~]# ls -ld /data
drwxr-xr-x. 2 root root 4096 Oct 13 14:33 /data
[root@nfs01 ~]# chown -R nfsnobody.nfsnobody /data
[root@nfs01 ~]# ls -ld /data
drwxr-xr-x. 2 nfsnobody nfsnobody 4096 Oct 13 14:33 /data
[root@nfs01 ~]# vim /etc/exports
[root@nfs01 ~]# cat /etc/exports
#shared /data by oldboy for bingbing at 20171013
/data 172.16.1.0/24(rw,sync)
這樣上述的基本配置就處理完了。配置完後，要檢查一下狀態是否正確：
[root@nfs01 ~]# /etc/init.d/rpcbind status
rpcbind (pid 2974) is running...
[root@nfs01 ~]# /etc/init.d/nfs status
rpc.svcgssd is stopped
rpc.mountd (pid 3033) is running...
nfsd (pid 3049 3048 3047 3046 3045 3044 3043 3042) is running...
rpc.rquotad (pid 3028) is running...
[root@nfs01 ~]# rpcinfo -p localhost
program vers proto port service
100000 4 tcp 111 portmappe
...不全部列出
[root@nfs01 ~]# /etc/init.d/nfs reload （平滑重啟服務）
**上面的平滑重啟命令 等價於 exportfs -rv **
上面平滑重啟後，我們要檢查服務到底有沒有真正掛載上去：
[root@nfs01 ~]# showmount -e 172.16.1.31
Export list for 172.16.1.31:
/data 172.16.1.0/24 ---->有出現這個，就表示服務端是啟動正常的！
企業生產場景 NFS exports 配置實例 配置（客戶端）：
這邊我們的環境是在10.0.0.8(web01)
客戶端一樣要先安裝：nfs-utils , rpcbind 軟件包
[root@web01 ~]# /etc/init.d/rpcbind start
[root@web01 ~]# /etc/init.d/rpcbind status
rpcbind (pid 1210) is running...
[root@web01 ~]# chkconfig rpcbind on
[root@web01 ~]# chkconfig --list rpcbind
rpcbind 0:off 1:off 2:on 3:on 4:on 5:on 6:of
連線檢查：
[root@web01 ~]# showmount -e 172.16.1.31
Export list for 172.16.1.31:
/data 172.16.1.0/24
[root@web01 ~]# telnet 172.16.1.31 111
Trying 172.16.1.31...
Connected to 172.16.1.31.
掛載
[root@web01 ~]# mount -t nfs 172.16.1.31:/data /mnt
[root@web01 ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda3 6.6G 1.5G 4.8G 23% /
tmpfs 491M 0 491M 0% /dev/shm
/dev/sda1 190M 35M 146M 19% /boot
172.16.1.31:/data 6.6G 1.6G 4.7G 25% /mnt
測試：
[root@web01 mnt]# touch oldboy.txt
[root@web01 mnt]# echo "good" >> oldboy.txt
回到服務器裏面看：
[root@nfs01 ~]# ls /data/
oldboy.txt
[root@nfs01 ~]# cat /data/oldboy.txt
good
本文出自 “我的Linux之夢” 博客，請務必保留此出處http://12098022.blog.51cto.com/12088022/1976698
50臺集群架構配置介紹-3(NFS)