備份伺服器講解------rsync備份伺服器(適用於unix linux windows)

##什麼是rsync軟體

是一款開源的，快速的，多功能，可實現全量及增量的本地或遠端資料同步備份的優秀工具

全量及增量：

全量： 主機A有10G資料------>主機B接收10G資料

主機A有10G又增加5G資料---->主機B又接收一遍10G資料和新增加的5G資料（效率太低）

增量：主機A有10G資料---->主機B接收10G資料

（傳之前會去對端看一下有沒有之前傳輸的東西）主機A有10G又增加5G資料------>主機B本身有之前的10G資料繼續接收新增加的5G資料（效率高，不用傳輸之前有的資料）

全量複製

增量複製-----rsync===可以替換cp  scp ls rm（1V4）

================================================

思考點：1)如何再windows上實現rsync部署#####

            2)研究xinetd服務，如何利用xinetd服務管理rsync程序####有幫助

================================================

提示資訊：

man rsync：檢視客戶端

man rsyncd.conf：檢視伺服器配置

================================================

rsync===可以替換cp scp ls rm（1V4）【優於每個命令】

cp：

scp：遠端複製

如果出現這個問題;

檢視/etc/ssh  vim ssh_config /sshd_config

優化的時候禁止ROOT使用者登陸了，所以要用普通使用者傳輸，或者改為yes即可

/etc/ssh/sshd_config檔案中的

                                PermitRootLogin prohibit-password

                               改為PermitRootLogin yes（或者刪掉PermitRootLogin prohibit-password也可以，為了安全可以備份，註釋掉就可以）

ls :檢視

rm :刪除

檢視版本：rsync--version

rsync的特性：

1）支援拷貝普通檔案與特殊檔案如連結檔案，裝置等。

2）可以有排除指定檔案或目錄同步的功能，相當於打包命令tar的排除功能：

###tar zcvf backup_1.tar.gz /opt/data -exclude=oldboy

3)可以做到保持檔案或目錄的許可權/時間（訪問時間，修改時間，建立時間）軟硬連結，屬主，屬組，等所有屬性均不改變-p

4)可以實現增量同步，即只同步發生變化的資料，因此資料傳輸效率很高（tar -N）

5)

a.可以使用rpc，rsh，ssh等方式來配合進行隧道加密傳輸檔案（rsync本身不對資料加密）

b.可以通過sorcket（程序方式）傳輸檔案和資料（服務端和客戶端）*******重點掌握

c.支援匿名的或認證（無需系統使用者）的程序模式輸出，可以實現方便安全的進行資料備份及映象。

rsync的企業工作場景說明：

1）利用定時任務+rsync方式實現資料同步；

對於網站內部技術人員建立的資料檔案，可以採取定時任務方式同步

2）利用實時任務+rsync方式實現資料同步；

對於網站外部訪問使用者傳輸的資料，可以採取實時同步方式

專案經驗：

語法說明：

1）rsync：為同步的命令：

2）[OPTION...]為同步時的引數選項；

3）[[email protected]]為rsync同步的遠端的連結使用者和主機地址：USER表示資料傳輸 到遠端伺服器上，傳輸資料使用者的身份資訊

4）SRC為源，即待拷的分割槽/檔案或目錄等，和HOST之間用一個冒號：連線

遠端伺服器的資料資源（拉）

本地伺服器的資料資源（推）

5）[DEST]為目的分割槽/檔案或目錄等。

表示本地目錄或檔案資訊（拉）

表示遠端目錄或檔案資訊（推）

①：本地同步方式：rsync/etc/hosts /tmp/

Local:  rsync [OPTION可選引數...] SRC同步的東西源... [DEST目的地] 

rsync /etc/hosts /opt/

目錄帶/和不帶/的區別：#####

/tmp/：表示將tmp目錄下的內容推送過去

/tmp：表示將tmp目錄本身及下面的內容都推送過去

②：通過遠端shell方式（遠端隧道模式）：

         Accessvia remote shell:

（拉）Pull:rsync [OPTION...] [USER(我以什麼身份登陸到你的主機)@]HOST:SRC... [DEST目的地]

rsync -e 'ssh -p 52113' [email protected]:/tmp/shuai.txt /root/zhang_backup_shuai

（推）Push:rsync [OPTION...] SRC...[[email protected]]HOST:DEST

rsync -e 'ssh -p 52113' -rp /etc/[email protected]:/tmp

問題解決：

提示：如果是禁用了root使用者登陸的話，用oldboy的身份傳輸，那麼傳輸過去的檔案必須都得傳到oldboy使用者下的目錄中，因為root目錄oldboy進不去

=========================================================

③：通過rsync daemon方式（無差異備份）（rsync守護程序方式，會建立守護程序從後臺等著提供服務）

       Accessvia rsync daemon:

注意：設定好服務端和客戶端後，推拉都在客戶端上進行！

Pull（拉的格式）:

方式1）rsync [OPTION...引數] [認證的使用者資訊[email protected]]HOST::SRC接模組資訊... [DEST]

rsync [email protected]::backup/oldboy.txt /tmp/

Push（推的格式）:

方式1）rsync [OPTION...引數] SRC本地的資料資訊... [USER認證使用者資訊@]HOST::DEST

rsync -avz /[email protected]::backup

rsync守護程序方式資料同步原理：

看圖說明：

（1）所做的是把本地的檔案推到rsync服務端backup模組裡對應目錄下

（2）當和服務端進行連線的時候，客戶端還沒到達服務端的時候前面有一扇門，這扇門可以做判斷（去/etc/rsyncd.conf看認證使用者(如果又這個使用者，會繼續讓你說出口令（然後再去服務端/etc/rsync.password 看認證密碼檔案）

（3）驗證成功以後root會對映成rsync使用者，利用rsync使用者進行傳輸檔案

守護程序部署

1）服務端的部署(rsync)

①里程碑：確定有沒有rsync軟體（rpm -aq rsync）

②里程碑：安裝rsync軟體（yum install -yrsync）

③里程碑：編寫配置檔案（特點；編寫好配置檔案，後續操作步驟可以按照配置檔案進行）

④里程碑：建立備份目錄的管理使用者：useradd -s /sbin/nologin -M rsync

⑤里程碑：建立安全認證檔案：

1）echo "rsync_backup:oldboy123">/etc/rsync.password（往存放密碼的檔案裡追加密碼）

2） chmod 600 /etc/rsync.password  （因為祕密是可見的所以要修改許可權）

⑥里程碑：建立備份目錄：

1）mkdir -p /backup

2）chown -R rsync.rsync /backup/  （因為要被rsync訪問所以要改屬主，屬組資訊）

⑦里程碑：啟動rsync服務：rsync --daemon（啟動rsync服務）

              1）ps -ef |grep rsync（檢視rsync程序）

2）netstat -lntup|grep rsync（檢視rsync埠，埠號是;TCP協議的873）

至此服務端配置的操作完成！

2）客戶端的部署（web）

①里程碑：確定有沒有rsync軟體（rpm -aq rsync）

②里程碑：安裝rsync軟體（yum install -yrsync）

③里程碑：建立安全認證檔案：

1）echo"oldboy123">/etc/rsync.password（往存放密碼的檔案裡追加密碼）

2） chmod 600/etc/rsync.password   （因為密碼是可見的所以要修改許可權）

==================================================================================================

指令碼解釋

==================================================================================================

uid = rsync                    #使用者使用者端的命令使用rsync訪問共享目錄（指定rsync服務執行的時候向磁碟進行讀取和寫入操作的操作者）

gid = rsync                     #使用者組

usechroot = no   （安全相關）

max connections = 200          #最大連線數（最多連線200臺伺服器）

timeout = 300                         #超時引數（也就是超時時間，如果300秒內沒有傳輸檔案，就斷開連結（不定義的話會導致已經連線且傳輸完資料的伺服器一直佔用位置，導致後面的伺服器連線不進來）

pid file= /var/run/rsyncd.pid       #程序號對應的檔案（直接檢視這個檔案就可以看到程序號：kill `cat/var/run/rsyncd.pid`）

lock file = /var/run/rsync.lock        #鎖檔案（如果兩臺機器同時傳輸一個hosts（名字一樣，內容不一樣）檔案到備份伺服器，在檔案到達備份伺服器的時候我先給一個hosts上鎖，直到這個檔案傳輸完成，在解鎖，讓下一個hosts檔案再開始傳輸進來，防止相同檔名在並行傳輸的時候出錯誤！（不能並行處理）

log file= /var/log/rsyncd.lock        #日誌檔案

模組是什麼：（模組名就相當於我只說個名字就可以概括這個模組下面的內容l）

[backup]                                  #模組名稱（下面放著的叫區域性變數）

path= /backup                       #共享檔案（伺服器提供訪問的目錄，備份的位置）

ignoreerrors                           #忽略錯誤程式（在傳輸的過程中有的傳輸錯誤的檔案先忽略掉等都傳輸完了，在回過來處理之前傳輸錯誤的檔案）

readonly = false                    #可讀寫（只讀為假）*****

list= false                                #不讓列表（相當於ls）

hostsallow = 172.16.1.0/24              #允許的網段（白名單，准許訪問rsync伺服器的客戶範圍）

hostsdeny = 0.0.0.0/32                          #拒接的網段（黑名單，禁止訪問rsync伺服器的客戶範圍）

authusers = rsync_backup                     #連線的虛擬使用者，非系統使用者

secretsfile = /etc/rsync.password          #認證使用者的認證賬號密碼檔案

comment = “backup dirby oldboy”         #註釋備註資訊

#rsync_config_______end

==================================================================================================

引數解釋

==================================================================================================

srync命令引數解釋：（紅色常用，藍色為組合，黃色瞭解）

保持同步目錄及檔案屬性：這裡的-avzP相當於-vzrtopgDIP（還多了DI功能，生產環境常用的引數選項為-azvP或-vzrtopgP,如果時放入指令碼中，也可以把-v和-P去掉，這裡的--progress可喲用-P代替)

-v, --verbose 詳細模式輸出。傳輸時的資料等資訊

-e, --rsh=command 指定使用rsh、ssh方式進行資料同步。

--port=PORT 指定其他的rsync服務埠。、

--bwlimit=KBPS 限制I/O頻寬，KBytes per second。（企業案例：某DBA做資料同步，頻寬佔滿，導致使用者無法訪問網站（34天10節講的案例）

-z, --compress 對備份的檔案在傳輸時進行壓縮處理提高傳輸效率。（區域網可以不用壓縮）

-P 等同於 --partial,（顯示同步的過程及傳輸時的進度等資訊）

-a, --archive 歸檔模式，表示以遞迴方式傳輸檔案，並保持所有檔案屬性，等於-rlptgoD。（一下就是包攬的引數）

-r, --recursive 對子目錄以遞迴模式處理。

-l, --links 保留軟鏈結。

-p, --perms 保持檔案許可權。

-o, --owner 保持檔案屬主資訊。

-g, --group 保持檔案屬組資訊。

-D, --devices 保持裝置檔案資訊。

-t, --times 保持檔案時間資訊。

==================================================================================================

-q, --quiet 精簡輸出模式。

-c, --checksum 開啟校驗開關，強制對檔案傳輸進行校驗。

-R, --relative 使用相對路徑資訊。

-b, --backup 建立備份，也就是對於目的已經存在有同樣的檔名時，將老的檔案重新命名為~filename。可以使用--suffix選項來指定不同的備份檔案字首。

--backup-dir 將備份檔案(如~filename)存放在在目錄下。

-suffix=SUFFIX 定義備份檔案字首。

-u, --update 僅僅進行更新，也就是跳過所有已經存在於DST，並且檔案時間晚於要備份的檔案，不覆蓋更新的檔案。

-L, --copy-links 想對待常規檔案一樣處理軟鏈結。

--copy-unsafe-links 僅僅拷貝指向SRC路徑目錄樹以外的鏈結。

--safe-links 忽略指向SRC路徑目錄樹以外的鏈結。

-H, --hard-links 保留硬鏈結。

-S, --sparse 對稀疏檔案進行特殊處理以節省DST的空間。

-n, --dry-run現實哪些檔案將被傳輸。

-w, --whole-file 拷貝檔案，不進行增量檢測。

-x, --one-file-system 不要跨越檔案系統邊界。

-B, --block-size=SIZE 檢驗演算法使用的塊尺寸，預設是700位元組。

--rsync-path=PATH 指定遠端伺服器上的rsync命令所在路徑資訊。

-C, --cvs-exclude 使用和CVS一樣的方法自動忽略檔案，用來排除那些不希望傳輸的檔案。

--existing 僅僅更新那些已經存在於DST的檔案，而不備份那些新建立的檔案。

--delete 刪除那些DST中SRC沒有的檔案。

--delete-excluded 同樣刪除接收端那些被該選項指定排除的檔案。

--delete-after 傳輸結束以後再刪除。

--ignore-errors 及時出現IO錯誤也進行刪除。

--max-delete=NUM 最多刪除NUM個檔案。

--partial 保留那些因故沒有完全傳輸的檔案，以是加快隨後的再次傳輸。

--force 強制刪除目錄，即使不為空。

--numeric-ids 不將數字的使用者和組id匹配為使用者名稱和組名。

--timeout=time ip超時時間，單位為秒。

-I, --ignore-times 不跳過那些有同樣的時間和長度的檔案。

--size-only 當決定是否要備份檔案時，僅僅察看檔案大小而不考慮檔案時間。

--modify-window=NUM 決定檔案是否時間相同時使用的時間戳視窗，預設為0。

-T --temp-dir=DIR 在DIR中建立臨時檔案。

--compare-dest=DIR 同樣比較DIR中的檔案來決定是否需要備份。

--progress 顯示備份過程。

--exclude=PATTERN 指定排除不需要傳輸的檔案模式。

--include=PATTERN 指定不排除而需要傳輸的檔案模式。

--exclude-from=FILE 排除FILE中指定模式的檔案。

--include-from=FILE 不排除FILE指定模式匹配的檔案。

--version 列印版本資訊。

--address 繫結到特定的地址。

--config=FILE 指定其他的配置檔案，不使用預設的rsyncd.conf檔案。

--blocking-io 對遠端shell使用阻塞IO。

-stats 給出某些檔案的傳輸狀態。

--progress 在傳輸時現實傳輸過程。

--log-format=formAT 指定日誌檔案格式。

--password-file=FILE 從FILE中得到密碼。

程序殺手三人組：

kill     : 程序pid號 （ps -ef|grep rsync檢視一些pid號，然後kill 1822刪除程序，會有提示說明）（簡便方法：kill `cat /var/run/rsyncd.pid`）

killall：程序名字  （killall rsync，會有提示說明）

pkill  ：程序名字 （模糊殺手，要小心~）   (pkill rsync，不會有提示說明)

斷開後Xshell連線不上主機了，到主機上檢視sshd程序發現程序被殺死！

重新啟動SSHD服務後Xshell連線上了

pkill缺點總結：指定的殺死sh程序把sshd程序殺掉了，原因是它殺的時候搜尋到的是隻要包括sh字元的程序都會殺掉！要小心使用，直接全名指定程序名！

復活程序：程序名+--daemon(守護程序)（rsync --daemon）

================================================

rsync服務的擴充套件功能實踐

================================================

第一個擴充套件：守護程序多模組功能配置：

vim 擴充套件操作，命令列模式

複製功能：10,12copy13(在目標行的前一行寫入內容)

移動功能：10,12copy13

1、里程碑：編寫配置檔案配置多模組

vim /etc/rsyncd.conf

       18[backup]

      19 comment= "backup dir by oldboy"

      20 path =/backup

21 [nfsbackup]   (新增一個新的模組)

     22 comment = "backup dir by oldboy"

      23 path =/nfsbackup

2、里程碑：重啟rsync服務

killall rsync

rsync --daemon

3、建立新模組的備份目錄

mkdir -p /nfsbackup

chown -R rsync.rsync

4、實踐測試

rsync -avzP /etc [email protected]::nfsbackup--password-file=/etc/rsync.password

第二個擴充套件：進行排除測試

1）使用到的引數：--exclude

###rsync -avz --exclude=a --exclude=b --exclude=c/2.txt /home/oldboy/oldboy/ [email protected]::backup--password-file=/etc/rsync.password

2）使用到的引數：--exclude-from=檔案

先建立一個檔案，把排除的資訊寫入進去，不得有空格，空行，

###rsync -avz --exclude-from=/oldboy/paichu.txt /oldboy/ [email protected]::backup--password-file=/etc/rsync.password

第二種方法：--exclude={a..b}

###rsync -avz --exclude={a..c} /oldboy/[email protected]::backup --password-file=/etc/rsync.password

第三種方法：更改服務端的rsync模組配置指令碼（更改完後殺死程序，重啟rsync服務）

在backup裡新增的只有backup模組可以使用，下面的nfsbackup模組不可以（這被稱為區域性變數）

第三個擴充套件：建立備份目錄（各個部分都要往backup目錄裡發文件，入如果不管理會很雜亂）

1）rsync -avz /oldboy/[email protected]::backup/dev --password-file=/etc/rsync.password （直接在傳輸過去的時候建立dev目錄）

2）rsync -avz /oldboy/[email protected]::backup/sa  --password-file=/etc/rsync.password   （直接在傳輸過去的時候建立sa目錄）

3）rsync -avz /oldboy/[email protected]::backup/dba --password-file=/etc/rsync.password （直接在傳輸過去的時候建立dba目錄）

說明：利用rsync守護程序方式建立備份目錄，只能穿件一級目錄，不能建立多級目錄！

第四個擴充套件：訪問控制配置

rsync -avz /oldboy/ rsync[email protected]10.0.0.41::backup --password-file=/etc/rsync.password

======================================================

指令碼配置檔案裡：

hosts allow = 172.16.1.0/24 （允許172.16.1.0/24這個地址）

hosts deny = 0.0.0.0/32 （阻止0.0.0.0/32這個地址，剩下的都不管，相對於白名單來說黑名單許可權要大的多！）

說明：白名單和黑名單同時存在是，許可權為大者優先使用，（在rsyncd.conf配置檔案中，白名單和黑名單的功能選擇其一使用）

解決方法：

hosts allow = 172.16.1.0/24

###hosts deny = 0.0.0.0/32  （註釋掉單獨使用一個名單就可以了）

第五個擴充套件：無差異同步配置

無差異同步解釋：   本地 蘋果          遠端 也得有一個蘋果

本地 把蘋果扔了遠端 也得把蘋果扔了

在什麼場合使用：

說明：使用無差異同步時要小心！！！

企業面試題：有一個目錄（檔案），儲存空間佔用了1T，請將這個目錄（檔案）下面的內容快速情空？

答：目錄1)rsync-avz --delete /null/ （空目錄）172.16.1.41:/data_1T/（目標目錄)

檔案2）rsync -avz --delete /null/null.txt（空檔案）172.16.1.41:/data_1T/file_1T.txt（目標檔案）

第六個擴充套件：列表功能配置（建議不要輕易開啟！）

說明：將配置檔案中的所有模組都在客戶端顯示出來，通過模組裡的列表功能：list =false---->（false：假，true：真）

測試：將服務端的腳步配置檔案中把list= false改寫成list = true

警告！！安全隱患：

如果有人想搞破環，通過上面列出來的模組資訊，可以通過模組資訊加上猜測的密碼（一旦猜對了），直接可以使用--delete命令加空(null)檔案，對其nfsbackup目錄直接清空！