如何高效地遠端部署？自動化運維利器 Fabric 教程
關於 Python 自動化的話題，在上一篇文章中，我介紹了 Invoke 庫，它是 Fabric 的最重要元件之一。Fabric 也是一個被廣泛應用的自動化工具庫，是不得不提的自動化運維利器，所以，本文將來介紹一下它。
Fabric 主要用在應用部署與系統管理等任務的自動化，簡單輕量級，提供有豐富的 SSH 擴充套件介面。在 Fabric 1.x 版本中，它混雜了本地及遠端兩類功能；但自 Fabric 2.x 版本起，它分離出了獨立的 Invoke 庫，來處理本地的自動化任務，而 Fabric 則聚焦於遠端與網路層面的任務。
為了做到這點，Fabric 主要依賴另一大核心元件 Paramiko，它是基於 SSH 協議的遠端控制模組，Fabric 在其基礎上封裝出了更加友好的介面，可以遠端執行 Shell 命令、傳輸檔案、批量操作伺服器、身份認證、多種配置與設定代理，等等。
一、Fabric 的版本區分
Python 2 版本已經被官宣在今年元旦“退休”了，未來只會是 Python 3 的舞臺。為了適應 Python 版本的非相容性遷移，很多專案也必須推出自己的新版本（相容或只支援 Python 3），其中就包括本文的主角 Fabric。
Fabric 自身存在著 2 個大版本：Fabric 1 和 Fabric 2，而在這個庫的基礎上，還有兩個很容易混淆的相關庫：Fabric2 和 Fabric3（注意這裡的數字是庫名的一部分）。
它們的區分如下：
- Fabric 1.x：支援 Python 2.5-2.7，但不支援 Python 3
- Fabric 2.x：支援 Python 2.7 與 3.4+，但不相容 Fabric 1.x 的 fabfile
- Fabric2：等同於 Fabric 2.x，為了使不同版本共存（裝一個 1.x 舊版本，再裝它作為新版本）
- Fabric3：一個基於 Fabric 1.x 的 fork（非官方），相容 Python 2&3，相容 Fabric1.x 的 fabfile
綜上可見，我們推薦使用官方的 Fabric 2.x 系列版本，但同時要注意，某些過時的教程可能是基於早期版本的（或非官方的 Fabric3，也是基於 Fabric 1.x），需要注意識別。
例如，在 Fabric 1.x 系列中這麼寫匯入：from fabric.api import run；在新版本中將報錯：“ImportError: No module named api”（PS：可根據是否有 fabric.api 來判斷 Fabric 的版本，就像在 Python 中根據 print 語句或 print 函式來判斷版本一樣）。同時，由於新版本不支援老版本的 fabfile，在使用時就可能報錯：“No idea what 'xxx' is!”
Fabric 2 是非相容性版本，相比於前個版本，它主要改進的點有：
- 支援 Python 2.7 與 3.4+
- 執行緒安全，取消了多程序的併發實現
- API 圍繞 fabric.connection.Connection 進行了重組
- 全面修改了命令列解析器，允許在每個任務的基礎上使用規則的 GNU/POSIX 風格的標誌和選項（不再需要 fab mytask:weird = custom,arg = format）
- 可以宣告前置任務與後置任務
- ……（官方列了10幾條 [1]，本文不一一羅列）
之前介紹過的 invoke，就是在開發 Fabric 2 時被分離出來的，具體的原因可參見這個回答 [2]。總而言之，在使用 Fabric 時，應該注意版本差異的問題。
二、Fabric 的基本用法
1、安裝
首先是安裝：pip intall fabric ，安裝後，可在命令列視窗檢視版本資訊：
>>> fab -V
Fabric 2.5.0
Paramiko 2.7.1
Invoke 1.4.0執行“fab -V”，以上結果可看出我安裝的是 Fabric 2.5.0 版本，同時可看到它的兩個核心依賴庫 Paramiko 及 Invoke 的版本資訊。
2、一個簡單的例子
Fabric 主要用於遠端任務，即要對遠端伺服器進行操作，下面是一個簡單的例子：
# 可使用任意的檔名
from fabric import Connection
host_ip = '47.xx.xx.xx' # 伺服器地址
user_name = 'root' # 伺服器使用者名稱
password = '****' # 伺服器密碼
cmd = 'date' # shell 命令，查詢伺服器上的時間
con = Connection(host_ip, user_name, connect_kwargs={'password': password})
result = con.run(cmd, hide=True)
print(result)以上程式碼，通過賬號+密碼登入到遠端伺服器，然後執行date命令，檢視伺服器的時間，執行結果：
Command exited with status 0.
=== stdout ===
Fri Feb 14 15:33:05 CST 2020
(no stderr)現在列印的結果中，除了伺服器時間，還有一些無關的資訊。這是因為它列印的“result”是一個"fabric.runners.Result"類，我們可以把其中的資訊解析出來：
print(result.stdout) # Fri Feb 14 15:33:05 CST 2020
print(result.exited) # 0
print(result.ok) # True
print(result.failed) # False
print(result.command) # date
print(result.connection.host) # 47.xx.xx.xx上述程式碼使用了 Connection 類及其 run() 方法，可在連線的伺服器上執行 shell 命令。如果需要用管理員許可權，則需替換成 sudo() 方法。如果要在本地執行 shell 命令，則需替換成 local() 方法。
除此之外，還有 get()、put() 等方法，詳見下文介紹。
3、命令列用法
上例程式碼可寫在任意的 .py 指令碼中，然後執行該指令碼，或者稍微封裝下再匯入到其它指令碼中使用。
另外，Fabric 還是個命令列工具，可以通過fab命令來執行任務。我們稍微改造一下上例的程式碼：
# 檔名：fabfile.py
from fabric import Connection
from fabric import task
host_ip = '47.xx.xx.xx' # 伺服器地址
user_name = 'root' # 伺服器使用者名稱
password = '****' # 伺服器密碼
cmd = 'date' # shell 命令，查詢伺服器上的時間
@task
def test(c):
"""
Get date from remote host.
"""
con = Connection(host_ip, user_name, connect_kwargs={'password': password})
result = con.run(cmd, hide=True)
print(result.stdout) # 只打印時間解釋一下，主要的改動點有：
- fabfile.py 檔名：入口程式碼的指令碼名必須用這個名字
- @task 裝飾器：需要從 fabric 中引入這個裝飾器，它是對 invoke 的 @task 裝飾器的封裝，實際用法跟 invoke 一樣（注意：它也需要有上下文引數“c”，但實際上它並沒有在程式碼塊中使用，而是用了 Connection 類的例項）
然後，在該指令碼同級目錄的命令列視窗中，可以檢視和執行相應的任務：
>>> fab -l
Available tasks:
test Get date from remote host.
>>> fab test
Fri Feb 14 16:10:24 CST 2020fab 是 Invoke 的擴充套件實現，繼承了很多原有功能，所以執行“fab --help”，與之前介紹的“inv --help”相比，你會發現它們的很多引數與解釋都是一模一樣的。
fab 針對遠端服務的場景，添加了幾個命令列選項（已標藍），其中：
- --prompt-for-login-password：令程式在命令列中輸入 SSH 登入密碼（上例在程式碼中指定了 connect_kwargs.password 引數，若用此選項，可要求在執行時再手工輸入密碼）
- --prompt-for-passphrase：令程式在命令列中輸入 SSH 私鑰加密檔案的路徑
- -H 或 --hosts：指定要連線的 host 名
- -i 或 --identity：指定 SSH 連線所用的私鑰檔案
- -S 或 --ssh-config：指定執行時要載入的 SSH 配置檔案
關於 Fabric 的命令列介面，更多內容可檢視文件 [3]。
4、互動式操作
遠端伺服器上若有互動式提示，要求輸入密碼或“yes”之類的資訊，這就要求 Fabric 能夠監聽並作出迴應。
以下是一個簡單示例。引入 invoke 的 Responder，初始化內容是一個正則字串和迴應資訊，最後賦值給 watchers 引數：
from invoke import Responder
from fabric import Connection
c = Connection('host')
sudopass = Responder(
pattern=r'\[sudo\] password:',
response='mypassword\n')
c.run('sudo whoami', pty=True, watchers=[sudopass])5、傳輸檔案
本地與伺服器間的檔案傳輸是常見用法。Fabric 在這方面做了很好的封裝，Connection 類中有以下兩個方法可用：
- get(*args, **kwargs)：拉取遠端檔案到本地檔案系統或類檔案（file-like）物件
- put(*args, **kwargs)：推送本地檔案或類檔案物件到遠端檔案系統
在已建立連線的情況下，示例：
# (略)
con.get('/opt/123.txt', '123.txt')
con.put('test.txt', '/opt/test.txt')第一個引數指的是要傳輸的原始檔，第二個引數是要傳輸的目的地，可以指定成檔名或者資料夾（為空或 None 時，使用預設路徑）：
# (略)
con.get('/opt/123.txt', '') # 為空時，使用預設路徑
con.put('test.txt', '/opt/') # 指定路徑 /opt/get() 方法的預設儲存路徑是os.getcwd ，而 put() 方法的預設儲存路徑是 home 目錄。
6、伺服器批量操作
對於伺服器叢集的批量操作，最簡單的實現方法是用 for 迴圈，然後逐一建立 connection 和執行操作，類似這樣：
for host in ('web1', 'web2', 'mac1'):
result = Connection(host).run('uname -s')但有時候，這樣的方案會存在問題：
- 如果存在多組不同的伺服器叢集，需要執行不同操作，那麼需要寫很多 for 迴圈
- 如果想把每組操作的結果聚合起來（例如字典形式，key-主機，value-結果），還得在 for 迴圈之外新增額外的操作
- for 迴圈是順序同步執行的，效率太低，而且缺乏異常處理機制（若中間出現異常，會導致跳出後續操作）
對於這些問題，Fabric 提出了 Group 的概念，可將一組主機定義成一個 Group，它的 API 方法跟 Connection 一樣，即一個 Group 可簡化地視為一個 Connection。
然後，開發者只需要簡單地操作這個 Group，最後得到一個結果集即可，減少了自己在異常處理及執行順序上的工作。
Fabric 提供了一個 fabric.group.Group 基類，並由其派生出兩個子類，區別是：
- SerialGroup(*hosts, **kwargs)：按序列方式執行操作
- ThreadingGroup(*hosts, **kwargs)：按併發方式執行操作
Group 的型別決定了主機叢集的操作方式，我們只需要做出選擇即可。然後，它們的執行結果是一個fabric.group.GroupResult類，它是 dict 的子類，儲存了每個主機 connection 及其執行結果的對應關係。
>>> from fabric import SerialGroup
>>> results = SerialGroup('web1', 'web2', 'mac1').run('uname -s')
>>> print(results)
<GroupResult: {
<Connection 'web1'>: <CommandResult 'uname -s'>,
<Connection 'web2'>: <CommandResult 'uname -s'>,
<Connection 'mac1'>: <CommandResult 'uname -s'>,
}>另外，GroupResult 還提供了 failed 與 succeeded 兩個屬性，可以取出失敗/成功的子集。由此，也可以方便地批量進行二次操作。 原文
三、Fabric 的進階用法
1、身份認證
Fabric 使用 SSH 協議來建立遠端會話，它是一種相對安全的基於應用層的加密傳輸協議。
基本來說，它有兩種級別的安全認證方式：
- 基於口令的身份認證：使用賬號與密碼來登入遠端主機，安全性較低，容易受到“中間人”攻擊
- 基於金鑰的身份認證：使用金鑰對方式（公鑰放服務端，私鑰放客戶端），不會受到“中間人”攻擊，但登入耗時較長
前文在舉例時，我們用了第一種方式，即通過指定 connect_kwargs.password 引數，使用口令來登入。
Fabric 當然也支援採用第二種方式，有三種方法來指定私鑰檔案的路徑，優先順序如下：
- 優先查詢 connect_kwargs.key_filename 引數，找到則用作私鑰
- 其次查詢命令列用法的 --identify 選項
- 最後預設使用作業系統的 ssh_config 檔案中的
IdentityFile的值
如果私鑰檔案本身還被加密過，則需要使用 connect_kwargs.passphrase 引數。
2、配置檔案
Fabric 支援把一些引數項與業務程式碼分離，即通過配置檔案來管理它們，例如前面提到的密碼和私鑰檔案，可寫在配置檔案中，避免與程式碼耦合。
Fabric 基本沿用了 Invoke 的配置檔案體系（官方文件中列出了 9 層），同時增加了一些跟 SSH 相關的配置項。支援的檔案格式有 .yaml、.yml、.json 與 .py（按此次序排優先順序），推薦使用 yaml 格式（字尾可簡寫成 yml）。
其中，比較常用的配置檔案有：
- 系統級的配置檔案：/etc/fabric.yml
- 使用者級的配置檔案：~/.fabric.yml（Windows 在 C:\Users\xxx 下）
- 專案級的配置檔案：/myproject/fabric.yml
以上檔案的優先順序遞減，由於我本機是 Windows，為了方便，我在使用者目錄建一個".fabric.yml"檔案，內容如下：
# filename:.fabric.yml
user: root
connect_kwargs:
password: xxxx
# 若用金鑰，則如下
# key_filename:
# - your_key_file我們把使用者名稱和密碼抽離出來了，所以 fabfile 中就可以刪掉這些內容：
# 檔名：fabfile.py
from fabric import Connection
from fabric import task
host_ip = '47.xx.xx.xx' # 伺服器地址
cmd = 'date' # shell 命令，查詢伺服器上的時間
@task
def test(c):
"""
Get date from remote host.
"""
con = Connection(host_ip)
result = con.run(cmd, hide=True)
print(result.stdout) 然後，在命令列中執行：
>>> fab test
Tue Feb 18 10:33:38 CST 2020配置檔案中還可以設定很多引數，詳細可檢視文件 [4]。
3、網路閘道器
如果遠端服務是網路隔離的，無法直接被訪問到（處在不同區域網），這時候需要有閘道器/代理/隧道，這個中間層的機器通常被稱為跳板機或堡壘機。
Fabric 中有兩種閘道器解決方案，對應到 OpenSSH 客戶端的兩種選項：
- ProxyJump：簡單，開銷少，可巢狀
- ProxyCommand：開銷大，不可巢狀，更靈活
在建立 Fabric 的 Connection 物件時，可通過指定 gateway 引數來應用這兩種方案：
ProxyJump 方式就是在一個 Connection 中巢狀一個 Connection 作為前者的閘道器，後者使用 SSH 協議的direct-tcpip 為前者開啟與實際遠端主機的連線，而且後者還可以繼續巢狀使用自己的閘道器。
from fabric import Connection
c = Connection('internalhost', gateway=Connection('gatewayhost'))ProxyCommand 方式是客戶端在本地用 ssh 命令（類似“ssh -W %h:%p gatewayhost”），建立一個子程序，該子程序與服務端進行通訊，同時它能讀取標準輸入和輸出。
這部分的實現細節分別在paramiko.channel.Channel 和 paramiko.proxy.ProxyCommand，除了在引數中指定，也可以在 Fabric 支援的配置檔案中定義。更多細節，請查閱文件 [5]。
四、小結
Fabric 的非相容版本造成了一定程度的社群分裂，這無疑跟 Python 3 的推行脫不開關係，但是我們有理由相信，新版本優勝於老版本。
網上關於 Fabric 的文章，很多已過時了。本文針對最新的官方文件，梳理出了較為全面的知識點，可以帶大家很好地入門 Fabric。
讀完本文，相信讀者們只需要幾分鐘就能輕鬆上手使用。如若有所疑問，歡迎通過以下方式聯絡我。
--------------
公眾號：Python貓
頭條號：Python貓
知乎：豌豆花下貓
掘金：豌豆花下貓
--------------
相關連結：
Invoke教程：https://mp.weixin.qq.com/s/up8lxuRhJQAXRzxkirF3nA
1、http://www.fabfile.org/upgrading.html#upgrading
2、http://www.pyinvoke.org/faq.html#invoke-split-from-fabric
3、http://docs.fabfile.org/en/2.5/cli.html
4、http://docs.fabfile.org/en/2.5/concepts/configuration.html
5、http://docs.fabfile.org/en/2.5/concepts/networking.html
公眾號【Python貓】， 本號連載優質的系列文章，有喵星哲學貓系列、Python進階系列、好書推薦系列、技術寫作、優質英文推薦與翻譯等等，歡迎關注哦