1. 程式人生 > >Python 任務自動化工具 tox 教程

Python 任務自動化工具 tox 教程

在我剛翻譯完的 Python 打包系列文章中,作者提到了一個神奇的測試工具 tox,而且他本人就是 tox 的維護者之一。趁著話題的相關性,本文將對它做簡單的介紹,說不定大家在開發專案時能夠用得上。

Command line driven CI frontend and development task automation tool

命令列驅動的 CI 前端和開發任務自動化工具

tox 的專案地址是:https://github.com/tox-dev/tox

其核心作用是支援建立隔離的 Python 環境,在裡面可以安裝不同版本的 Python 直譯器與各種依賴庫,以此方便開發者做自動化測試、打包、持續整合等事情。

簡單來說,tox 是一個管理測試虛擬環境的命令列工具。 它已存在多年且廣被開發者們使用,例如,著名的雲端計算平臺 OpenStack 也採用了它,作為最基礎的測試工具之一。

1、tox 能做什麼?

細分的用途包括:

  • 建立開發環境
  • 執行靜態程式碼分析與測試工具
  • 自動化構建包
  • 針對 tox 構建的軟體包執行測試
  • 檢查軟體包是否能在不同的 Python 版本/直譯器中順利安裝
  • 統一持續整合(CI)和基於命令列的測試
  • 建立和部署專案文件
  • 將軟體包釋出到 PyPI 或任何其它平臺

tox 官方文件中列出了 40 餘種使用場景的示例,詳細的列表可檢視:https://tox.readthedocs.io/en/latest/examples.html

2、tox 怎麼配置?

關於它的用法:使用pip install tox 安裝,使用tox 執行全部測試環境,和tox -e envname 執行指定的環境。還有不少的命令列引數,通過tox -h 檢視。

tox 的行為由其配置檔案控制,當前它支援 3 種配置檔案:

  1. pyproject.toml
  2. tox.ini
  3. setup.cfg

以 tox 專案自己的 tox.ini 配置內容為例,可以看到它是這樣配置的(https://github.com/tox-dev/tox/blob/master/tox.ini):

每個[xxx]及其下方內容組成一個章節(section),每個章節間使用空行作間隔。

[tox]下面是全域性性的配置項,envlist 欄位定義了 tox 去操作的環境。[xxx]下面是 xxx 虛擬環境的配置項,[xxx:yyy]繼承 xxx 的配置,同時其自身配置項的優先順序更高。

對於每個虛擬環境,可用的配置項很多,例如常用的有:description(描述資訊)、basepython(Python直譯器版本)、deps(環境依賴項)、commands(命令語句)等等。

tox 還支援作變數替換,它提供了一些內建的基礎變數(全域性的或對於虛擬環境的):{toxinidir}、{homedir}、{envname}、{envdir}等等。

除了基礎性的變數替換,它還支援這些高階用法:

  • 取作業系統的環境變數:{env:KEY},效果等同於os.environ['KEY'] 。可以變化成:{env:KEY:DEFAULTVALUE},在取不到環境變數時則使用預設值;{env:KEY:{env:DEFAULT_OF_KEY}},達到 if-else 的取值效果
  • 傳遞命令列引數:{posargs:DEFAULTS},當沒有命令列引數時,使用 DEFAULTS 值。使用方式:tox arg1 arg2 傳兩個參,或者tox -- --opt1 arg1 將“-- opt1 arg1”作為整體傳入。
  • 章節間傳值:{[sectionname]valuename},不同章節的內容可以傳遞使用。
  • 互動式控制檯注入:{tty:ON_VALUE:OFF_VALUE},當互動式 shell 控制檯開啟時,使用第一個值,否則使用第二個。pytest 在使用“--pdb”時,是這樣的例子。

花括號“{}”除了可以做變數替換使用,它還可以作為“或關係”判斷的取值。直接看下面的例子:

[tox]
envlist = {py27,py36}-django{15,16}

{py27,py36}-django{15,16} 的 2 組花括號內各有 2 個值,它們實際可以組合成 4 個環境:py27-django15、py27-django16、py36-django15、py36-django16。

關於 tox 有哪些配置項、使用條件、什麼含義、高階用法等等內容,可在官方文件中檢視:https://tox.readthedocs.io/en/latest/config.html

3、tox 的外掛化

除了自身強大的可配置性,tox 還具有很強的可擴充套件性,它是可插拔的(pluggable),圍繞它產生了一個極為豐富的外掛生態。

使用pip search tox ,可以看到數量眾多的“tox-”開頭的庫,它們都是 tox 的外掛包。其中不乏 setuptools、pipenv、conda、travis、pytest、docker 等被大家熟知的名字。

tox 開放了挺多的 API 介面,方便其他人定製開發外掛。

4、tox 的工作流程

接下來看看 tox 是怎麼運作的:

其工作流程中主要的環節有:

  • 配置(從figuration):載入配置檔案(如 tox.ini),解析命令列引數,讀取系統環境變數等
  • 打包(packaging):可選的,對於帶有 setup.py 檔案的專案,可以在這步去生成它的源發行版
  • 建立虛擬環境:預設使用 virtualenv 來建立虛擬環境,並根據配置項中的“deps”安裝所需的依賴項,然後執行配置好的命令(commands)
  • 報告(report):彙總所有虛擬環境的執行結果並羅列出來

5、小結

tox 本身定位是一個測試工具,它試圖令 Pytho 測試工作變得自動化、標準化與流程化。但跟 unittest 和 pytest 這些測試框架不同,它作用的是程式碼層面之外的事情,是一種專案級的工具。因此,它需要跟這些測試框架相結合,或者同時處理多種自動化任務(如跑 pep8、測程式碼覆蓋率、生成文件等等),這樣才能更好地發揮它的價值。

它的一大特色在於建立/管理虛擬環境,但這只是為了方便測試而使用的手段,因此相比其它可管理虛擬環境的工具,如 Virtualenvwrapper、conda、pipenv、poetry,它在某些方面就存在著不足。

tox 還有強大的可配置性與豐富的外掛支援,這使得它在運用上具有很大的可能性與自由度。因此,不少忠實開發者仍在持續地在使用它,比如,我剛翻譯好的系列文章的作者就是它的維護者之一。

最後還需補充一點,tox 使用配置檔案作驅動,但配置檔案還是挺繁瑣的,因此有人開發了一個跟 tox 相似的nox,使用 Python 檔案來做配置。這個專案也很受歡迎,吸引了很多專案投入其門下,例如 pipx、urllib3、Salt 等等。對該專案感興趣的話,請檢視:https://nox.thea.codes/en/stable/

公眾號【Python貓】, 本號連載優質的系列文章,有喵星哲學貓系列、Python進階系列、好書推薦系列、技術寫作、優質英文推薦與翻譯等等,歡迎關注哦