用python遷移jenkins任務
當開始一個新的 Python 專案時,大家很容易一頭扎進去就開始編碼。其實花一點時間選擇優秀的庫,將為以後的開發節省大量時間,並帶來更快樂的編碼體驗。
在理想世界中,所有開發人員的關係是相互依賴和關聯的(協作開發),程式碼要有完美的格式、沒有低階的錯誤、並且測試覆蓋了所有程式碼。另外,所有這些將在每次提交時都可以得到保證。(程式碼風格統一、型別檢測、測試覆蓋率高、自動檢測)
在本文中,我將介紹如何建立一個可以做到這些點的專案。您可以按照步驟操作,也可以直接跳到 使用 cookiecutter 生成專案 部分(老手)。 首先,讓我們建立一個新的專案目錄:
mkdir best_practices
cd best_practices
複製程式碼
pipx 安裝 Python 三方庫的命令列工具
Pipx 是一個可用於快速安裝 Python 三方庫的命令列工具。我們將使用它來安裝 pipenv 和 cookiecutter。通過下面的命令安裝 pipx:
python3 -m pip install --user pipx
python3 -m pipx ensurepath
複製程式碼
使用 pipenv 進行依賴管理
Pipenv 為您的專案自動建立和管理 virtualenv(虛擬環境),並在安裝/解除安裝軟體包時從 Pipfile 新增/刪除軟體包。它還會生成非常重要的 Pipfile.lock 用於保證依賴的可靠性。
當你知道,你和你的隊友正在使用相同的庫版本時,這將會極大地提高程式設計的信心和樂趣。Pipenv 很好地解決了使用相同的庫,版本不同的這一問題,Pipenv 在過去的一段時間裡獲得了廣泛的關注和認可,你可以放心使用。安裝命令如下:
pipx install pipenv
複製程式碼
使用 black 和 isort 進行程式碼格式化
black 可以格式化我們的程式碼:
Black 是毫不妥協的 Python 程式碼格式化庫。通過使用它,你將放棄手動調整程式碼格式的細節。作為回報,Black 可以帶來速度、確定性和避免調整 Python 程式碼風格的煩惱,從而有更多的精力和時間放在更重要的事情上。
無論你正在閱讀什麼樣的專案,用 black 格式化過的程式碼看起來都差不多。一段時間後格式不再是問題,這樣你就可以更專注於內容。
black 通過減少程式碼的差異性,使程式碼檢查更快。
而 isort 是對我們的 imports 部分進行排序:
isort 為您匯入的 Python 包部分(imports)進行排序,因此你不必再對 imports 進行手動排序。它可以按字母順序對匯入進行排序,並自動將其拆分成多個部分。
使用 pipenv 安裝它,以便它們不會使部署混亂(可以指定只在開發環境安裝):
pipenv install black isort --dev
複製程式碼
Black 和 isort 並不相容的預設選項,因此我們將讓 isort 遵循 black 的原則。建立一個 setup.cfg
檔案並新增以下配置:
[isort]
multi_line_output=3
include_trailing_comma=True
force_grid_wrap=0
use_parentheses=True
line_length=88
複製程式碼
我們可以使用以下命令執行這些工具:
pipenv run black
pipenv run isort
複製程式碼
使用 flake8 保證程式碼風格
Flake8 確保程式碼遵循 PEP8 中定義的標準 Python 程式碼規範。使用 pipenv 安裝:
pipenv install flake8 --dev
複製程式碼
就像 isort 一樣,它需要一些配置才能很好地與 black 配合使用。將這些配置新增到 setup.cfg
:
[flake8]
ignore = E203, E266, E501, W503
max-line-length = 88
max-complexity = 18
select = B,C,E,F,W,T4
複製程式碼
現在我們可以執行 flake8 了,命令:pipenv run flake8
。
使用 mypy 進行靜態型別檢查
Mypy 是 Python 的非強制的靜態型別檢查器,旨在結合動態(或 “鴨子”)型別和靜態型別的優點。Mypy 將 Python 的表達能力和便利性與功能強大的型別系統的編譯時型別檢查結合在一起,使用任何 Python VM 執行它們,基本上沒有執行時開銷。
在 Python 中使用型別需要一點時間來適應,但是好處卻是巨大的。如下:
- 靜態型別可以使程式更易於理解和維護
- 靜態型別可以幫助您更早地發現錯誤,並減少測試和除錯的時間
- 靜態型別可以幫助您在程式碼投入生產之前發現難以發現的錯誤
pipenv install mypy --dev
複製程式碼
預設情況下,Mypy 將遞迴檢查所有匯入包的型別註釋,當庫不包含這些註釋時,就會報錯。我們需要將 mypy 配置為僅在我們的程式碼上執行,並忽略沒有型別註釋的匯入錯誤。我們假設我們的程式碼位於以下配置的 best_practices
包中。將此新增到 setup.cfg
:
[mypy]
files=best_practices,test
ignore_missing_imports=true
複製程式碼
現在我們可以執行 mypy 了:
pipenv run mypy
複製程式碼
這是一個有用的 備忘單 。
用 pytest 和 pytest-cov 進行測試
使用 pytest 編寫測試非常容易,消除編寫測試的阻力意味著可以快速的編寫更多的測試!
pipenv install pytest pytest-cov --dev
複製程式碼
這是 pytest 網站上的一個簡單示例:
# content of test_sample.py
def inc(x):
return x + 1
def test_answer():
assert inc(3) == 5
複製程式碼
要執行它:
$ pipenv run pytest
=========================== test session starts ============================
platform linux -- Python 3.x.y, pytest-5.x.y, py-1.x.y, pluggy-0.x.y
cachedir: $PYTHON_PREFIX/.pytest_cache
rootdir: $REGENDOC_TMPDIR
collected 1 item
test_sample.py F [100%]
================================= FAILURES =================================
_______________________________ test_answer ________________________________
def test_answer():
> assert inc(3) == 5
E assert 4 == 5
E + where 4 = inc(3)
test_sample.py:6: AssertionError
========================= 1 failed in 0.12 seconds =========================
複製程式碼
我們所有的測試程式碼都放在 test
目錄中,因此請將此目錄新增到 setup.cfg
:
[tool:pytest]
testpaths=test
複製程式碼
如果還想檢視測試覆蓋率。建立一個新檔案 .coveragerc
,指定只返回我們的專案程式碼的覆蓋率統計資訊。比如示例的 best_practices
專案,設定如下:
[run]
source = best_practices
[report]
exclude_lines =
# Have to re-enable the standard pragma
pragma: no cover
# Don't complain about missing debug-only code:
def __repr__
if self\.debug
# Don't complain if tests don't hit defensive assertion code:
raise AssertionError
raise NotImplementedError
# Don't complain if non-runnable code isn't run:
if 0:
if __name__ == .__main__.:
複製程式碼
現在,我們就可以執行測試並檢視覆蓋率了。
pipenv run pytest --cov --cov-fail-under=100
複製程式碼
--cov-fail-under=100
是設定專案的測試覆蓋率如果小於 100% 那將認定為失敗。
pre-commit 的 Git hooks
Git hooks 可讓您在想要提交或推送時隨時執行指令碼。這使我們能夠在每次提交/推送時,自動執行所有檢測和測試。pre-commit 可輕鬆配置這些 hooks。
Git hook 指令碼對於在提交程式碼審查之前,識別簡單問題很有用。我們在每次提交時都將執行 hooks,以自動指出程式碼中的問題,例如缺少分號、尾隨空白和除錯語句。通過在 code review 之前指出這些問題,程式碼審查者可以專注於變更的程式碼內容,而不會浪費時間處理這些瑣碎的樣式問題。
在這裡,我們將上述所有工具配置為在提交 Python 程式碼改動時執行(git commit),然後僅在推送時執行 pytest coverage(因為測試要在最後一步)。建立一個新檔案 .pre-commit-config.yaml
,配置如下:
repos:
- repo: local
hooks:
- id: isort
name: isort
stages: [commit]
language: system
entry: pipenv run isort
types: [python]
- id: black
name: black
stages: [commit]
language: system
entry: pipenv run black
types: [python]
- id: flake8
name: flake8
stages: [commit]
language: system
entry: pipenv run flake8
types: [python]
exclude: setup.py
- id: mypy
name: mypy
stages: [commit]
language: system
entry: pipenv run mypy
types: [python]
pass_filenames: false
- id: pytest
name: pytest
stages: [commit]
language: system
entry: pipenv run pytest
types: [python]
- id: pytest-cov
name: pytest
stages: [push]
language: system
entry: pipenv run pytest --cov --cov-fail-under=100
types: [python]
pass_filenames: false
複製程式碼
如果需要跳過這些 hooks,可以執行 git commit --no-verify
或 git push --no-verify
使用 cookiecutter 生成專案
現在,我們已經知道了理想專案中包含了什麼,我們可以將其轉換為 模板 從而可以使用單個命令生成一個包含這些庫和配置的新專案:
pipx run cookiecutter gh:sourcery-ai/python-best-practices-cookiecutter
複製程式碼
填寫專案名稱和倉庫名稱,將為您生成新的專案。
要完成設定,請執行下列步驟:
# Enter project directory
cd <repo_name>
# Initialise git repo
git init
# Install dependencies
pipenv install --dev
# Setup pre-commit and pre-push hooks
pipenv run pre-commit install -t pre-commit
pipenv run pre-commit install -t pre-push
複製程式碼
模板專案包含一個非常簡單的 Python 檔案和測試,可以試用上面這些工具。在編寫完程式碼覺得沒問題後,就可以執行第一次 git commit
,所有的 hooks 都將執行。
整合到編輯器
雖然在提交時知道專案的程式碼始終保持最高水準是件令人興奮的事情。但如果在程式碼已全部修改完成之後(提交時),再發現有問題還是會讓人很不爽。所以,實時暴露出問題要好得多。
在儲存檔案時,花一些時間確保程式碼編輯器執行這些命令。有及時的反饋,這意味著你可以在程式碼還有印象的時候能迅速解決引入的任何小問題。