Python靜態型別解析工具簡介和實踐
簡介:Python是一門強型別的動態型別語言,開發者可以給物件動態指定型別,但型別不匹配的操作是不被允許的。動態型別幫助開發者寫程式碼輕鬆愉快,然而,俗話說:動態一時爽,重構火葬場。動態型別也帶來了許多麻煩,如果動態語言能加入靜態型別標記的話,會有什麼好處呢?本文將主要介紹Python對靜態型別的支援、社群發展的現狀、型別檢查工具介紹與對比,以及型別解析的實戰。
作者 | 別象
來源 | 阿里技術公眾號
一 背景
Python是一門強型別的動態型別語言,開發者可以給物件動態指定型別(動態),但型別不匹配的操作是不被允許的(強型別,如str和int兩個變數無法相加)。
動態型別幫助開發者寫程式碼輕鬆愉快,然而,俗話說:動態一時爽,重構火葬場。動態型別也帶來了許多麻煩,如果動態語言能加入靜態型別標記的話,主要有以下幾點好處:
- 編寫更便捷。配合各種IDE工具,可以實現定義跳轉,型別提示等。
- 編碼更可靠。既然有了型別定義的加持,許多工具能夠在靜態編碼階段就能提前發現語義錯誤。
- 重構更放心。明確了介面的出入參,使程式碼重構更明確更穩定。
目前主流語言大多數是支援靜態型別的,如Java,Go,Rust。而動態語言(Python,JS)也在擁抱靜態型別,如TypeScript。
本文主要介紹一下Python對靜態型別的支援、社群發展的現狀、型別檢查工具介紹與對比,以及型別解析的實戰。
二 Python的靜態型別支援
早在06年的Python3.0就引入了型別annotation的語法,並列出了許多改進項。
# 加型別前
def add(a, b):
return a + b
# 加型別後
def add(a:int, b:int) -> int:
return a + b
隨著持續的演進,到Python3.5,能夠做到Type Hints,配合型別標註,IDE可以做Type Checking。
進而到Python3.7,靜態型別支援基本完善。
下面我來具體介紹下型別檢查工具和一些基礎概念。
三 型別檢查工具簡介
Python作者和主流大廠都陸續推出了Python型別檢查工具:
這些型別解析工具的功能大同小異,下面簡單介紹下:
1 mypy
最早的官方推出的mypy是由Python之父Guido van Rossum親自開發,被各種主流編輯器所整合(如PyCharm, Emacs, Sublime Text, VS Code等),使用者基礎和文件經驗都很豐富。
2 pytype
谷歌的pytype可以做型別檢查,並且提供了一些實用小工具,下文會簡單介紹下其應用:
- annotate-ast,過程中的AST樹標記工具。
- merge-pyi,把生成的pyi檔案合併回原檔案中,甚至還能做到隱藏型別,在型別檢查時再載入。
- pytd-tool,解析pyi檔案的工具,解析成pytype自定義的PYTD檔案。
- pytype-single,再給定所有依賴的pyi檔案的前提下,可以解析單個Python檔案。
- pyxref,交叉引用的生成器。
3 pyre
臉書的pyre-check有兩個特別的功能:
- Watchman功能, 可以監聽程式碼檔案,追蹤改動。
- Query功能,可以對原始碼做區域性區域性的檢查,例如查詢某行中一個表示式的型別、查詢一個類的全部方法並返回成列表等,避免了全域性檢查。
4 pyright
微軟的pyright是最晚開源推出的,宣稱有以下優點:
- 速度快。相較於 mypy 及其它用 Python 寫的檢查工具,它的速度是 5 倍甚至更多。
- 不依賴 Python 環境。它用 TypeScript 寫成,運行於 node 上,不依賴 Python 環境或第三方包。
- 可配置性強。支援自由地配置,支援指定不同的執行環境(PYTHONPATH 設定、Python 版本、平臺目標)。
- 檢查項齊全。支援型別檢查及其它語法項的檢查(如 PEP-484、PEP-526、PEP-544),以及函式返回值、類變數、全域性變數的檢查,甚至可以檢查條件迴圈語句。
- 命令列工具。它包含兩個 VS Code 外掛:一個命令列工具和一個語言伺服器協議(Language Server Protocol)。
- 內建 Stubs 。使用的是 Typeshed 的副本(注:使用靜態的 pyi 檔案,檢查內建模組、標準庫和三方件 )。
- 語言服務特性。懸停提示資訊、符號定義的跳轉、實時的編輯反饋。
四 Pytype使用介紹
接下來重點介紹一下pytype。為什麼選取pytype呢,首先mypy比較古老,很多功能沒有新出的工具新穎和實用。計劃使用Python LSP來處理Python檔案提供一些語法服務的功能,pyre-check用的是Ocamel,所以我們就拿Python語言的pytype來實現想要的功能,而且pytype提供了一些實用工具,比如解析一個pyi檔案,基於Python檔案生成pyi檔案等。
1 基本概念
pyi檔案
pyi的“i”指的是interfiace,將Python檔案的型別定義用介面的形式儲存到pyi檔案裡,來輔助型別檢查。
大家常用的Pycharm,可以關注下專案空間的External Libraries > Python 3.6 > Typeshed Stubs裡面就有許多內建的pyi檔案,來輔助編碼過程的型別提示和定位。
Typeshed Stubs
上面提到了typeshed stubs,這相當於是提前整合的pyi集合,pycharm似乎自己維護了一份資料。許多比較大的開源專案也在陸續提供stubs,比如pyTorch。Tensorflow也正在考慮。
很多Python大庫去製作pyi工程量比較大,而且還有很多C的API呼叫,大家還需要耐心等待。
2 實戰
我翻閱了pytype的原始碼,把比較實用的程式碼和需求做了結合,下面介紹幾個示例:
總體效果
import logging
import sys
import os
import importlab.environment
import importlab.fs
import importlab.graph
import importlab.output
from importlab import parsepy
from sempy import util
from sempy import environment_util
from pytype.pyi import parser
示例Demo,通過Importlab工具,解析專案空間的依賴關係,以及對應的pyi檔案:
def main():
# 指定要解析的目錄
ROOT = '/path/to/demo_project'
# 指定TYPESHED目錄,可以從這裡下載:https://github.com/python/typeshed
TYPESHED_HOME = '/path/to/typeshed_home'
util.setup_logging()
# 載入typeshed,如果TYPESHED_HOME配置的不對,會返回None
typeshed = environment_util.initialize_typeshed_or_return_none(TYPESHED_HOME)
# 載入目標目錄有效檔案
inputs = util.load_all_py_files(ROOT)
# 生成用於生成import_graph的環境
env = environment_util.create_importlab_environment(inputs, typeshed)
# 基於pyi和工程檔案生成import graph
import_graph = importlab.graph.ImportGraph.create(env, inputs, trim=True)
# 列印整個依賴樹
logging.info('Source tree:\n%s', importlab.output.formatted_deps_list(import_graph))
# import模組的別名 e.g. import numpy as np -> {'np': 'numpy'}
alias_map = {}
# 引入模組的名稱和具體pyi檔案的對映 e.g. import os -> {'os': '/path/to/os/__init__.pyi'}
import_path_map = {}
# alias_map的value,可以和import_path_map的key對應,通過alias_map的key這個變數名去找真正的實現檔案
for file_name in inputs:
# 如果有pyi檔案匹配,則會放入resolved
# 如果依賴了Build_in依賴,會被跳過,不返回
# 如果依賴了自定義依賴,會放入unresolved,需要自己進一步解析,定位到專案工程檔案
(resolved, unresolved) = import_graph.get_file_deps(file_name)
for item in resolved:
item_name = item.replace('.pyi', '') \
.replace('.py', '') \
.replace('/__init__', '').split('/')[-1]
import_path_map[item_name] = item
for item in unresolved:
file_path = os.path.join(ROOT, item.new_name + '.py')
import_path_map[item.name] = file_path
import_stmts = parsepy.get_imports(file_name, env.python_version)
for import_stmt in import_stmts:
alias_map[import_stmt.new_name] = import_stmt.name
print('以下為通過importlab解析方式獲取的import關係\n\n')
# 對於程式碼搜尋場景,只需要alias_map,既可以通過正在使用的物件關聯到引入的模組
print('\n\n#################################\n\n')
print('對於程式碼搜尋場景,只需要alias_map,既可以通過正在使用的物件關聯到引入的模組')
print('alias_map: ', alias_map)
# 對於程式碼補全場景,需要進一步解析當前檔案以及引用的pyi檔案,如果當前檔案是__init__檔案,則要進一步去該目錄下的所有檔案方法中全域性搜尋
print('\n\n#################################\n\n')
print('對於程式碼補全場景,需要進一步解析當前檔案以及引用的pyi檔案,如果當前檔案是__init__檔案,則要進一步去該目錄下的所有檔案方法中全域性搜尋')
print('import_path_map: ', import_path_map)
print('\n\n\n以下為通過pytype工具,解析pyi檔案AST來分析三方依賴返回型別,從而解析出當前變數的型別\n\n')
# 通過pytype的解析,去解析依賴的pyi檔案,獲得呼叫方法的返回值
fname = '/path/to/parsed_file'
with open(fname, 'r') as reader:
lines = reader.readlines()
sourcecode = '\n'.join(lines)
ret = parser.parse_string(sourcecode, filename=fname, python_version=3)
constant_map = dict()
function_map = dict()
for key in import_path_map.keys():
v = import_path_map[key]
with open(v, 'r') as reader:
lines = reader.readlines()
src = '\n'.join(lines)
try:
res = parser.parse_pyi(src, v, key, 3)
except:
continue
# Alias
# Classes
for constant in res.constants:
constant_map[constant.name] = constant.type.name
for function in res.functions:
signatures = function.signatures
sig_list = []
for signature in signatures:
sig_list.append((signature.params, signature.return_type))
function_map[function.name] = sig_list
var_type_from_pyi_list = []
for alias in ret.aliases:
variable_name = alias.name
if alias.type is not None:
typename_in_source = alias.type.name
typename = typename_in_source
# 引入別名的case,把它轉化回來
if '.' not in typename:
# 只是普通的別名,不是函式呼叫的返回值,忽略
continue
if typename.split('.')[0] in alias_map:
real_module_name = alias_map[typename.split('.')[0]]
typename = real_module_name + typename[typename.index('.'):]
if typename in function_map:
possible_return_types = [item[1].name for item in function_map[typename]]
var_type_from_pyi_list.append((variable_name, possible_return_types))
if typename in constant_map:
possible_return_type = constant_map[typename]
var_type_from_pyi_list.append((variable_name, possible_return_type))
pass
print('\n\n#################################\n\n')
print('這些都是從PYI檔案中分析出來的返回值型別')
for item in var_type_from_pyi_list:
print('變數名:', item[0], '返回型別:', item[1])
if __name__ == '__main__':
sys.exit(main())
被解析的示例程式碼:
# demo.py
import os as abcdefg
import re
from demo import utils
from demo import refs
cwd = abcdefg.getcwd()
support_version = abcdefg.supports_bytes_environ
pattern = re.compile(r'.*')
add_res = utils.add(1, 3)
mul_res = refs.multi(3, 5)
c = abs(1)
具體步驟
首先pytype利用了Google另一個開源專案:ImportLab。
用於分析檔案間的依賴關係,此時可以把typeshed目錄下的檔案也放入環境中,importlab能夠生成依賴圖。
env = environment_util.create_importlab_environment(inputs, typeshed)
import_graph = importlab.graph.ImportGraph.create(env, inputs, trim=True)
# 如果有pyi檔案匹配,則會放入resolved
# 如果依賴了Build_in依賴,會被跳過,不返回
# 如果依賴了自定義依賴,會放入unresolved,需要自己進一步解析,定位到專案工程檔案
(resolved, unresolved) = import_graph.get_file_deps(file_name)
通過import graph我們拿到了變數的來源(包括引用別名,方法呼叫返回值):
{'ast': 'ast', 'astpretty': 'astpretty', 'abcdefg': 'os', 're': 're', 'utils': 'demo.utils', 'refs': 'demo.refs', 'JsonRpcStreamReader': 'pyls_jsonrpc.streams.JsonRpcStreamReader'}
通過依賴圖,還能直接引用的依賴在具體哪個位置:
import_path_map: {'ast': '/Users/zhangxindong/Desktop/search/code/sempy/sempy/typeshed/stdlib/ast.pyi', 'astpretty': '/Users/zhangxindong/Desktop/search/code/sempy/venv/lib/python3.9/site-packages/astpretty.py', 'os': '/Users/zhangxindong/Desktop/search/code/sempy/sempy/typeshed/stdlib/os/__init__.pyi', 're': '/Users/zhangxindong/Desktop/search/code/sempy/sempy/typeshed/stdlib/re.pyi', 'utils': '/Users/zhangxindong/Desktop/search/code/sempy/sempy/demo/utils.py', 'refs': '/Users/zhangxindong/Desktop/search/code/sempy/sempy/demo/refs/__init__.py', 'streams': '/Users/zhangxindong/Desktop/search/code/sempy/venv/lib/python3.9/site-packages/pyls_jsonrpc/streams.py'}
接下來,就是去具體解析對應的檔案了。我的需求是獲取一些方法的返回值型別,對於pyi檔案,pytype能夠幫助我們解析,然後我們通過呼叫關係去匹配。
print('\n\n\n以下為通過pytype工具,解析pyi檔案AST來分析三方依賴返回型別,從而解析出當前變數的型別\n\n')
# 通過pytype的解析,去解析依賴的pyi檔案,獲得呼叫方法的返回值
fname = '/path/to/parsed_file'
with open(fname, 'r') as reader:
lines = reader.readlines()
sourcecode = '\n'.join(lines)
ret = parser.parse_string(sourcecode, filename=fname, python_version=3)
constant_map = dict()
function_map = dict()
for key in import_path_map.keys():
v = import_path_map[key]
with open(v, 'r') as reader:
lines = reader.readlines()
src = '\n'.join(lines)
try:
res = parser.parse_pyi(src, v, key, 3)
except:
continue
# Alias
# Classes
for constant in res.constants:
constant_map[constant.name] = constant.type.name
for function in res.functions:
signatures = function.signatures
sig_list = []
for signature in signatures:
sig_list.append((signature.params, signature.return_type))
function_map[function.name] = sig_list
var_type_from_pyi_list = []
for alias in ret.aliases:
variable_name = alias.name
if alias.type is not None:
typename_in_source = alias.type.name
typename = typename_in_source
# 引入別名的case,把它轉化回來
if '.' not in typename:
# 只是普通的別名,不是函式呼叫的返回值,忽略
continue
if typename.split('.')[0] in alias_map:
real_module_name = alias_map[typename.split('.')[0]]
typename = real_module_name + typename[typename.index('.'):]
if typename in function_map:
possible_return_types = [item[1].name for item in function_map[typename]]
# print('The possible return type of', typename_in_source, 'is', possible_return_types)
var_type_from_pyi_list.append((variable_name, possible_return_types))
if typename in constant_map:
possible_return_type = constant_map[typename]
var_type_from_pyi_list.append((variable_name, possible_return_type))
pass
比如:
pattern = re.compile(r'.*')
從/Users/zhangxindong/Desktop/search/code/sempy/sempy/typeshed/stdlib/re.pyi檔案中,我們載入了兩個方法都是re.compile,只是入參不同,返回值都是Pattern型別。
於是我們就知道了pattern變數的型別是re.Pattern。
- 這些都是從pyi檔案中分析出來的返回值型別。
- 變數名 cwd 返回型別:['str']
- 變數名 support_version 返回型別:bool
- 變數名 pattern 返回型別:['typing.Pattern', 'typing.Pattern']
五 應用
Python語法分析的功能有一部分已經應用在了阿里雲Dev Studio的程式碼文件搜尋推薦和程式碼智慧補全中。
1 程式碼文件搜尋推薦
當開發者不知道如何使用某個 API 時(如呼叫方式或方法入參等),可以將滑鼠移動到指定 API 上,即可展示智慧編碼外掛提供的 API 概要資訊。開發者點選“ API 文件詳情”,能在右側欄看到 API 的官方文件、程式碼示例等詳細資訊,也可以直接搜尋所需的 API 程式碼文件。目前支援 JavaScript、Python 語言的程式碼文件搜尋推薦。
文件採集過程中,我們能夠拿到API名稱和API所對應的class,在實際程式碼中,我們通過語法分析就能基於呼叫的方法對應到呼叫的類資訊,從而用於文件搜尋。
2 程式碼智慧補全
開發者在編寫程式碼時,智慧編碼外掛會自動感知程式碼上下文,為開發者提供精準的程式碼補全候選項,程式碼補全候選項中標記有✨符號的為程式碼智慧補全結果。目前支援 Java、JavaScript、Python 語言的程式碼智慧補全。
程式碼補全過程中,通過語法分析,能夠更加精準地獲悉使用者使用變數的類資訊,幫助過濾掉深度學習模型推薦的不合理選項,也能夠基於類的內部方法集合,召回一些合理的補全項。
六 總結
Python靜態型別支援的理念和工具均以完善,但由於歷史包袱太重,社群推動力不足,實際能達到的效果比較有限。另外官方、各大廠以及本地IDE都有自己的實現和分析方式,還沒有達到統一的標準和格式。大家可以根據上述的優劣勢以及配合的工具集與資料集,選擇適合自己的方式做解析。期待Python社群對靜態型別的支援能越來越完善。
本文為阿里雲原創內容,未經允許不得轉載。