python模塊與包
---恢復內容開始---
一 模塊介紹
1、什麽是模塊?
#常見的場景:一個模塊就是一個包含了一組功能的python文件,比如spam.py,模塊名為spam,可以通過import spam使用。 #在python中,模塊的使用方式都是一樣的,但其實細說的話,模塊可以分為四個通用類別: 1 使用python編寫的.py文件 2 已被編譯為共享庫或DLL的C或C++擴展 3 把一系列模塊組織到一起的文件夾(註:文件夾下有一個__init__.py文件,該文件夾稱之為包) 4 使用C編寫並鏈接到python解釋器的內置模塊
2、為何要使用模塊?
#1、從文件級別組織程序,更方便管理 隨著程序的發展,功能越來越多,為了方便管理,我們通常將程序分成一個個的文件,這樣做程序的結構更清晰,方便管理。這時我們不僅僅可以把這些文件當做腳本去執行,還可以把他們當做模塊來導入到其他的模塊中,實現了功能的重復利用 #2、拿來主義,提升開發效率 同樣的原理,我們也可以下載別人寫好的模塊然後導入到自己的項目中使用,這種拿來主義,可以極大地提升我們的開發效率 #ps: 如果你退出python解釋器然後重新進入,那麽你之前定義的函數或者變量都將丟失,因此我們通常將程序寫到文件中以便永久保存下來,需要時就通過python test.py方式去執行,此時test.py被稱為腳本script。
3、以spam.py為例來介紹模塊的使用:文件名spam.py,模塊名spam
二 使用模塊之import
1、import的使用
#模塊可以包含可執行的語句和函數的定義,這些語句的目的是初始化模塊,它們只在模塊名第一次遇到導入import語句時才執行(import語句是可以在程序中的任意位置使用的,且針對同一個模塊很import多次,為了防止你重復導入,python的優化手段是:第一次導入後就將模塊名加載到內存了,後續的import語句僅是對已經加載到內存中的模塊對象增加了一次引用,不會重新執行模塊內的語句),如下 #test.py import spam #只在第一次導入時才執行spam.py內代碼,此處的顯式效果是只打印一次‘from the spam.py‘,當然其他的頂級代碼也都被執行了,只不過沒有顯示效果. import spam import spam import spam ‘‘‘ 執行結果: from the spam.py ‘‘‘
ps:我們可以從sys.module中找到當前已經加載的模塊,sys.module是一個字典,內部包含模塊名與模塊對象的映射,該字典決定了導入模塊時是否需要重新導入。
2、在第一次導入模塊時會做三件事,重復導入會直接引用內存中已經加載好的結果
#1.為源文件(spam模塊)創建新的名稱空間,在spam中定義的函數和方法若是使用到了global時訪問的就是這個名稱空間。 #2.在新創建的命名空間中執行模塊中包含的代碼,見初始導入import spam 提示:導入模塊時到底執行了什麽? In fact function definitions are also ‘statements’ that are ‘executed’; the execution of a module-level function definition enters the function name in the module’s global symbol table. 事實上函數定義也是“被執行”的語句,模塊級別函數定義的執行將函數名放 入模塊全局名稱空間表,用globals()可以查看 #3.創建名字spam來引用該命名空間 這個名字和變量名沒什麽區別,都是‘第一類的’,且使用spam.名字的方式 可以訪問spam.py文件中定義的名字,spam.名字與test.py中的名字來自 兩個完全不同的地方。
3、被導入模塊有獨立的名稱空間
每個模塊都是一個獨立的名稱空間,定義在這個模塊中的函數,把這個模塊的名稱空間當做全局名稱空間,這樣我們在編寫自己的模塊時,就不用擔心我們定義在自己模塊中全局變量會在被導入時,與使用者的全局變量沖突
測試一:money與spam.money不沖突 測試二:read1與spam.read1不沖突 測試三:執行spam.change()操作的全局變量money仍然是spam中的4、為模塊名起別名
為已經導入的模塊起別名的方式對編寫可擴展的代碼很有用
1 import spam as sm 2 print(sm.money)
有兩中sql模塊mysql和oracle,根據用戶的輸入,選擇不同的sql功能
假設有兩個模塊xmlreader.py和csvreader.py,它們都定義了函數read_data(filename):用來從文件中讀取一些數據,但采用不同的輸入格式。可以編寫代碼來選擇性地挑選讀取
5、在一行導入多個模塊
1 import sys,os,re
三 使用模塊之from ... import..
1、from...import...的使用
1 from spam import read1,read2
2、from...import 與import的對比
#唯一的區別就是:使用from...import...則是將spam中的名字直接導入到當前的名稱空間中,所以在當前名稱空間中,直接使用名字就可以了、無需加前綴:spam. #from...import...的方式有好處也有壞處 好處:使用起來方便了 壞處:容易與當前執行文件中的名字沖突
驗證一:當前位置直接使用read1和read2就好了,執行時,仍然以spam.py文件全局名稱空間
驗證二:如果當前有重名read1或者read2,那麽會有覆蓋效果。
驗證三:導入的方法在執行時,始終是以源文件為準的
3、也支持as
1 from spam import read1 as read
4、一行導入多個名字
from spam import read1,read2,money
5、from...import *
#from spam import * 把spam中所有的不是以下劃線(_)開頭的名字都導入到當前位置 #大部分情況下我們的python程序不應該使用這種導入方式,因為*你不知道你導入什麽名字,很有可能會覆蓋掉你之前已經定義的名字。而且可讀性極其的差,在交互式環境中導入時沒有問題。
可以使用__all__來控制*(用來發布新版本),在spam.py中新增一行
__all__=[‘money‘,‘read1‘] #這樣在另外一個文件中用from spam import *就這能導入列表中規定的兩個名字
四 模塊的重載 (了解)
考慮到性能的原因,每個模塊只被導入一次,放入字典sys.module中,如果你改變了模塊的內容,你必須重啟程序,python不支持重新加載或卸載之前導入的模塊,
有的同學可能會想到直接從sys.module中刪除一個模塊不就可以卸載了嗎,註意了,你刪了sys.module中的模塊對象仍然可能被其他程序的組件所引用,因而不會被清楚。
特別的對於我們引用了這個模塊中的一個類,用這個類產生了很多對象,因而這些對象都有關於這個模塊的引用。
如果只是你想交互測試的一個模塊,使用 importlib.reload(), e.g. import importlib; importlib.reload(modulename),這只能用於測試環境。
在20秒的等待時間裏,修改aa.py中func1的內容,等待test.py的結果。
打開importlib註釋,重新測試
五 py文件區分兩種用途:模塊與腳本
#編寫好的一個python文件可以有兩種用途: 一:腳本,一個文件就是整個程序,用來被執行 二:模塊,文件中存放著一堆功能,用來被導入使用 #python為我們內置了全局變量__name__, 當文件被當做腳本執行時:__name__ 等於‘__main__‘ 當文件被當做模塊導入時:__name__等於模塊名 #作用:用來控制.py文件在不同的應用場景下執行不同的邏輯 if __name__ == ‘__main__‘:
六 模塊搜索路徑
模塊的查找順序是:內存中已經加載的模塊->內置模塊->sys.path路徑中包含的模塊
官網解釋:
#官網鏈接:https://docs.python.org/3/tutorial/modules.html#the-module-search-path 搜索路徑: 當一個命名為spam的模塊被導入時 解釋器首先會從內建模塊中尋找該名字 找不到,則去sys.path中找該名字 sys.path從以下位置初始化 1 執行文件所在的當前目錄 2 PTYHONPATH(包含一系列目錄名,與shell變量PATH語法一樣) 3 依賴安裝時默認指定的 註意:在支持軟連接的文件系統中,執行腳本所在的目錄是在軟連接之後被計算的,換句話說,包含軟連接的目錄不會被添加到模塊的搜索路徑中 在初始化後,我們也可以在python程序中修改sys.path,執行文件所在的路徑默認是sys.path的第一個目錄,在所有標準庫路徑的前面。這意味著,當前目錄是優先於標準庫目錄的,需要強調的是:我們自定義的模塊名不要跟python標準庫的模塊名重復,除非你是故意的,傻叉。
七 編譯python文件(了解)
為了提高加載模塊的速度,強調強調強調:提高的是加載速度而絕非運行速度。python解釋器會在__pycache__目錄中下緩存每個模塊編譯後的版本,格式為:module.version.pyc。通常會包含python的版本號。例如,在CPython3.3版本下,spam.py模塊會被緩存成__pycache__/spam.cpython-33.pyc。這種命名規範保證了編譯後的結果多版本共存。
Python檢查源文件的修改時間與編譯的版本進行對比,如果過期就需要重新編譯。這是完全自動的過程。並且編譯的模塊是平臺獨立的,所以相同的庫可以在不同的架構的系統之間共享,即pyc使一種跨平臺的字節碼,類似於JAVA火.NET,是由python虛擬機來執行的,但是pyc的內容跟python的版本相關,不同的版本編譯後的pyc文件不同,2.5編譯的pyc文件不能到3.5上執行,並且pyc文件是可以反編譯的,因而它的出現僅僅是用來提升模塊的加載速度的,不是用來加密的。
詳細的八 包介紹
1、什麽是包?
#官網解釋 Packages are a way of structuring Python’s module namespace by using “dotted module names” 包是一種通過使用‘.模塊名’來組織python模塊名稱空間的方式。 #具體的:包就是一個包含有__init__.py文件的文件夾,所以其實我們創建包的目的就是為了用文件夾將文件/模塊組織起來 #需要強調的是: 1. 在python3中,即使包下沒有__init__.py文件,import 包仍然不會報錯,而在python2中,包下一定要有該文件,否則import 包報錯 2. 創建包的目的不是為了運行,而是被導入使用,記住,包只是模塊的一種形式而已,包的本質就是一種模塊
2、為何要使用包
包的本質就是一個文件夾,那麽文件夾唯一的功能就是將文件組織起來 隨著功能越寫越多,我們無法將所以功能都放到一個文件中,於是我們使用模塊去組織功能,而隨著模塊越來越多,我們就需要用文件夾將模塊文件組織起來,以此來提高程序的結構性和可維護性
3、註意事項
#1.關於包相關的導入語句也分為import和from ... import ...兩種,但是無論哪種,無論在什麽位置,在導入時都必須遵循一個原則:凡是在導入時帶點的,點的左邊都必須是一個包,否則非法。可以帶有一連串的點,如item.subitem.subsubitem,但都必須遵循這個原則。但對於導入後,在使用時就沒有這種限制了,點的左邊可以是包,模塊,函數,類(它們都可以用點的方式調用自己的屬性)。 #2、import導入文件時,產生名稱空間中的名字來源於文件,import 包,產生的名稱空間的名字同樣來源於文件,即包下的__init__.py,導入包本質就是在導入該文件 #3、包A和包B下有同名模塊也不會沖突,如A.a與B.a來自倆個命名空間
4、上課流程
九 包的使用
1、示範文件
glance/ #Top-level package ├── __init__.py #Initialize the glance package ├── api #Subpackage for api │ ├── __init__.py │ ├── policy.py │ └── versions.py ├── cmd #Subpackage for cmd │ ├── __init__.py │ └── manage.py └── db #Subpackage for db ├── __init__.py └── models.py
執行文件與示範文件在同級目錄下
2、包的使用之import
1 import glance.db.models 2 glance.db.models.register_models(‘mysql‘)
單獨導入包名稱時不會導入包中所有包含的所有子模塊,如
#在與glance同級的test.py中 import glance glance.cmd.manage.main() ‘‘‘ 執行結果: AttributeError: module ‘glance‘ has no attribute ‘cmd‘ ‘‘‘
解決方法:
1 #glance/__init__.py 2 from . import cmd 3 4 #glance/cmd/__init__.py 5 from . import manage
執行:
1 #在於glance同級的test.py中 2 import glance 3 glance.cmd.manage.main()
3、包的使用之from ... import ...
需要註意的是from後import導入的模塊,必須是明確的一個不能帶點,否則會有語法錯誤,如:from a import b.c是錯誤語法
1 from glance.db import models 2 models.register_models(‘mysql‘) 3 4 from glance.db.models import register_models 5 register_models(‘mysql‘)
4、from glance.api import *
在講模塊時,我們已經討論過了從一個模塊內導入所有*,此處我們研究從一個包導入所有*。
此處是想從包api中導入所有,實際上該語句只會導入包api下__init__.py文件中定義的名字,我們可以在這個文件中定義__all___:
1 #在__init__.py中定義 2 x=10 3 4 def func(): 5 print(‘from api.__init.py‘) 6 7 __all__=[‘x‘,‘func‘,‘policy‘]
此時我們在於glance同級的文件中執行from glance.api import *就導入__all__中的內容(versions仍然不能導入)。
練習:
#執行文件中的使用效果如下,請處理好包的導入 from glance import * get() create_resource(‘a.conf‘) main() register_models(‘mysql‘)View Code
5、絕對導入和相對導入
我們的最頂級包glance是寫給別人用的,然後在glance包內部也會有彼此之間互相導入的需求,這時候就有絕對導入和相對導入兩種方式:
絕對導入:以glance作為起始
相對導入:用.或者..的方式最為起始(只能在一個包中使用,不能用於不同目錄內)
例如:我們在glance/api/version.py中想要導入glance/cmd/manage.py
1 在glance/api/version.py 2 3 #絕對導入 4 from glance.cmd import manage 5 manage.main() 6 7 #相對導入 8 from ..cmd import manage 9 manage.main()
測試結果:註意一定要在於glance同級的文件中測試
1 from glance.api import versions
6、包以及包所包含的模塊都是用來被導入的,而不是被直接執行的。而環境變量都是以執行文件為準的
比如我們想在glance/api/versions.py中導入glance/api/policy.py,有的同學一抽這倆模塊是在同一個目錄下,十分開心的就去做了,它直接這麽做
1 #在version.py中 2 3 import policy 4 policy.get()
沒錯,我們單獨運行version.py是一點問題沒有的,運行version.py的路徑搜索就是從當前路徑開始的,於是在導入policy時能在當前目錄下找到
但是你想啊,你子包中的模塊version.py極有可能是被一個glance包同一級別的其他文件導入,比如我們在於glance同級下的一個test.py文件中導入version.py,如下
1 from glance.api import versions 2 3 ‘‘‘ 4 執行結果: 5 ImportError: No module named ‘policy‘ 6 ‘‘‘ 7 8 ‘‘‘ 9 分析: 10 此時我們導入versions在versions.py中執行 11 import policy需要找從sys.path也就是從當前目錄找policy.py, 12 這必然是找不到的 13 ‘‘‘
十 軟件開發規範
python模塊與包