Python爬蟲技術--基礎篇--常用第三方模組chardet和psutil
1.chardet
字串編碼一直是令人非常頭疼的問題，尤其是我們在處理一些不規範的第三方網頁的時候。雖然Python提供了Unicode表示的str和bytes兩種資料型別，並且可以通過encode()和decode()方法轉換，但是，在不知道編碼的情況下，對bytes做decode()不好做。
對於未知編碼的bytes，要把它轉換成str，需要先“猜測”編碼。猜測的方式是先收集各種編碼的特徵字元，根據特徵字元判斷，就能有很大概率“猜對”。
當然，我們肯定不能從頭自己寫這個檢測編碼的功能，這樣做費時費力。chardet這個第三方庫正好就派上了用場。用它來檢測編碼，簡單易用。
安裝chardet
如果安裝了Anaconda，chardet就已經可用了。否則，需要在命令列下通過pip安裝：
$ pip install chardet
如果遇到Permission denied安裝失敗，請加上sudo重試。
使用chardet
當我們拿到一個bytes時，就可以對其檢測編碼。用chardet檢測編碼，只需要一行程式碼：
>>> chardet.detect(b'Hello, world!')
{'encoding': 'ascii', 'confidence': 1.0, 'language': ''}
檢測出的編碼是ascii，注意到還有個confidence欄位，表示檢測的概率是1.0（即100%）
我們來試試檢測GBK編碼的中文：
>>> data = '離離原上草，一歲一枯榮'.encode('gbk')
>>> chardet.detect(data)
{'encoding': 'GB2312', 'confidence': 0.7407407407407407, 'language': 'Chinese'}
檢測的編碼是GB2312，注意到GBK是GB2312的超集，兩者是同一種編碼，檢測正確的概率是74%，language欄位指出的語言是'Chinese'。
對UTF-8編碼進行檢測：
>>> data = '離離原上草，一歲一枯榮'.encode('utf-8')
>>> chardet.detect(data)
{'encoding': 'utf-8', 'confidence': 0.99, 'language': ''}
我們再試試對日文進行檢測：
>>> data = '最新の主要ニュース'.encode('euc-jp')
>>> chardet.detect(data)
{'encoding': 'EUC-JP', 'confidence': 0.99, 'language': 'Japanese'}
可見，用chardet檢測編碼，使用簡單。獲取到編碼後，再轉換為str，就可以方便後續處理。
chardet支援檢測的編碼列表請參考官方文件Supported encodings。
小結
使用chardet檢測編碼非常容易，chardet支援檢測中文、日文、韓文等多種語言。
2.psutil
用Python來編寫指令碼簡化日常的運維工作是Python的一個重要用途。在Linux下，有許多系統命令可以讓我們時刻監控系統執行的狀態，如ps，top，free等等。要獲取這些系統資訊，Python可以通過subprocess模組呼叫並獲取結果。但這樣做顯得很麻煩，尤其是要寫很多解析程式碼。
在Python中獲取系統資訊的另一個好辦法是使用psutil這個第三方模組。顧名思義，psutil = process and system utilities，它不僅可以通過一兩行程式碼實現系統監控，還可以跨平臺使用，支援Linux／UNIX／OSX／Windows等，是系統管理員和運維小夥伴不可或缺的必備模組。
安裝psutil
如果安裝了Anaconda，psutil就已經可用了。否則，需要在命令列下通過pip安裝：
$ pip install psutil
如果遇到Permission denied安裝失敗，請加上sudo重試。
獲取CPU資訊
我們先來獲取CPU的資訊：
>>> import psutil
>>> psutil.cpu_count() # CPU邏輯數量
4
>>> psutil.cpu_count(logical=False) # CPU物理核心
2
# 2說明是雙核超執行緒, 4則是4核非超執行緒
統計CPU的使用者／系統／空閒時間：
>>> psutil.cpu_times()
scputimes(user=10963.31, nice=0.0, system=5138.67, idle=356102.45)
再實現類似top命令的CPU使用率，每秒重新整理一次，累計10次：
>>> for x in range(10):
... print(psutil.cpu_percent(interval=1, percpu=True))
...
[14.0, 4.0, 4.0, 4.0]
[12.0, 3.0, 4.0, 3.0]
[8.0, 4.0, 3.0, 4.0]
[12.0, 3.0, 3.0, 3.0]
[18.8, 5.1, 5.9, 5.0]
[10.9, 5.0, 4.0, 3.0]
[12.0, 5.0, 4.0, 5.0]
[15.0, 5.0, 4.0, 4.0]
[19.0, 5.0, 5.0, 4.0]
[9.0, 3.0, 2.0, 3.0]
獲取記憶體資訊
使用psutil獲取實體記憶體和交換記憶體資訊，分別使用：
>>> psutil.virtual_memory()
svmem(total=8589934592, available=2866520064, percent=66.6, used=7201386496, free=216178688, active=3342192640, inactive=2650341376, wired=1208852480)
>>> psutil.swap_memory()
sswap(total=1073741824, used=150732800, free=923009024, percent=14.0, sin=10705981440, sout=40353792)
返回的是位元組為單位的整數，可以看到，總記憶體大小是8589934592 = 8 GB，已用7201386496 = 6.7 GB，使用了66.6%。
而交換區大小是1073741824 = 1 GB。
獲取磁碟資訊
可以通過psutil獲取磁碟分割槽、磁碟使用率和磁碟IO資訊：
>>> psutil.disk_partitions() # 磁碟分割槽資訊
[sdiskpart(device='/dev/disk1', mountpoint='/', fstype='hfs', opts='rw,local,rootfs,dovolfs,journaled,multilabel')]
>>> psutil.disk_usage('/') # 磁碟使用情況
sdiskusage(total=998982549504, used=390880133120, free=607840272384, percent=39.1)
>>> psutil.disk_io_counters() # 磁碟IO
sdiskio(read_count=988513, write_count=274457, read_bytes=14856830464, write_bytes=17509420032, read_time=2228966, write_time=1618405)
可以看到，磁碟'/'的總容量是998982549504 = 930 GB，使用了39.1%。檔案格式是HFS，opts中包含rw表示可讀寫，journaled表示支援日誌。
獲取網路資訊
psutil可以獲取網路介面和網路連線資訊：
>>> psutil.net_io_counters() # 獲取網路讀寫位元組／包的個數
snetio(bytes_sent=3885744870, bytes_recv=10357676702, packets_sent=10613069, packets_recv=10423357, errin=0, errout=0, dropin=0, dropout=0)
>>> psutil.net_if_addrs() # 獲取網路介面資訊
{
'lo0': [snic(family=<AddressFamily.AF_INET: 2>, address='127.0.0.1', netmask='255.0.0.0'), ...],
'en1': [snic(family=<AddressFamily.AF_INET: 2>, address='10.0.1.80', netmask='255.255.255.0'), ...],
'en0': [...],
'en2': [...],
'bridge0': [...]
}
>>> psutil.net_if_stats() # 獲取網路介面狀態
{
'lo0': snicstats(isup=True, duplex=<NicDuplex.NIC_DUPLEX_UNKNOWN: 0>, speed=0, mtu=16384),
'en0': snicstats(isup=True, duplex=<NicDuplex.NIC_DUPLEX_UNKNOWN: 0>, speed=0, mtu=1500),
'en1': snicstats(...),
'en2': snicstats(...),
'bridge0': snicstats(...)
}
要獲取當前網路連線資訊，使用net_connections()：
>>> psutil.net_connections()
Traceback (most recent call last):
...
PermissionError: [Errno 1] Operation not permitted
During handling of the above exception, another exception occurred:
Traceback (most recent call last):
...
psutil.AccessDenied: psutil.AccessDenied (pid=3847)
你可能會得到一個AccessDenied錯誤，原因是psutil獲取資訊也是要走系統介面，而獲取網路連線資訊需要root許可權，這種情況下，可以退出Python互動環境，用sudo重新啟動：
$ sudo python3
Password: ******
Python 3.8 ... on darwin
Type "help", ... for more information.
>>> import psutil
>>> psutil.net_connections()
[
sconn(fd=83, family=<AddressFamily.AF_INET6: 30>, type=1, laddr=addr(ip='::127.0.0.1', port=62911), raddr=addr(ip='::127.0.0.1', port=3306), status='ESTABLISHED', pid=3725),
sconn(fd=84, family=<AddressFamily.AF_INET6: 30>, type=1, laddr=addr(ip='::127.0.0.1', port=62905), raddr=addr(ip='::127.0.0.1', port=3306), status='ESTABLISHED', pid=3725),
sconn(fd=93, family=<AddressFamily.AF_INET6: 30>, type=1, laddr=addr(ip='::', port=8080), raddr=(), status='LISTEN', pid=3725),
sconn(fd=103, family=<AddressFamily.AF_INET6: 30>, type=1, laddr=addr(ip='::127.0.0.1', port=62918), raddr=addr(ip='::127.0.0.1', port=3306), status='ESTABLISHED', pid=3725),
sconn(fd=105, family=<AddressFamily.AF_INET6: 30>, type=1, ..., pid=3725),
sconn(fd=106, family=<AddressFamily.AF_INET6: 30>, type=1, ..., pid=3725),
sconn(fd=107, family=<AddressFamily.AF_INET6: 30>, type=1, ..., pid=3725),
...
sconn(fd=27, family=<AddressFamily.AF_INET: 2>, type=2, ..., pid=1)
]
獲取程序資訊
通過psutil可以獲取到所有程序的詳細資訊：
>>> psutil.pids() # 所有程序ID
[3865, 3864, 3863, 3856, 3855, 3853, 3776, ..., 45, 44, 1, 0]
>>> p = psutil.Process(3776) # 獲取指定程序ID=3776，其實就是當前Python互動環境
>>> p.name() # 程序名稱
'python3.6'
>>> p.exe() # 程序exe路徑
'/Users/michael/anaconda3/bin/python3.6'
>>> p.cwd() # 程序工作目錄
'/Users/michael'
>>> p.cmdline() # 程序啟動的命令列
['python3']
>>> p.ppid() # 父程序ID
3765
>>> p.parent() # 父程序
<psutil.Process(pid=3765, name='bash') at 4503144040>
>>> p.children() # 子程序列表
[]
>>> p.status() # 程序狀態
'running'
>>> p.username() # 程序使用者名稱
'michael'
>>> p.create_time() # 程序建立時間
1511052731.120333
>>> p.terminal() # 程序終端
'/dev/ttys002'
>>> p.cpu_times() # 程序使用的CPU時間
pcputimes(user=0.081150144, system=0.053269812, children_user=0.0, children_system=0.0)
>>> p.memory_info() # 程序使用的記憶體
pmem(rss=8310784, vms=2481725440, pfaults=3207, pageins=18)
>>> p.open_files() # 程序開啟的檔案
[]
>>> p.connections() # 程序相關網路連線
[]
>>> p.num_threads() # 程序的執行緒數量
1
>>> p.threads() # 所有執行緒資訊
[pthread(id=1, user_time=0.090318, system_time=0.062736)]
>>> p.environ() # 程序環境變數
{'SHELL': '/bin/bash', 'PATH': '/usr/local/bin:/usr/bin:/bin:/usr/sbin:/sbin:...', 'PWD': '/Users/michael', 'LANG': 'zh_CN.UTF-8', ...}
>>> p.terminate() # 結束程序
Terminated: 15 <-- 自己把自己結束了
和獲取網路連線類似，獲取一個root使用者的程序需要root許可權，啟動Python互動環境或者.py檔案時，需要sudo許可權。
psutil還提供了一個test()函式，可以模擬出ps命令的效果：
$ sudo python3
Password: ******
Python 3.6.3 ... on darwin
Type "help", ... for more information.
>>> import psutil
>>> psutil.test()
USER PID %MEM VSZ RSS TTY START TIME COMMAND
root 0 24.0 74270628 2016380 ? Nov18 40:51 kernel_task
root 1 0.1 2494140 9484 ? Nov18 01:39 launchd
root 44 0.4 2519872 36404 ? Nov18 02:02 UserEventAgent
root 45 ? 2474032 1516 ? Nov18 00:14 syslogd
root 47 0.1 2504768 8912 ? Nov18 00:03 kextd
root 48 0.1 2505544 4720 ? Nov18 00:19 fseventsd
_appleeven 52 0.1 2499748 5024 ? Nov18 00:00 appleeventsd
root 53 0.1 2500592 6132 ? Nov18 00:02 configd
...
小結
psutil使得Python程式獲取系統資訊變得易如反掌。
psutil還可以獲取使用者資訊、Windows服務等很多有用的系統資訊，具體請參考psutil的官網：https://github.com/giampaolo/psutil