在使用python抓取網頁的過程中,有的時候需要執行某些簡單的javascript,以獲得自己需要的內容,例如執行js裡面的document.write或者document.getelementbyid等。自己解析js程式碼顯然有點吃力不討好,因此最好能找到一些可以解析執行js的python庫。

google之可以找到三個候選者,分別是微軟的scriptcontrol,v8的python移植pyv8,還有spidermonkey的python移植python-spidermonkey。其中scriptcontrol只能在windows上執行,需要win32com庫;pyv8能在windows和*nix上執行,但是需要裝pyv8庫;而spidermonkey是mozilla的js引擎在python上的移植,感覺已經不太活躍,因此沒用。

微軟的scriptcontrol中對執行js最重要的方法就是addobject與eval,通過addobject,我們可以向js執行環境注入一個我們自定義的document物件,通過eval方法,我們可以執行一段js程式碼。注入自定義物件需要使用win32com.server.util.wrap方法,將一個python物件包裝為com物件,例如假設我們想注入一個只實現了write方法的document物件,程式碼是這樣的:

import win32com.server.util, win32com.client

class win32doc:

_public_methods_ = ['write']

def write(self, s):

print s

doc = win32doc()

jsengine = win32com.client.dispatch('msscriptcontrol.scriptcontrol')

jsengine.language = 'javascript'

jsengine.allowui = false

jsengine.addobject('document', win32com.server.util.wrap(doc))

jsengine.eval('document.write("hello, world")')

在windows裡執行這段python程式碼,最終就會打印出hello, world來。如果我們希望從python裡讀取js通過document.write寫入的字串並進行解析,只要給上面的win32doc類新增對應的方法(例如read),就可以讀取並解析html程式碼,並進行進一步處理了。

對pyv8來說,原理也是類似的,不過在具體機制上有所不同而已。在pyv8中需要在初始化的時候加入一個全域性物件,其他的物件都是掛在全域性物件之下的,例如document只是全域性物件的一個屬性而已(實際上,document物件就是window物件的一個屬性麼),當然,這個屬性對應的實際上是一個物件。需要注意的是,pyv8在處理字串編碼的時候讓人很迷惑,在windows下它需要js的編碼為utf8,而在linux下只要求寬字串,即python裡的unicode,而在內部的字串都是utf8編碼的。至於為何如此,熊貓也騷擾過開發pyv8的flier,貌似是v8自己的feature。示例程式碼是這樣的:

import pyv8

class v8doc(pyv8.jsclass):

def write(self, s):

print s.decode('utf-8')

class global(pyv8.jsclass):

def __init__(self):

self.document = v8doc()

glob = global()

ctxt = pyv8.jscontext(glob)

ctxt.enter()

#or ctxt.eval(u'document.write("你好,中國")') for linux

ctxt.eval(u'document.write("你好,中國")'.encode('utf-8'))

上面只是在python裡模擬執行js的document.write的大體思路,如果還需要執行其他的js程式碼對dom樹進行操縱,那就一個個新增對應的方法好了。當然,這個新增也要保持一個限度,不然新增的方法太多,程式碼會非常複雜,相當於自己已經開始實現一個dom樹處理和解析的完全封裝了,如果是這樣,還不如使用自動化介面操縱瀏覽器,例如通過js/vbs操縱ie,或者在後臺進行自動化批處理的話,使用一些headless browser軟體,例如phantomjs,這就留待以後再說了。