python使用execjs執行js
python 執行js程式碼
簡單呼叫
import execjs execjs.eval("new Date") 返回值為： 2018-04-04T12:53:17.759Z execjs.eval("Date.now()") 返回值為：1522847001080 # 需要注意的是返回值是13位， 區別於python的time.time()
需要注意的是： 個別的JS語句， 用execjs返回的結果跟瀏覽器環境返回的結果是有區別的， 以下是瀏覽器環境返回的結果
呼叫函式
import execjs ctx = execjs.compile(""" function add(x, y) { return x + y; }""") # 獲取程式碼編譯完成後的物件 print(ctx.call("add", 1, 2)) # 3 # print(ctx.eval("add({0},{1})").format(1,2)) # 報錯 print(ctx.eval('add("{0}", "{1}")').format("1","2")) # 12
檔案讀取程式碼編寫
建立jsCode.js的檔案
function add(x, y) { return x + y; }
執行程式碼
import execjs file = 'jsCode.js' ctx = execjs.compile(open(file).read()) js= 'add("{0}", "{1}")'.format("1","2") params = ctx.eval(js) print(params) # 12 params = ctx.call('add',1,2) print(params) # 3
出現錯誤提示
UnicodeEncodeError: 'gbk' codec can't encode character xxx
解決方案一
新增 encoding="utf-8"
ctx = execjs.compile(open(file,encoding="utf-8").read())
解決方案二
js檔案以GBk方式儲存
執行JS的環境
在windows上不需要其他的依賴便可執行execjs， 也可以呼叫其他的JS環境
windows 預設的執行JS的環境
execjs.get().name
返回值： JScript
作者本人的windows上裝有Node.js ， 所以返回值不同
execjs.get().name
返回值： Node.js (V8)
在ubuntu下需要安裝執行JS環境依賴, 環境為PhantomJS
execjs.get().name
返回值： PhantomJS
原始碼中給出， 可執行execjs的環境：
PyV8 = "PyV8" Node = "Node" JavaScriptCore = "JavaScriptCore" SpiderMonkey = "SpiderMonkey" JScript = "JScript" PhantomJS = "PhantomJS" SlimerJS = "SlimerJS" Nashorn = "Nashorn"
在ubuntu環境下， 沒有JS環境會報錯:Could not find an available JavaScript runtime. 由此可見， execjs在ubuntu需要安裝JS環境 。具體的JS環境需根據具體的需求安裝， 切不可超過以上8種。
python2執行執行js檔案使用pyv8
環境切換
通過os.environ
os.environ["EXECJS_RUNTIME"] = "Node" execjs.get().name execjs.eval("1 + 2")
通過execjs.get 切換
jscript = execjs.get(execjs.runtime_names.JScript) # runtime_names 便是execjs原始碼中給出的執行環境的。 execjs.runtime_names.xxx xxx必須在上一節 #3中取 jscript.eval("1 + 2")
注: 在切換環境時， 當環境不存在不會報錯， 會使用預設的環境。 另外需要注意的是， 兩種方式的區別
簡易效能分析
# 只簡單試了三種， 在windows下 import execjs import os import time # 先用JScript os.environ["EXECJS_RUNTIME"] = "JScript" print execjs.get().name time1 = time.time() for i in range(100): execjs.eval("new Date") print time.time() - time1 # 切換環境 使用Nodejs os.environ["EXECJS_RUNTIME"] = "Node" print execjs.get().name time2 = time.time() for l in range(100): execjs.eval("new Date"） print time.time() - time2 # 列印的結果為： JScript 4.70900011063 Node.js (V8) 27.501999855 # 在ubuntu下試的是PhantoJS ， 結果竟然高達 30+ S
此註釋來自execjs作者：PyExecJS的缺點之一就是效能。PyExecJS通過文字傳遞JavaScript執行時，並且速度很慢。另一個缺點是它不完全支援執行時特定的功能。對於某些用例，PyV8可能是更好的選擇。
總注：使用execjs的難點並不是在execjs這個庫， 而是解析JS的過程， 因為沒有瀏覽器的環境， 沒有加密原始碼的依賴。從成千上萬行的JS中擇出想要的內容，可能是一段孤零零的JS函式，也可能是從幾個JS檔案去找出各自找出一段JS程式碼， 並可以通過execjs順利執行， 這並非易事。 需要慢慢積累經驗。 一旦掌握， 便可以提高爬蟲的效率， 以及程式碼的健壯性， 節省資源！
#!/usr/bin/env python # -*- coding:utf-8 -*- # @Author: Irving Shi import execjs import json import requests from bs4 import BeautifulSoup headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36" } def get_company(key): res = requests.get("https://aiqicha.baidu.com/s?q=" + key, headers=headers) soup = BeautifulSoup(res.text, features="lxml") tag = soup.find_all("script")[2].decode_contents() tag = """const jsdom = require("jsdom"); const { JSDOM } = jsdom; const dom = new JSDOM(`<!DOCTYPE html><p>Hello world</p>`); window = dom.window; document = window.document; XMLHttpRequest = window.XMLHttpRequest; """ + tag js = execjs.compile(tag, cwd=r'C:\Users\Administrator\AppData\Roaming\npm\node_modules') res = js.eval("window.pageData").get("result").get("resultList")[0] return res res = get_company("91360000158304717T") # for i in res.items(): # print(i) pid = res.get("pid") r = requests.get("https://aiqicha.baidu.com/detail/basicAllDataAjax?pid=" + pid, headers=headers) data = json.loads(r.text).get("data").get("basicData") for i in data.items(): print(i)