execjs 使用

有了selenium+Chrome Headless 載入頁面為什麼還要用execjs來執行js？

selenium+Chrome Headless 必然是爬蟲的一大利器，可是缺點依然存在， 效能問題不可忽視。

但這構不成捨棄它而不用的理由。我認為捨棄包括Chrome Headless、PhantomJS在內的無頭瀏覽器的原因主要有以下幾點：

1. 頁面結構改變、彈窗(一些網站的頁面結構經常無規則改變)， 影響程式碼的健壯性。

2. 無頭瀏覽器的應用場景主要是一些模擬登陸賬號密碼加密的場景， 爬蟲全程使用無頭瀏覽器， 影響效能和效率， 浪費資源。

3. 通過js加密的網站， 可以看得到加密過程，可以拿得到加密原始碼。

1. 安裝

pip install PyExecJS # 需要注意， 包的名稱：PyExecJS

2. 簡單使用

import execjs
execjs.eval("new Date")

返回值為： 2018-04-04T12:53:17.759Z

execjs.eval("Date.now()")

返回值為：1522847001080 # 需要注意的是返回值是13位， 區別於python的time.time()

需要注意的是： 個別的JS語句， 用execjs返回的結果跟瀏覽器環境返回的結果是有區別的， 以下是瀏覽器環境返回的結果
瀏覽器環境執行的結果

3. 呼叫函式

 # 實際生產中處理的js有幾百幾千行， 不方便貼上來。來看一下原始碼中給的例子：
 ctx = execjs.compile("""
    function add(x,y) {
        return x + y;
      }
""")
 ctx.call("add",1,2) # 第一個引數 “add” 為JS函式名的字串， 後邊依次為實參
 返回值：3

execjs的用法非常簡單， 下邊來看一下執行JS的環境， 以及效能：

4. 執行JS的環境

# 1. 在windows上不需要其他的依賴便可執行execjs， 也可以呼叫其他的JS環境
  # windows 預設的執行JS的環境
    execjs.get().name
    返回值： JScript
  # 作者本人的windows上裝有Node.js ， 所以返回值不同
   execjs.get().name
   返回值： Node.js (V8)

#2. 在ubuntu下需要安裝執行JS環境依賴,作者的環境為PhantomJS
    execjs.get().name
    返回值： PhantomJS

#3. 原始碼中給出， 可執行execjs的環境：
 PyV8      = "PyV8"
 Node      = "Node"
 JavaScriptCore = "JavaScriptCore"
 SpiderMonkey  = "SpiderMonkey"
 JScript    = "JScript"
 PhantomJS   = "PhantomJS"
 SlimerJS    = "SlimerJS"
 Nashorn    = "Nashorn"

注1：作者之前在ubuntu環境下執行execjs碰見過因為沒有環境而報錯，因時間久遠，無法肯定。 現在環境齊全， 報錯無法復原，如有讀者出現錯誤， 請留言， 多謝！

更新注1：經過朋友老冀的指正(在此感謝)，在ubuntu環境下， 沒有JS環境會報錯:Could not find an available JavaScript runtime. 由此可見， execjs在ubuntu需要安裝JS環境 。具體的JS環境需根據具體的需求安裝， 切不可超過以上8種。

5.環境切換

  # 1. 通過os.environ
  os.environ["EXECJS_RUNTIME"] = "Node"
  execjs.get().name
  execjs.eval("1 + 2")
  # 2. 通過execjs.get 切換
   jscript = execjs.get(execjs.runtime_names.JScript) # runtime_names 便是execjs原始碼中給出的執行環境的。 execjs.runtime_names.xxx xxx必須在上一節 #3中取
   jscript.eval("1 + 2")

注: 在切換環境時， 當環境不存在不會報錯， 會使用預設的環境。 另外需要注意的是， 兩種方式的區別

6. 簡易效能分析

 # 作者只簡單試了三種， 在windows下
import execjs
import os
import time

# 先用JScript
os.environ["EXECJS_RUNTIME"] = "JScript"
print execjs.get().name

time1 = time.time()
for i in range(100):
  execjs.eval("new Date")
print time.time() - time1

# 切換環境 使用Nodejs
os.environ["EXECJS_RUNTIME"] = "Node"
print execjs.get().name

time2 = time.time()
for l in range(100):
  execjs.eval("new Date"）
print time.time() - time2

# 列印的結果為：
JScript
4.70900011063
Node.js (V8)
27.501999855

# 在ubuntu下試的是PhantoJS ， 結果竟然高達 30+ S

此註釋來自execjs作者：PyExecJS的缺點之一就是效能。PyExecJS通過文字傳遞JavaScript執行時，並且速度很慢。另一個缺點是它不完全支援執行時特定的功能。對於某些用例，PyV8可能是更好的選擇。

總注：使用execjs的難點並不是在execjs這個庫， 而是解析JS的過程， 因為沒有瀏覽器的環境， 沒有加密原始碼的依賴。從成千上萬行的JS中擇出想要的內容，可能是一段孤零零的JS函式，也可能是從幾個JS檔案去找出各自找出一段JS程式碼， 並可以通過execjs順利執行， 這並非易事。 需要慢慢積累經驗。 一旦掌握， 便可以提高爬蟲的效率， 以及程式碼的健壯性， 節省資源！

以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支援我們。