一.phantomjs介紹

phantomjs是一個基於webkit核心的無頭瀏覽器，即沒有UI介面，即它就是一個瀏覽器，只是其內的點選、翻頁等人為相關操作需要程式設計實現。

提供javascript API介面，即通過編寫js程式可以直接與webkit核心互動，在此之上可以結合java語言等，通過java呼叫js等相關操作，從而解決了以前c/c++才能比較好的基於webkit開發優質採集器的限制。

提供windows、linux、mac等不同os的安裝使用包，也就是說可以在不同平臺上二次開發採集專案或是自動專案測試等工作。

二.安裝phantomjs

phantomjs1.9.1以上版本
從官網下載phantomjs-2.1.1-linux-x86_64.tar.bz2，直接解壓即可。
進入bin目錄，有個phantomjs可執行檔案，直接執行js檔案。

如：test.js檔案：

console.log('Hello world!');
phantom.exit()；//這一行表示退出命令列

為了方便使用phantomjs命令，建立軟連線，把phantomjs檔案軟鏈到/usr/bin目錄下。
ln -s /home/zhb/software/phantomjs-2.1.1-linux-x86_64/bin/phantomjs /usr/bin/

三.python及Selenium模組安裝

python安裝過程省略。

Selenium是一個用於Web應用程式測試的工具。Selenium測試直接執行在瀏覽器中，就像真正的使用者在操作一樣。支援的瀏覽器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。這個工具的主要功能包括：測試與瀏覽器的相容性——測試你的應用程式看是否能夠很好得工作在不同瀏覽器和作業系統之上。測試系統功能——建立迴歸測試檢驗軟體功能和使用者需求。支援自動錄製動作和自動生成 .Net、Java、Perl等不同語言的測試指令碼。

安裝selenium模組。
下載selenium：
https://pypi.python.org/pypi/selenium
安裝：
python setup.py install
測試是否安裝成功：
from selenium import webdriver

四.簡單示例

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
from
 
 selenium.webdriver.common.action_chains import ActionChains

#設定瀏覽器的請求頭及一些引數
dcap = dict(DesiredCapabilities.PHANTOMJS)
dcap["phantomjs.page.settings.userAgent"] = "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0"
#不載入圖片
dcap["phantomjs.page.settings.loadImages"] = False

driver = webdriver.PhantomJS(executable_path="/usr/bin/phantomjs", desired_capabilities = dcap)
#設定頁面最長載入時間為40s
driver.set_page_load_timeout(40)

driver.get("https://www.baidu.com/")

#列印title
print driver.title

#列印當前url
print driver.current_url

#呼叫find_element_by_css_selector函式按照css樣式取出css元素
#如果該樣式不存在，會丟擲異常
#find_elements_by_css_selector是取出所有符合條件的css樣式表，返回的陣列
a = driver.find_element_by_css_selector('div#ui a[name="tj_trnews"]')
a_text = a.text
a_href = a.get_attribute('href')

b = driver.find_elements_by_css_selector('div#ui a[name="tj_trnews"]')
b_0_text = b[0].text
b_0_href = b[0].get_attribute('href')

#點選某個a標籤
driver.find_element_by_css_selector('a[data-reactid=".2.1.2.0.0.0.0:$tab_1.0"]').click()

#判斷ajax請求後，css元素是否載入成功
#10s內每隔500ms重新整理一次頁面變化，判斷該元素是否成功載入
#lambda表示式返回bool值，也可以用其他表示式
def is_css_selector_loaded(css_selector, wait_time=10):
    try:
        wait_for_ajax_element=WebDriverWait(driver, wait_time)
        wait_for_ajax_element.until(
        lambda the_driver:the_driver.find_element_by_css_selector(css_selector).is_displayed())
        return True
    except Exception, e:
        print 'fail to load css selector by ajax:%s' % (css_selector)
        return False

#執行js程式碼
div_block_js = "sub_titles=document.querySelectorAll('div.yx-cp-tabNav-dropdown');for(i=0;i<sub_titles.length;i++){sub_titles[i].style.display='block';}"
driver.execute_script(div_block_js)#利用js把隱藏的div顯示出來

#滑鼠移到某個元素懸停
ActionChains(driver).move_to_element(a).context_click().perform()

#關閉所有視窗
driver.quit()

五. 利用python的requests模組傳送http請求

以上方法是利用phantomjs模擬瀏覽器來抓取並解析頁面元素，也可以用python的requests模組傳送http請求獲得資料（實際就是刷介面，解析json資料），如果介面返回的不是json串，那還是用phantomjs瀏覽器抓取元素比較方便，或者用Beautiful Soup來解析html程式碼。

首先確保python安裝了urllib和requests模組。

下面是示例程式碼：

import urllib
import requests
import json

#傳送post請求
post_headers = {"Referer":"https://youpin.mi.com", "Content-Type":"application/x-www-form-urlencoded"}
post_params = urllib.urlencode({"data":'''{"uClassList":{"model":"Homepage","action":"GetUclassList","parameters":{"id":131056}}}'''})
http_result = requests.post("https://youpin.mi.com/app/shopv3/pipe", headers = post_headers, data = post_params)

#解析返回的json
http_result = json.loads(http_result.text)
if http_result.has_key('code'):
    print http_result["code"]["pid"]


#傳送get請求
http_headers = {"Content-Type":"application/json;charset=UTF-8"}
http_result = requests.get("http://blog.csdn.net/okiwilldoit/article/GetMyYunStatus", headers = http_headers)

#解析HTTP response
result_json = json.loads(http_result.text)