爬完QQ音樂以後打算爬網易雲音樂的，中間出了一點小狀況，就改爬考拉海購了（什麼狀況你猜呀❛˓◞˂̶✧以後會爬完網易雲音樂的！）
今天寫近段時間的最後一篇，寫完這篇就要開始期末複習了，寒假再來更新

pip install selenium

下載selenium

這次用到的東西官方文件都可以查到，我就不細說了，直接上程式碼

import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import
 
 WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException#用來處理超時異常
from pyquery import PyQuery as pq#用來解析網頁原始碼
from sqlalchemy import create_engine,MetaData#引入資料庫引擎create_engine以及引入MetaData來建立表格
from sqlalchemy.orm import sessionmaker#引入sessionmaker（用來建立資料工廠）
 

from sqlalchemy import Table,Column,Text#引入我們需要用到的屬性
from sqlalchemy.sql import insert#引入插入語句

#建立一個數據庫引擎，呼叫create_engin方法，連線postgresql資料庫，使用者名稱為postgres，密碼為123456，儲存地址為本地儲存，埠為5432資料庫名為postgres
engine = create_engine('postgresql://postgres:[email protected]:5432/postgres')
meta = MetaData(bind = engine)#將MetaData繫結到引擎上
 

Session = sessionmaker(bind = engine)#將sessionmaker繫結到引擎上，建立一個session工廠
session = Session()#呼叫工廠方法來建立一個session物件
KaoLa_table = Table('KaoLa', meta,  # 表名為KaoLa,資料庫內一定不能有相同表名！！！
                          Column('good_name', Text),  # 將good_name作為列名（key）,並用primary設定為主key，用Text型別顯示
                          Column('price', Text),
                          Column('comment', Text),
                          Column('origin', Text),
                          Column('store', Text),
                          Column('url', Text))
meta.create_all()  # 建立表格

choice = ['--load-images=false','--disk-cache=true']#PhantomJS的api，不載入圖片，開啟快取
browser = webdriver.PhantomJS(service_args=choice)#選擇PhantomJS瀏覽器並加入引數
browser.set_window_size(1400,900)#設定瀏覽器視窗大小，便於selenium執行
waite = WebDriverWait(browser, 10)#設定等待時間
key = '彩妝'#設定需要搜尋的關鍵字
def search():
    print('搜尋中')
    try:
        browser.get('https://www.kaola.com')
        # 用來關閉彈窗
        close = waite.until(
                EC.element_to_be_clickable((By.CSS_SELECTOR, "#index-netease-com > table > tbody > tr > td > div > div > div > div > div.modal-body > div > div.u-close"))
            )
        # 用來輸入搜尋內容
        input = waite.until(
                EC.presence_of_element_located((By.CSS_SELECTOR, "#topSearchInput"))#用css_selector檢索
            )
        #用這個方法去點選，select會受上一次select的影響，從而使click失效
        #submit = waite.until(
                #EC.element_to_be_clickable((By.XPATH, "//*[@id='topSearchBtn']"))
            #)
        close.click()
        input.send_keys(key)
        #submit.click()
        # 上面click點選失效的問題用此法解決了   js大法好
        #用來點選搜尋
        js = 'document.getElementsByClassName("w-icon w-icon-27")[0].click();'
        browser.execute_script(js)
        print('當前正在第 1 頁')
        get_products()
    except TimeoutException:
        return search()

def next_page():
    try:
        click_next = waite.until(
                EC.element_to_be_clickable((By.CSS_SELECTOR, "#resultwrap > div.splitPages > a.nextPage"))
            )
        click_next.click()
        now_page = browser.find_element_by_xpath("//*[@id='resultwrap']/div[3]/span[1]").text#用xpath方法檢索
        print('當前正在第', now_page, '頁')
        time.sleep(1)
        get_products()
        return next_page()
    #這裡最後一頁不存在下一頁按鈕，所以處理必定超時，可以用這個超時來判斷是否翻頁完畢
    except TimeoutException:
        end_page = browser.find_element_by_xpath("//*[@id='resultwrap']/div[3]/span[1]").text
        print('翻頁完畢，第',end_page,'頁')
        print('儲存完畢')

def get_products():
    waite.until(
            EC.presence_of_element_located((By.CSS_SELECTOR, "#result > li > div"))
        )
    html = browser.page_source#用這個語句拿到整個網頁的原始碼
    doc = pq(html)#用PyQuery解析
    goods = doc("#result > li > div").items()
    kaola_url = 'https://www.kaola.com'
    for good in goods:
        #用find方法檢索
        product = {
            'good_name': good.find('.title').text(),
            'price': good.find('.cur').text(),
            'comment':good.find('.comments').text(),
            'origin':good.find('.proPlace.ellipsis').text(),
            'store':good.find('.selfflag').text(),
            'url':kaola_url + good.find('.title').attr('href')
        }
        save_data(product)

def save_data(data):
    try:
        i = insert(KaoLa_table)
        # 插入資料
        i = i.values({'good_name': data['good_name'],
                      'price': data['price'],
                      'comment': data['comment'],
                      'origin': data['origin'],
                      'store': data['store'],
                      'url': data['url']})
        session.execute(i)  # 將資料插入表格
        session.commit()  # 提交到資料庫中
        print('儲存成功：',data)
    except Exception:
        print('儲存失敗：',data)

if __name__ == "__main__":
    try:
        search()
        next_page()
    except Exception:
        print('出錯啦')
    finally:
        browser.close()#記得關閉瀏覽器

中間出了個小bug，就是我註釋掉的這一段

這裡click失效了，百度到了解決方法
js解決click失效問題參考部落格

開始爬

爬完

看一下資料庫裡的情況

完美

到這裡就結束啦~寒假見
冷…