1. 程式人生 > 程式設計 >基於python爬取有道翻譯過程圖解

基於python爬取有道翻譯過程圖解

1.準備工作

先來到有道線上翻譯的介面http://fanyi.youdao.com/

F12 審查元素 ->選Network一欄,然後F5重新整理 (如果看不到Method一欄,右鍵Name欄,選中Method)

基於python爬取有道翻譯過程圖解

輸入文字自動翻譯後發現Method一欄有GET還有POST;GET是指從伺服器請求和獲得資料,POST是向指定伺服器提交被處理的資料、

隨便開啟一個POST,找到preview可以看到我們輸入的“我愛你一生一世”資料,可以證明post的提交資料的

基於python爬取有道翻譯過程圖解

下面分析一下Headers各個欄位的意義;User-agent欄位很重要

基於python爬取有道翻譯過程圖解

基於python爬取有道翻譯過程圖解

下面來看一下request模組中urlopen方法,檢視文件;

發現urlopen有一個data引數,如果引數沒賦值(預設None)就是GET形式,如果data引數被賦值了,就以POST形式提交

基於python爬取有道翻譯過程圖解

在這裡,data引數其實是一個字典 ;就是原始碼中From Data的資料

下面一篇文章是對urlencode與unquote的詳細解釋:(urllib庫裡可惜沒有urldecode函式)

https://www.jb51.net/article/183857.htm

為什麼要進行編碼和解碼呢?------》對於一些中文或者字元,url是不識別的,需要進行編碼轉換!encode('utf-8')把unicode的形式變成utf-8decode('utf-8')把utf-8形式變成Unicode編碼形式2.下面進行敲!

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支援我們。