2. 程式人生 > >python3.6爬蟲—有道，百度翻譯爬蟲

python3.6爬蟲—有道，百度翻譯爬蟲

阿新 • • 發佈：2019-01-04

（1）通過headers反爬蟲：從使用者請求的Headers反爬蟲是最常見的反爬蟲策略，很多網站都會對Headers的User-Agent進行檢測，遇到這種情況，可以直接在爬蟲中新增Headers，將瀏覽器的User-Agent複製到Headers中。一般有兩種方法：

             第1種方法：在Request生成之前先設定好，然後傳遞給Request

  

有道翻譯，翻譯語言是自動的
#import urllib.request延遲提交時間
import urllib.parse
import json
import time
while True:
    content=input('請輸入翻譯內容(輸入"q!"退出程式):') #可以根據輸入內容實現自動翻譯
    if content=='q!':
        break
    url='http://fanyi.youdao.com/translate'
    head={}#在Request生成之前先設定好，然後傳遞給Request
    head['User-Agent']='Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'
    data={}
    data['i']=content#翻譯的內容必須有
    data['doctype']='json'#指定翻譯結果為json格式
    data=urllib.parse.urlencode(data).encode('utf-8')#轉換為伺服器可以理解的編碼方式
    req=urllib.request.Request(url,data,head)#urllib.request.Request是進一步的包裝請求,目的是加上頭資訊，偽裝成瀏覽器訪問
    response=urllib.request.urlopen(req)#返回response物件，返回資訊儲存在此物件裡
    html=response.read().decode('utf-8')#伺服器返回結果讀取
    #print(html)輸出字串，字串包含字典結構
    translate_results=json.loads(html)##字串載入得到字典結構
    #print(translate_results)輸出結果:{'type': 'EN2ZH_CN', 'errorCode': 0, 'elapsedTime': 0, 'translateResult': [[{'src': 'I love you', 'tgt': '我愛你'}]]}
    translate_results=translate_results['translateResult'][0][0]['tgt']#translateResult字典中包含兩層列表,[0][0]表示去除兩層列表,['tgt']表示訪問translateResult字典中的'tgt'值
    print(translate_results)
    #time.sleep(5)睡眠時間5s後才可以進行下一次翻譯
 
百度翻譯，翻譯語言可根據要求設定
import urllib.request
import urllib.parse
import json
content=input('請輸入內容:')
url='https://fanyi.baidu.com/transapi'#百度翻譯
head={}
head['User-Agent']='Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Mobile Safari/537.36'
data={"query":content,"from":'en',"to":'zh'}#en代表英語，zh代表中文；可以設定翻譯語言
data=urllib.parse.urlencode(data).encode('utf-8')
req=urllib.request.Request(url,data,head)
response=urllib.request.urlopen(req)
html=response.read().decode('utf-8')
#print(html)輸出字串，字串包含字典結構
trans_result=json.loads(html)#字串載入得到字典
#print(trans_result)輸出結果:{'from': 'en', 'to': 'zh', 'domain': 'all', 'type': 2, 'status': 0, 'data': [{'dst': '愛情', 'prefixWrap': 0, 'src': 'Love', 'relation': [], 'result': [[0, '愛情', ['0|4'], [], ['0|4'], ['0|6']]]}]}
trans_result=trans_result['data'][0]['dst']#data資料中包含一層列表，去除後在訪問得到需要的值
print(trans_result)

           

             第2種方法：在Request生成之後設定

有道翻譯，翻譯語言是自動的
#import urllib.request#延遲提交時間
import urllib.parse
import json
import time
while True:
    content=input('請輸入翻譯內容(輸入"q!"退出程式):') #可以根據輸入內容實現自動翻譯
    if content=='q!':
        break
    url='http://fanyi.youdao.com/translate'#有道翻譯，翻譯語言是自動的
    data={}
    data['i']=content#翻譯的內容必須有
    data['doctype']='json'#指定翻譯結果為json格式
    data=urllib.parse.urlencode(data).encode('utf-8')#轉換為伺服器可以理解的編碼方式
    req=urllib.request.Request(url,data)#urllib.request.Request是進一步的包裝請求
    req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36')#在Request生成之後
    response=urllib.request.urlopen(req)#返回response物件，返回資訊儲存在此物件裡
    html=response.read().decode('utf-8')#伺服器返回結果讀取
    #print(html)輸出字串，字串包含字典結構
    translate_results=json.loads(html)##字串載入得到字典結構
    #print(translate_results)輸出結果:{'type': 'EN2ZH_CN', 'errorCode': 0, 'elapsedTime': 0, 'translateResult': [[{'src': 'I love you', 'tgt': '我愛你'}]]}
    translate_results=translate_results['translateResult'][0][0]['tgt']#translateResult字典中包含兩層列表,[0][0]表示去除兩層列表,['tgt']表示訪問translateResult字典中的'tgt'值
    print(translate_results)
    #time.sleep(5)#睡眠時間5s後才可以進行下一次翻譯
 
百度翻譯，翻譯語言可根據要求設定
import urllib.request
import urllib.parse
import json
content=input('請輸入內容:')
url='https://fanyi.baidu.com/transapi'#百度翻譯
data={"query":content,"from":'en',"to":'zh'}#en代表英語，zh代表中文；可以設定翻譯語言
data=urllib.parse.urlencode(data).encode('utf-8')
req=urllib.request.Request(url,data)
req.add_header('User-Agent','Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Mobile Safari/537.36')
response=urllib.request.urlopen(req)
html=response.read().decode('utf-8')
#print(html)輸出字串，字串包含字典結構
trans_result=json.loads(html)#字串載入得到字典
#print(trans_result)輸出結果:{'from': 'en', 'to': 'zh', 'domain': 'all', 'type': 2, 'status': 0, 'data': [{'dst': '愛情', 'prefixWrap': 0, 'src': 'Love', 'relation': [], 'result': [[0, '愛情', ['0|4'], [], ['0|4'], ['0|6']]]}]}
trans_result=trans_result['data'][0]['dst']#data資料中包含一層列表，去除後在訪問得到需要的值
print(trans_result)

（2）基於使用者行為的反爬蟲：大多數網站都是前一種情況，對於這種情況，使用IP代理就可以解決。可以專門寫一個爬蟲，爬取網上公開的代理ip，檢測後全部儲存起來。這樣的代理ip爬蟲經常會用到，最好自己準備一個。有了大量代理ip後可以每請求幾次更換一個ip，這在requests或者urllib2中很容易做到，這樣就能很容易的繞過第一種反爬蟲。使用代理IP步驟如下圖：

                 使用IP（隨便找的）代理如下：

iplist=['119.101.116.77:9999',
        '49.86.183.39:9999',
        '121.40.78.138:3128']
proxy_support=urllib.request.ProxyHandler({'http':random.choice(iplist)})
opener=urllib.request.build_opener(proxy_support)
opener.addheaders=[{'User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 
                  (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}]#新增Headers
urllib.request.install_opener(opener)

 

 

相關推薦

python3.6爬蟲—有道，百度翻譯爬蟲

（1）通過headers反爬蟲：從使用者請求的Headers反爬蟲是最常見的反爬蟲策略，很多網站都會對Headers的User-Agent進行檢測，遇到這種情況，可以直接在爬蟲中新增Headers，將瀏覽器的User-Agent複製到Headers中。一般有兩種方法：    

最新百度翻譯爬蟲 手機版（python爬蟲）

環境：python3 直接上程式碼： #coding=utf-8 import requests import json class BaiDuTranslatePhone: def __init__(self): self.query=input("請輸入要翻譯

最新百度翻譯爬蟲 獲取sign（python爬蟲）

環境： python3 直接上程式碼： 1.BaiDuTranslateWeb.py import requests import execjs import json class BaiDuTranslateWeb: def __init__(self): s

百度翻譯爬蟲-Web版(自動生成sign)

ads ner bstr contex token open 發送請求 run mozilla 1 # 面向對象 2 # 百度翻譯 -- 網頁版(自動獲取token,sign) 3 import requests 4 import js2py 5 im

python一行程式碼實現百度翻譯和有道翻譯結果獲取-----py學習爬蟲歷程（一）

更新（18-6-2）：利用requests庫只需一行程式碼就可以獲取結果，程式碼在最後前言：本文參考於https://blog.csdn.net/c406495762/article/details/59095864一．本節主要用到的知識1-1：urllib.request.

一年半經驗，百度、有贊、阿里面試總結

前言 人家都說，前端需要每年定期出來面面試，衡量一下自己當前的技術水平以及價值，本人17年7月份，畢業到現在都沒出來試過，也沒很想換工作，就出來試試，看看自己水平咋樣。 以下為我現場面試時候的一些回答，部分因人而異的問題我就不回答了，回答的都為參考答案，也有部分錯誤的地方或者不好的地方，有更好的答案的可以

百度翻譯拒絕訪問後的內心複雜 = .= 果然還是有道翻譯比較靠譜

import chardet import urllib import json if __name__ == "__main__": baseurl = "http://fanyi.baidu.com/sug" data={ 'kw':'girl'

刷《一年半經驗，百度、有贊、阿里面試總結》·手記

在掘金上看到了一位大佬發了一篇很詳細的面試記錄文章-《一年半經驗，百度、有贊、阿里面試總結》，為了查漏補缺，抽空就詳細做了下。（估計只有我這麼無聊了哈哈哈） 有給出的或者有些不完善的答案，也盡力給出/完善了（可能有錯，大家自行辨別）。有些很困難的題目（例如實現Promise），附帶相關連結（懶癌患

基於python3，百度AI實現人臉檢測，人臉識別

我感覺百度是BAT三家裡面AI能力最強的了，在影象和語音的處理上面是很強的，很全面。百度AI裡面功能齊全，提供的語言也是很多。唯一不太好的是目前對python3不是很支援，還是支援python2。但也不表示python3做不了。 一下是程式碼 import urllib3,base64 fr

Python3爬蟲-selenium爬取百度文庫

      這是筆者爬取的第一個動態載入的網頁，使用的IDE是Pycharm，選擇的是百度文庫的一篇16年六級卷子的文件。若直接使用requests模組去得到網頁原始碼，會發現所得非所見，不能獲取到文件中的內容。看了網上數篇博文的思路，最後還是嘗試了使用selenium

Python3爬蟲之爬取百度高清圖片

#!/usr/bin/env python # -*- coding:utf-8 -*- # Author: OFZFZS # Datetime:2018/3/23 11:00 # Description: 百度圖片爬取 這裡只做了簡單處理,注意百度圖片返回的資料是aja

Python3呼叫百度翻譯API，實現實時翻譯

今天需要做一個翻譯的工具，找到之前寫過的有道翻譯，已經不能用了，最後看到百度翻譯還不錯，不過官方版本是Python2，我需要Python3，就自己寫了一個： # coding: utf8 ''' @Author: LCY @Contact: [email&

大公司都有哪些開源專案~~~阿里，百度，騰訊，360，新浪，網易，小米等

作者：毒逆天正文：紅色字型是現階段比較火的----------------------------------------------------------------------------------------------------------------1.MyS

外賣訂單爬蟲 定時自動抓取三大外賣平臺上商家訂單（美團，餓了麼，百度外賣）

這個程式是用來抓取外賣平臺（美團，餓了麼，百度）的商戶訂單開發，並不是一個通用庫，而是為這個 特定場景進行開發的。  適用場景：餐飲企業擁有多家外賣門店，訂單量非常大，有對訂單進行資料分析的需求。  主要功能：每天定時啟動，抓取三大外賣平臺的訂單，轉成成excel檔案，發郵

【立貼為證】二十年後2027，百度眼必然成人眼一個

com 星期 積累 分享 images 百度 時代 互聯網 2017年 【立貼為證】二十年後2027，百度眼必然成人眼一個 20年前的今天2017年，W還是一個狼廠的小程序猿，但仍然感覺很幸運，在互聯網行業，在B，在做一線技術研發。 年輕時，大學的夢想是組織一個硬件和軟

百度圖片爬蟲

pyqt inpu http get odi 設有 int gen out 功能說明：依次輸入keyword。開始頁碼，結束頁碼（每頁6張圖） 當中，因為設定了timeout和其它錯誤檢測，所以每頁不一定6張都能爬下來。 有需求的拿去爬圖用吧，僅供交流參考。不要

phpcms的後臺網站直接訪問正常，百度快照收錄鏈接訪問跳轉到非法網站

cms onf nbsp 頭部 ron 自動 制作 訪問 php 問題： phpcms制作的網站直接訪問正常，百度快照收錄鏈接訪問跳轉到非法網站 百度快照收錄網站域名，訪問時自動跳轉到一個非法網站 檢查靜態頁index.html，index.php 網頁內引用的js是

從邂逅到共生：關於AI落地，百度與小米的新碰撞

小米 百度 很多朋友都會問，每天看到這麽多寫AI的，甚至一大堆標題黨說AI要毀天滅地的，但是AI到底在哪呢？這是個非常好的問題。AI作為一種重構底層，是需要不斷學習和進步的技術。這樣的技術特征，導致AI可能無法像前端技術那樣帶來瞬間的震撼，而是需要消費者在新的人機共存關系中感受和探索AI帶來的價值，與

達成戰略合作後，百度DuerOS和海爾U＋平臺將如何加速AI+IoT行業？

百度 海爾 我們知道，AI作為一種底層技術泛指，需要長時間、多維度地逐漸走向產業化、應用化，最終才能真正來到人們身邊。很多人都好奇，2018年AI會以何種方式撬動市場增長，進一步推動技術與商業的結合呢？目前來看，百度等AI巨頭，正在積極嘗試通過AI+IoT的結合模式，以智能家庭場景為撬點，掀起新一輪的

最最簡單的python爬蟲教程--爬取百度百科案例

python爬蟲；人工智能from bs4 import BeautifulSoupfrom urllib.request import urlopenimport reimport randombase_url = "https://baike.baidu.com"#導入相關的包 his