爬蟲第一天——add_header()和get_header()

阿新 • • 發佈：2018-05-24

header www fire 請求 agent 10.6 IT request span

 1 import urllib.request
 2 import random
 3 
 4 url = "http://www.baidu.com/"
 5 
 6 # 可以是User-Agent列表，也可以是代理列表
 7 ua_list = [
 8     "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv2.0.1) Gecko/20100101 Firefox/4.0.1",
 9     "Mozilla/5.0 (Windows NT 6.1; RV2.0.1) Gecko/20100101 Firefox/4.0.1",
10     "Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11 
"
11     "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36"
12 ]
13 
14 # 在User-Agent列表裏隨機選擇一個
15 user_agent = random.choice(ua_list)
16 
17 # 構造一個請求
18 request = urllib.request.Request(url)
19 
20 # 添加/修改 一個HTTP報頭
21 request.add_header("User-Agent 
", user_agent)
22 
23 # 獲取一個已有的HTTP報頭值，！！只能是第一個字母大寫，其他字母小寫！！
24 
25 print(request.get_header("User-agent"))

工具：python3

header www fire 請求 agent 10.6 IT request span 1 import urllib.request 2 import random 3 4 url = "http://www.baidu.com/" 5 6 # 可以

python3爬蟲第一天（1）

python urlopen img src 調用表達式鏈接 AR 2.3 1.目標：用python3爬取慕課網課程頁的圖片，然後保存到本地。 2。打開pycharm編寫python代碼。思路如下： 2.1 . 從ur

Python 爬蟲第一天改良版【學習筆記】

晚上改良了下午寫的那個，可以批量獲取新浪新聞網頁了。不過也是搬磚來的別人寫好我抄了一遍。from bs4 import BeautifulSoup as bs import requests import csv import json, re import pandas #csv_file = o

mysql為了獲取當前時間的該月份的第一天日期和最後一天日期

先了解DATE_ADD()函式定義和用法 DATE_ADD() 函式向日期新增指定的時間間隔。語法 DATE_ADD(date,INTERVAL expr type) date 引數是合法的日期表示式。expr 引數是您希望新增的時間間隔。 type 引數可以

爬蟲第一天

今日課程的主要內容介紹爬蟲的基本概念爬蟲是什麼爬蟲的價值爬蟲的分類爬蟲的執行原理爬蟲的三大模組爬蟲的第一大模組: 獲取資料原生JDK的方式獲取網頁資料(理解) get方法 post方式使用httpClient獲取網頁請求(重點

神經病院 Objective-C Runtime 入院第一天—— isa 和 Class

目錄1.Runtime簡介2.NSObject起源(1) isa_t結構體的具體實現(2) cache_t的具體實現(3) class_data_bits_t的具體實現3.入院考試一. Runtime簡介Runtime 又叫執行時，是一套底層的 C 語言 API，是 iOS

SQL Server學習記錄之獲取每月每季度每年第一天和最後一天

第一天 ediff code spa -1 指定日期 ctc 算法 datetime DECLARE@dtdatetime SET@dt=GETDATE() DECLARE@numberint SET@number=3 --1．指定日期該年的第一天或最後

C# 每月第一天和最後一天

end style logs bsp code gin class date pan //每月第一天 var beginTime=DateTime.Now.AddDays(1 - DateTime.Now.Day); //每月最後一天 var endTime=DateT

第一天，對於課程和工作的了解

family 學習 it行業宋體 col style 感覺喜歡比較今天聽這裏的老師講了很多關於it行業的事，我對於java這一方面也是比較感興趣。對也以後的就業今天也是有了一番了解，自我感覺，我喜歡這一塊，並且有學習的想法，我會努力的去學習這一塊，為了工

PHP獲取本月第一天和上個月第一天的日期

php<?php// 今天$today = date(‘Y-m-d‘); // 本月第一天$this_first_day = strtotime(date(‘Y-m-01‘, strtotime($today))); // 上個月第一天$last_first_day = date(‘Y-m-01‘,st

獲取一年的第一天和最後一天

his last div nbsp rst days col time 最後一天 1 DateTime dtFirstDay = new DateTime(DateTime.Now.Year, 1, 1); 2 DateTime dtLastDay = dtFirstDa

C#獲取上個月第一天和最後一天日期的方法

分享 ble bsp 圖片 span margin date 文章相關本文實例講述了C#獲取上個月第一天和最後一天日期的方法。分享給大家供大家參考。具體實現代碼如下：代碼如下: int year = DateTime.Now.Year;//當前年 int m

python新手第一天學習筆記-第一個ptyhon程序和python變量

ali color 輸出 3.5 pri -- class -i bsp 一、python 的註釋和第一個python 程序 : 1、單行註釋 # Author Xiajq 2、多行註釋 ‘‘‘ ------------註釋內容----------------------

獲取所在月第一天和最後一天

strtotime -m div BE ont exit pre str class $BeginDate = date(‘Y-m-01‘, strtotime(date("Y-m-d")));echo $BeginDate;echo "<br/>";echo

一階段項目開始的第一天所遇到的問題和解決（瀏覽器滾動條的變相隱藏，div的邊框陰影效果，圖片的色彩漸變）

影響 -c sed gpo 含義 hide eight 設置技術滾動條的隱藏： 1. 把body的橫向，縱向的超出部分隱藏，寬設置100%；高設置100%。就沒有body的滾動條了， 2. 然後把最外層的div的寬設置的比body的寬寬一點，把div的滾動條擠出去，

【和孩子一起學編程】 python筆記--第一天

科學計數法 IV 字符聯網逗號 syntax color 現在方法【該隨筆記錄本人在閱讀過程寫的筆記和一些問題，格式比較隨意，不定時更新】由於該書使用的python版本為2.5，本人使用的為3.6。第一章：遇到的第一個問題： 1.3節輸出指令： pri

opencv3.0第一天讀取攝像頭和圖片大小型別

import cv2 as cv import numpy as np def video_demo(): ##呼叫攝像頭 capture = cv.VideoCapture(0) while(True): capture = cv.VideoCaptu

php中使用carbon獲取上個月第一天和最後一天

說明：使用PHP開發專案，經常會涉及到獲取昨天，前天，上週，上個月的起始時間等這種需求。有個一個比較好用的工具，Carbon類，裡面封裝了常用的獲取方式。這裡主要統計上個月的資料，要知道上個月的第一天和最後一天時間。獲取時間格式： //上個月第一天 Carbon

Linux學習第一天————瞭解root使用者和基本的shell命令

一.瞭解Linux中的root使用者 1.1root使用者使用過MySQL的同學都知道MySQL中有一個變態的存在叫做超級管理員，他可以從操作任何一個數據庫，那麼在Linux中也有這麼一個變態的存在他就叫做root使用者。 1.2root使用者可以做什麼? root使用者作為整個系統的最

獲得指定月的最後一天和第一天

獲取指定年月的第一天 /** * 獲取指定年月的第一天 * @param year * @param month * @return * @throws ParseException */ @Suppress

爬蟲第一天——add_header()和get_header()

相關推薦