Python爬取網頁資訊的步驟

以爬取英文名字網站（https://nameberry.com/）中每個名字的評論內容，包括英文名，使用者名稱，評論的時間和評論的內容為例。

1、確認網址

在瀏覽器中輸入初始網址，逐層查詢連結，直到找到需要獲取的內容。

在開啟的介面中，點選滑鼠右鍵，在彈出的對話方塊中，選擇“檢查”，則在介面會顯示該網頁的原始碼，在具體內容處點選查詢，可以定位到需要查詢的內容的原始碼。

注意：程式碼顯示的方式與瀏覽器有關，有些瀏覽器不支援顯示原始碼功能（360瀏覽器，谷歌瀏覽器，火狐瀏覽器等是支援顯示原始碼功能）

步驟圖：

1)首頁，獲取A~Z的頁面連結

2)名字連結頁，獲取每個字母中的名字連結（存在翻頁情況）

3)名字內容頁，獲取每個名字的評論資訊

2、編寫測試程式碼

1)獲取A~Z連結，在爬取網頁資訊時，為了減少網頁的響應時間，可以根據已知的資訊，自動生成對應的連結，這裡採取自動生成A~Z之間的連線，以pandas的二維陣列形式儲存

def get_url1():
 urls=[]
 # A,'B','C','D','E','F','G','H','I','J','K','L','M','N','O','P','Q','R','S','T','U','V','W','X','Y','Z'
 a=['A','Z']　　　　#自動生成A~Z的連結
 for i in a:
  urls.append("https://nameberry.com/search/baby_names_starting_with/%s" %i)
 dp=pd.DataFrame(urls)
 dp.to_csv("A~Z_Link1.csv",mode="a",encoding='utf_8_sig')　　　　#迴圈用於在每個字母連結下，呼叫爬取名字連結的頁面的函式，即函式巢狀
 for j in urls:
  get_pages_Html(j)
 return urls

2)獲取名字連結，根據網頁原始碼分析出包含名字連結的標籤，編寫程式碼，名字連結用直接儲存的方式儲存，方便讀取名字連結進行對名字的評論內容的獲取

#獲取頁數
def get_pages_Html(url1):
 req = requests.get(url1)
 soup=BeautifulSoup(req.text)
#異常處理，為解決頁面不存在多頁的問題，使用re正則表示式獲取頁面數
 try:
  lastpage = soup.find(class_="last").find("a")['href']
  str1='{}'.format(lastpage)
  b=re.findall('\\d+',str1 )
  for page in b:
   num=page
 except:
  num=1
 get_pages(num,url1)
 return num

def get_pages(n,url):
 pages=[]
 for k in range(1,int(n)+1):
  pages.append("{}?page={}".format(url,k))
 dp=pd.DataFrame(pages)
 dp.to_csv("NUM_pages_1.csv",encoding='utf_8_sig')
  #函式呼叫
 for l in pages:
  parse_HTML2(l)
 return pages


# 名字的連結，根據網頁原始碼的標籤，確定名字連結的位置
def parse_HTML2(url2):
 try:
  req = requests.get(url2)
  req.encoding = req.apparent_encoding
  soup = BeautifulSoup(req.text)
 except:
  dp=pd.DataFrame(url2)
  dp.to_csv("Error_pages_1.csv",encoding='utf_8_sig')
 name_data_l=[]
 error=[]
 li_list = soup.find_all('li',class_="Listing-name pt-15 pb-15 bdb-gray-light w-100pct flex border-highlight")
 try:
  for li in li_list:
   nameList=li.find('a',class_='flex-1')['href']
   name_data_l.append('https://nameberry.com/'+nameList)
   time.sleep(1)
  cun(name_data_l,'Name_List_1')
 except:
  dp=pd.DataFrame(name_data_l)
  dp.to_csv("Error_Name_List_1.csv",encoding='utf_8_sig')
  # cun(url2,'Error_link_Q')
 # dp=pd.DataFrame(name_data_l)
 # dp.to_csv("Name_List.csv",encoding='utf_8_sig')
 # for i in name_data_l:
 #  parse_HTML3(i)
 return name_data_l

3)獲取名字評論的內容，採用字典形式寫入檔案

# 名字裡的內容
def parse_HTML3(url3):
 count=0
 req = requests.get(url3)
 req.encoding = req.apparent_encoding
 soup = BeautifulSoup(req.text)
 error=[]
 try:
  Name=soup.find('h1',class_='first-header').find("a").get_text().replace(",","").replace("\n","")
 except:
  error.append(url3)
  cun(error,"Error_Link_Comment")
 li_list = soup.find_all('div',class_="comment")
 for li in li_list:
  Title=li.find("h4").get_text().replace(","")
  Time=li.find("p",class_='meta').get_text().replace(","")
  Comments=li.find("div",class_='comment-text').get_text().replace(","")
  dic2={
   "Name":Name,"Title":Title,"Time":Time,"Comments":Comments
  }
  time.sleep(1)
  count=count+1
  save_to_csv(dic2,"Name_data_comment")
  print(count)
 return 1

3、測試程式碼

1)程式碼編寫完成後，具體的函式呼叫邏輯，獲取連結時，為直接的函式巢狀，獲取內容時，為從檔案中讀取出名字連結，在獲取名字的評論內容。避免因為逐層訪問，造成訪問網頁超時，出現異常。

如圖：

2)測試結果

4、小結

在爬取網頁內容時，要先分析網頁原始碼，再進行編碼和除錯，遵從爬蟲協議（嚴重者會被封號），在爬取的資料量非常大時，可以設定順序部分請求（一部分的進行爬取網頁內容）。

總之，爬蟲有風險，測試需謹慎！！！

以上就是Python爬取網頁資訊的示例的詳細內容，更多關於Python爬取網頁資訊的資料請關注我們其它相關文章！