1. 程式人生 > 程式設計 >Python爬取12306車次資訊程式碼詳解

Python爬取12306車次資訊程式碼詳解

詳情檢視下面的程式碼:

如果被識別就要新增一個cookie如果沒有被識別的話就要一個user—agent就好了。如果出現亂碼就設定編碼格式為utf-8

#靜態的資料一般在elements中(複製文字到sources按ctrl+f搜尋。找到的為靜態),而動態去network中去尋找相關的資訊
import requests
import re
def send_request():
  headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/74.0.3729.131 Safari/537.36','Cookie':'_uab_collina=159618052151589201474313; JSESSIONID=D33C89D8BEC6A692C79CFA69FC0B0D29; BIGipServerotn=233832970.24610.0000; BIGipServerpool_passport=216859146.50215.0000; RAIL_EXPIRATION=1596443951465; RAIL_DEVICEID=nMo94O2Z21cXLblW7otLoxUZ_LP9Q01PYj_I89OqU6MqjxyX9814Jc3CH5TNwgBVJqnBaBG8OGiBWo2QtNcu5wVu-asNk6YLa49g0fMwVp03XFJQ-GkhHYHcqIgUd-nqQB_VEdWH1Om_D2yAgIu8QcEavt02pmH5; route=c5c62a339e7744272a54643b3be5bf64; _jc_save_fromStation=%u5317%u4EAC%2CBJP; _jc_save_toStation=%u5929%u6D25%2CTJP; _jc_save_fromDate=2020-07-31; _jc_save_toDate=2020-07-31; _jc_save_wfdc_flag=dc'}#建立頭部資訊
  url='https://kyfw.12306.cn/otn/leftTicket/query?leftTicketDTO.train_date=2020-07-31&leftTicketDTO.from_station=BJP&leftTicketDTO.to_station=TJP&purpose_codes=ADULT'
  #設定編碼格式。防止亂碼
  resp=requests.get(url,headers=headers)
  resp.encoding='utf-8'
  return resp

#解析資料
#{}是字典。根據key獲取值。
def parse_json(resp,city):
  json_ticket=resp.json()#將相應的資料轉換為json
  data_list=json_ticket['data']['result']#得到車次的列表
  lst=[]#列表
  for item in data_list:
    #遍歷車次資訊進行分割
    d=item.split('|')
    lst.append([d[3],city[d[6]],city[d[7]],d[31],d[30],d[13]])
  return lst
'''
d[3]從列表中獲取索引為3的表示車次
d[6]查詢起始站
d[7]查詢到達站
d[31]一等座
d[30]表示二等座
d[13]表示出行時間'''
#獲得station_name的資訊
def get_city():
  url='https://kyfw.12306.cn/otn/resources/js/framework/station_name.js?station_version=1.9151'
  headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/74.0.3729.131 Safari/537.36'}
  resp=requests.get(url,headers=headers)
  resp.encoding='utf-8'
  #進行資料的提取(只要一部分)
  stations=re.findall('([\u4e00-\u9fa5]+)\|([A-Z]+)',resp.text)
  #將列表進行轉換為字典
  stations_data=dict(stations)
  #key與value進行互換
  station_d={}#空字典。用於完成上述操作
  for item in stations_data:
    station_d[stations_data[item]]=item
  #print(station_d)
  return station_d

def start():
  lst=parse_json(send_request(),get_city())
  #進行資料的篩選(得到有效的資料)
  for i in lst:
    if i[3]!='無' and i[3]!='':
      print(i)
if __name__=='__main__':
  start() #開始

執行的截圖:

Python爬取12306車次資訊程式碼詳解

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支援我們。