1. 程式人生 > 程式設計 >Python while true實現爬蟲定時任務

Python while true實現爬蟲定時任務

記得以前的windows 任務定時是可以的正常使用的,今天試了下,發現不能正常使用了,任務計劃總是掛起。

接下來記錄下python 爬蟲定時任務的幾種解決方法。

今天是第一篇,後面會陸續更新。

首先最容易的是while true死迴圈掛起,上程式碼

import osimport timeimport sysfrom datetime import datetime,timedelta
def One_Plan():
   # 設定啟動週期
   Second_update_time = 24 * 60 * 60
   
  # 當前時間
  now_Time = datetime.now()
  # 設定 任務啟動時間
  plan_Time = now_Time.replace(hour=9,minute=0,second=0,microsecond=0) 
  # 設定差值,-1 day,21:48:53.246576,類似於這樣
  # time.sleep()需要傳入int,所以下面使用.total_seconds() 
  # 主要用來計算差值,返回int,具體功能可以自行查閱相關資料
  delta = plan_Time - now_Time
  first_plan_Time = delta.total_seconds() % Second_update_time
  print("距離第一次執行需要睡眠%d秒" % first_plan_Time)
  return first_plan_Time

# while Ture程式碼塊,掛起程式,睡眠時間結束後呼叫函式名進行執行
while True:

  s1 = One_Plan()
  time.sleep(s1)
  # 下面這裡是自己定義的函式,想跑程式碼的可以換成hellow world函式或者註釋掉這行測試下
  exe_file(D_list)
  print("正在執行首次更新程式")

個人感覺使用這種方式進行定時計劃的啟動如果為單個程式,並且一天執行一次的話沒什麼問題,如果要考慮到一天執行多個任務並且一天需要執行多次,短板一下就凸顯出來了,

在工作的情況中還需要考慮到很多因素,比如爬蟲程式需要在晚上12點和早上6點,9點,下午3點執行四次,並且需要同時執行4個爬蟲,還需要考慮到網路是否穩定,如果程式掛掉該怎麼處理等等因素

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支援我們。