相信有很多朋友還是喜歡買基金的，今天剛好有時間就給大家來一個基金的。雖然暴富不可能，但是對於理財方面還是有所幫助的。程式碼就放在下面了。

爬蟲常規思路：

1.分析網頁
2.對網頁傳送請求，獲取響應
3.提取解析資料
4.儲存資料

Python版本：3.6.5
import requests
import time
import csv
import re

分析網頁

其實這個網站的網頁資料沒有太多的反爬，就是網頁需要構建一個params的引數，該引數裡面包含了網頁翻頁的資料，時間戳的資料，這些是動態的，需要怎麼自己指定一下，如圖所示：

如上分析後，就可以對該連結傳送請求了，但是這個網站還有一個和別的地方不一樣的，他給你返回的不是html原始碼，也不是json資料，而是字元資料，如圖：

我們可以看到這些不同html和json資料，所以就需要用到正則表示式老進行過濾提取了。經過以上分析，我的大體思路就是，先爬取一頁的資料，利用正則提取，能成功爬取到一頁的資料後，只用做一個迴圈遍歷，就可以爬取多頁的資料了。

程式碼部分：

構建請求需要的引數

###
###Python學習交流Q群：906715085####
 def get_params(self):   
      """     
 構建params引數的方法       
  :return:    
      """    
params = {          
  "t": "
 
1",          
    "lx": "1",          
      "letter": "",           
       "gsid": "",           
        "text": "",          
          "sort": "zdf,desc",          
            "page": f"{str(self.page)},200",            
            "dt": str(self.TIMESTRF),            
            "atfc": "",          
              
 
"onlySale": "0",    
                  }       
                   return params

dt這個引數上面說了，是一個不正規的時間戳，那麼我們怎麼辦，思路是，用time模組先提取出真正的當前時間戳，然後用int()把他強制轉換成整數，然後乘以1000，就可以得到這個不正規的時間戳了，在構建的時候，在把這個時間戳轉換成str()就可以了。

int(time.time()) * 1000

傳送請求，獲取響應資料

def parse_url(self, url):       
 """        
 傳送請求，獲取響應資料的方法       
  :param url:       
 :return:        
 """      
   params = self.get_params()       
    response = requests.get(url, headers=self.headers, params=params)    
        if response.status_code == 200:            
        return response.content.decode()

提取資料

def get_data(self, data_str):  
      """       
       提取基金資料的方法 
              :param data_str:   
                   :return:     
   """       
    str_data = re.findall('var db=.*,datas:(.*),count:.*}', data_str, re.S)[0]       
     data_list = eval(str_data)        
     for data in data_list:            
     yield {              
       '基金程式碼': data[0],              
         '基金簡稱': data[1],               
          '單位淨值': data[3],               
           '累計淨值': data[4],               
            '日增長值': data[6],                
            '日增長率': data[7],              
              '手續費': data[17]          
                }

實現程式的完整思路

def run(self):      
   """    
 實現主要邏輯思路       
  :return:      
    """       
     with open('./jjData.csv', 'a', encoding='utf-8-sig', newline="") as csvfile:           
      fieldnames = ['基金程式碼', '基金簡稱', '單位淨值', '累計淨值', '日增長值', '日增長率', '手續費']            
      write_dict = csv.DictWriter(csvfile, fieldnames=fieldnames)            
      write_dict.writeheader()           
       # 1，傳送請求，獲取響應資料            
       data_str = self.parse_url(self.API_URL)           
        # 2，提取資料          
          fund_data_list = self.get_data(data_str)           
           for fund_data in fund_data_list:               
            print(fund_data)               
             # 3，儲存資料             
                write_dict.writerow(fund_data)

效果展示

END

最後，到這裡就沒有了，不懂的小夥伴可以跟著視訊學一遍，這一篇文章到這裡就接近尾聲了，喜歡的小夥伴可以點贊，不懂的小夥伴評論留言。