因為工作原因，需要爬取相關網站的資料，包括中基協網站和天眼查部分資料。

一、中基協網站

爬取思路：

1.檢視目標頁：http://gs.amac.org.cn/amac-infodisc/api/pof/manager?rand=0.9775162173180119&page=%s&size=50

 發現有隨機數字串（重新整理反爬措施），以及頁碼和每頁資訊條數，可以用來拼接爬取url

用一個迴圈爬取所有展示頁面，用到requests庫以及random函式生成隨機數

返回的是json資料，直接用request的json函式解析資料。

2.save函式用來儲存目標頁面的詳細資料，可根據需要爬取。

 1 import requests
 2 import random
 3 import json
 4  
 5 def save(school_datas):
 6     for data1 in school_datas:
 7         # print(data)
 8         id = data1['id']
 9         managerName = data1['managerName']
10         artificialPersonName = data1['artificialPersonName']
11         regAdrAgg = data1['
 
regAdrAgg']
12         registerNo = data1['registerNo']
13         print(id, managerName, artificialPersonName, regAdrAgg,registerNo)
14  
15 for i in range(0, 427):
16     print("第%s頁====================="%str(i))
17     header={
18             'Accept':'application/json, text/javascript, */*; q=0.01',
19
 
             'Accept-Encoding':'gzip, deflate',
20             'Connection':'keep-alive',
21             'Host':'gs.amac.org.cn',
22             'Origin':'http://gs.amac.org.cn',
23             'Referer':'http://gs.amac.org.cn/amac-infodisc/res/pof/manager/managerList.html',
24             'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'
25             }
26     r=random.random()
27     print(str(r))
28     
30     # json={"rand":'0.0045470034372876444',"page":str(i),"size":"50"}
31     # http://gs.amac.org.cn/amac-infodisc/api/pof/manager?rand=0.9775162173180119&page=1&size=50
32     # data= requests.post("http://gs.amac.org.cn/amac-infodisc/api/pof/manager",json={'rand':str(r),'page':str(i),'size':'50'},headers=header)#.json()
33     url="http://gs.amac.org.cn/amac-infodisc/api/pof/manager?rand=0.9775162173180119&page=%s&size=50"
34     data= requests.post(url%i,json={'rand':str(r),'page':str(i),'size':'50'}).json()
35   
40     
41     # print (type(r))
42     # print (r.status_code)
43 
45     # print (r.cookies)
46     # print(r.text,"\n")
47     # print(r.json())
48 
55 
56     print("每一頁資訊條數——>", len(data['content']))
57     print("全部資訊條數——>", data["totalElements"])
58     print("每頁有——>", data["size"])
59     print("總頁數-->>", data["totalPages"])
60 
61     school_datas = data["content"]
62     save(school_datas)