工作記錄之 [ python請求url ] v s [ java請求url ]
阿新 • • 發佈:2019-01-08
背景:
模擬瀏覽器訪問web,傳送https請求url,為了實驗需求需要獲取ipv4資料包
由於不做後續的內容整理(有內部平臺分析),故只要寫幾行程式碼請求傳送https請求url列表中的url即可
開始使用python的urllib庫的urllib.request.openurl()來進行訪問,例如訪問百度的:
page = urllib.request.urlopen('https://www.baidu.com')
如果請求成功則執行後續任務,失敗則採用異常捕獲,跳過此url並記錄到檔案(在此不給出程式碼,其實我主要就是想說明java與python的請求有很大不同之處)
在請求某些url時,如yahoo.com 採用分析平臺捕獲不到ipv4的資料包:
出於好奇,我使用瀏覽器人工去訪問下此網站,發現瀏覽器中訪問時是ipv4的:
放棄python,直接上java:
try { URL reqURL = new URL("https://www.yahoo.com/news" ); HttpsURLConnection httpsConn = (HttpsURLConnection)reqURL.openConnection(); new InputStreamReader(httpsConn.getInputStream()); }catch(Exception e) { System.out.println(e);; }
再次檢視捕獲的資料包(應該是它更加優秀的模擬了瀏覽器去請求url):
(在此只作記錄,沒有深入研究(^_^))
本節完......