1. 程式人生 > >工作記錄之 [ python請求url ] v s [ java請求url ]

工作記錄之 [ python請求url ] v s [ java請求url ]

背景:

模擬瀏覽器訪問web,傳送https請求url,為了實驗需求需要獲取ipv4資料包

由於不做後續的內容整理(有內部平臺分析),故只要寫幾行程式碼請求傳送https請求url列表中的url即可

開始使用python的urllib庫的urllib.request.openurl()來進行訪問,例如訪問百度的:

page = urllib.request.urlopen('https://www.baidu.com')

如果請求成功則執行後續任務,失敗則採用異常捕獲,跳過此url並記錄到檔案(在此不給出程式碼,其實我主要就是想說明java與python的請求有很大不同之處)

在請求某些url時,如yahoo.com  採用分析平臺捕獲不到ipv4的資料包:

 

出於好奇,我使用瀏覽器人工去訪問下此網站,發現瀏覽器中訪問時是ipv4的:

 

放棄python,直接上java:

try {
     URL reqURL = new URL("https://www.yahoo.com/news" );
     HttpsURLConnection httpsConn = (HttpsURLConnection)reqURL.openConnection();
            
     new InputStreamReader(httpsConn.getInputStream());
            
}
catch(Exception e) { System.out.println(e);; }

 

 再次檢視捕獲的資料包(應該是它更加優秀的模擬了瀏覽器去請求url):

(在此只作記錄,沒有深入研究(^_^))


本節完......