1. 程式人生 > 實用技巧 >第十三次總結 關於爬蟲

第十三次總結 關於爬蟲

  1. Java中使用HTTP/HTTPS協議開發程式?
  2. 如何獲得網址資料?

1.Java中使用HTTP/HTTPS協議開發程式?

URL 統一資源定位符
表示一個網路上的資源地址,包含的是IP和埠,還包含具體的資源名稱

網址:http://www.baidu.com:80
域名:baidu.com 對應的是IP
網址如果沒有寫資源名稱,預設有一個資源名稱,具體是哪個資源要看服務端配置

HttpUrlConnection
基於HTTP協議的網路連線


2.如何獲得網址資料?

import java.io.BufferedReader;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.HttpURLConnection; import java.net.URL; import java.util.List; import java.util.Map; import java.util.Set; public class Demo { public static void main(String[] args) throws Exception { //封裝地址 URL url = new URL("https://ncov.dxy.cn/ncovh5/view/pneumonia"); //獲得連線物件
HttpURLConnection conn = (HttpURLConnection) url.openConnection(); //開啟連線 conn.connect(); //獲得內容的型別 String str = conn.getContentType(); System.out.println(str); //獲得響應的狀態碼,如果狀態碼是200.說明請求響應是成功的 int t = conn.getResponseCode(); System.out.println(t);
if (t == 200) { //從連線上獲得資料輸入流 InputStream ips = conn.getInputStream(); //包裝成字元流 BufferedReader br = new BufferedReader(new InputStreamReader(ips)); //從流中讀取字元資料 String msg = br.readLine(); while (msg != null) { System.out.println(msg); msg = br.readLine(); } } } }