java爬蟲(使用jsoup設定代理,抓取網頁內容)
阿新 • • 發佈:2019-01-25
jsoup 簡介
jsoup 是一款Java 的HTML解析器,可直接解析某個URL地址、HTML文字內容。它提供了一套非常省力的API,可通過DOM,CSS以及類似於jQuery的操作方法來取出和操作資料。
jsoup的主要功能如下:
1. 從一個URL,檔案或字串中解析HTML; 2. 使用DOM或CSS選擇器來查詢、取出資料; 3. 可操作HTML元素、屬性、文字; 需要使用的是jsoup-1.7.3.jar包 如果需要檢視文件和下載請訪問官網:http://jsoup.org 抓取網頁資料 http://www.xicidaili.com/nt/:public static List<MyIp> getIpFromText(String url) { List<MyIp> ipList = new ArrayList<MyIp>(); try { Document doc = Jsoup.connect(url) .userAgent("Mozilla") .cookie("auth", "token") .timeout(3000) .get(); String ipStr = doc.body().text().trim().toString(); String[] ips1=ipStr.split("HTTP"); for (String ip : ips1) { ip=ip.trim().replaceAll("[A-Za-z\u4e00-\u9fa5]", "").trim(); //System.out.println(ip); String[] sip=ip.split("\\s"); MyIp myIp=new MyIp(sip[0],sip[1]); ipList.add(myIp); } } catch (IOException e) { System.out.println("載入文件出錯"); } return ipList; }