1. 程式人生 > >java爬蟲(使用jsoup設定代理,抓取網頁內容)

java爬蟲(使用jsoup設定代理,抓取網頁內容)

jsoup 簡介

jsoup 是一款Java 的HTML解析器,可直接解析某個URL地址、HTML文字內容。它提供了一套非常省力的API,可通過DOM,CSS以及類似於jQuery的操作方法來取出和操作資料。

jsoup的主要功能如下:

1. 從一個URL,檔案或字串中解析HTML; 2. 使用DOM或CSS選擇器來查詢、取出資料; 3. 可操作HTML元素、屬性、文字; 需要使用的是jsoup-1.7.3.jar包   如果需要檢視文件和下載請訪問官網:http://jsoup.org 抓取網頁資料 http://www.xicidaili.com/nt/:
public static List<MyIp> getIpFromText(String url) {
		List<MyIp> ipList = new ArrayList<MyIp>();
		try {
			Document doc = Jsoup.connect(url)
								.userAgent("Mozilla")
								.cookie("auth", "token")
								.timeout(3000)
								.get();

			String ipStr = doc.body().text().trim().toString();

			String[] ips1=ipStr.split("HTTP");
			
			for (String ip : ips1) {
				ip=ip.trim().replaceAll("[A-Za-z\u4e00-\u9fa5]", "").trim();
				//System.out.println(ip);
				String[] sip=ip.split("\\s");
				MyIp myIp=new MyIp(sip[0],sip[1]);
				ipList.add(myIp);
			}
		 
		} catch (IOException e) {
			System.out.println("載入文件出錯");
		}
		return ipList;
	}