在我的上一篇部落格中，通過URL就已經成功下載了第一個頁面。然後我第二步的工作就是要通過這個已經下載好的頁面得到更多的URL。

        在這篇部落格中主要完成了對頁面中的連結進行解析，並將它們拼成可以訪問的樣子。更多細緻的工作需要在後面進行完善。

        事實上，這個步驟並不一定需要依靠程式來完成。或許我們可以通過人工來完成這個步驟。甚至通過人工操作，我們可以得到更加相關的連結。但這對於我這樣的程式設計師而言確實是太麻煩了，所以，我想我需要一個程式來幫我完成第二部分，就是從已經下載好的頁面中獲得新的URL連結。

        完成這個步驟之後，就可以從上一篇部落格的例子中進行頁面的下載，並將下載後的頁面讀取之後進行頁面內連結的提取，再下載，再提取，照這樣下去，理論上來說就擁有了整個網際網路上的所有頁面了。

        顯而易見，下一步，也就是下一篇部落格的內容就是講這兩個步驟整合到一個體系中，讓它自己完成爬取工作了。

一、部分程式碼解析

1、使用正則表示式來匹配需要的連結

Pattern p = Pattern.compile("<a\\s+href\\s*=\\s*\"?(.*?)[\"|>]",Pattern.CASE_INSENSITIVE);
Matcher m = p.matcher(pageContents.toString());

        通過上面這一小段程式碼可以將頁面中"<a href="xxx.xxx">"中xxx.xxx匹配出來。

        比如說，匹配http://www.csu.edu.cn/，可以得到如下結果：總計35條

... ...
3:xxgk.htm
4:jgsz.htm
5:http://rsc.its.csu.edu.cn/
6:jyjx.htm
......
32:http://news.its.csu.edu.cn/readnewsarticle?atcid=20140401113051853
33:http://news.its.csu.edu.cn/readnewsarticle?atcid=20140402084415418
34:http://news.its.csu.edu.cn/readnewsarticle?atcid=20140401150605872
35:

2、可以看到結果中存在空的連結和重複的連結等可能是不需要的連結（如：第35條），所以還必須在程式碼中進行判斷。（篩選後剩下32條）

3、並且其中有一部分連結地址是相對連結，是不能夠直接訪問到資源的，如：jgsz.htm，這樣的連結必須在前面加上域名、埠等。。

二、程式原始碼

package csdnBlog;

import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.ArrayList;
import java.util.HashSet;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

/**
 * 此類用於解析頁面中存在的連結
 * 
 * @author <span style="color:blue"><b>胡徵南</b></span>
 * 
 */
public class RetrieveLinks {

	public static void main(String[] args) {
		String urlString = "http://www.csu.edu.cn/";
		List<String> links = retrieveLinks(urlString);
		for (int i = 0; i < links.size(); i++) {
			System.out.println(i + 1 + ":" + links.get(i));
		}
	}

	/**
	 * 解析連結
	 * 
	 * @param urlString
	 * @return
	 */
	public static ArrayList<String> retrieveLinks(String urlString) {
		URL url = null;
		try {
			url = new URL(urlString);
		} catch (MalformedURLException e1) {
			e1.printStackTrace();
		}

		// 判斷連結是否已經存在
		HashSet<String> crawledList = new HashSet<String>();

		StringBuffer pageContents = new StringBuffer();
		try {
			String fileName = "download.html";
			FileInputStream fis = new FileInputStream(fileName);
			byte[] buffer = new byte[1204];
			while (fis.read(buffer) != -1) {
				String temp = new String(buffer, "utf-8");
				pageContents.append(temp);
			}
		} catch (FileNotFoundException e) {
			e.printStackTrace();
		} catch (IOException e) {
			e.printStackTrace();
		}

		// 正則表示式校驗
		Pattern p = Pattern.compile("<a\\s+href\\s*=\\s*\"?(.*?)[\"|>]",
				Pattern.CASE_INSENSITIVE);

		Matcher m = p.matcher(pageContents.toString());

		// 用於儲存查詢到的連結
		ArrayList<String> linkList = new ArrayList<String>();
		while (m.find()) {
			String link = m.group(1).trim();

			// 判斷連結是否合法
			if (link.length() < 1) {
				continue;
			}

			if (link.charAt(0) == '#') {
				continue;
			}

			// 判斷連結是否已經存在
			if (crawledList.contains(link)) {
				continue;
			}
			crawledList.add(link);

			// 將相對地址新增完整
			if (link.indexOf("://") == -1) {
				link = "http://" + url.getHost()
						+ (url.getPort() == -1 ? "" : ":" + url.getPort())
						+ "/" + link;
			}
			linkList.add(link);
		}
		return linkList;
	}
}

三、執行截圖

圖1. 控制檯執行截圖

圖2. 工程目錄截圖

        通過這種方式，就可以從已經下載好的頁面中獲得更多的連結了。

-------------------------------------------------------------------分割線，2014年4月16日更新--------------------------------------------------------------------------

1、將判斷絕對地址的方式改為了使用正則表示式判斷

更新程式碼如下：

package csdnBlog;

import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.ArrayList;
import java.util.HashSet;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

/**
 * 此類用於解析頁面中存在的連結
 * 
 * @author <span style="color:blue"><b>胡徵南</b></span>
 * 
 */

public class RetrieveLinks {

	public static void main(String[] args) {
		String urlString = "http://www.163.com/";
		List<String> links = retrieveLinks(urlString);
		for (int i = 0; i < links.size(); i++) {
			System.out.println(i + 1 + ":" + links.get(i));
		}
	}

	/**
	 * 解析連結
	 * 
	 * @param urlString
	 * @return
	 */
	public static ArrayList<String> retrieveLinks(String urlString) {
		URL url = null;
		try {
			url = new URL(urlString);
		} catch (MalformedURLException e1) {
			e1.printStackTrace();
		}

		// 判斷連結是否已經存在
		HashSet<String> crawledList = new HashSet<String>();

		StringBuffer pageContents = new StringBuffer();
		try {
			String fileName = Utils.urlToFileName(urlString);
			FileInputStream fis = new FileInputStream(fileName);
			byte[] buffer = new byte[1204];
			while (fis.read(buffer) != -1) {
				String temp = new String(buffer, "utf-8");
				pageContents.append(temp);
			}
		} catch (FileNotFoundException e) {
			e.printStackTrace();
		} catch (IOException e) {
			e.printStackTrace();
		}

		// 正則表示式校驗
		Pattern p = Pattern.compile("<a\\s+href\\s*=\\s*\"?(.*?)[\"|>]",
				Pattern.CASE_INSENSITIVE);

		Matcher m = p.matcher(pageContents.toString());

		// 用於儲存查詢到的連結
		ArrayList<String> linkList = new ArrayList<String>();
		while (m.find()) {
			String link = m.group(1).trim();

			// 判斷連結是否合法
			if (link.length() < 1) {
				continue;
			}

			if (link.charAt(0) == '#') {
				continue;
			}

			// 判斷連結是否已經存在
			if (crawledList.contains(link)) {
				continue;
			}
			crawledList.add(link);

			// 將相對地址新增完整
			// (\w+\.){2}\w+
			Pattern p2 = Pattern.compile("(\\w+\\.){2}\\w+");
			Matcher m2 = p2.matcher(link);
			if (!m2.find()) {
				link = "http://" + url.getHost()
						+ (url.getPort() == -1 ? "" : ":" + url.getPort())
						+ link;
			}

			if (link.indexOf("http://") == -1 && link.indexOf("https://") == -1) {
				link = "http://" + link;
			}
			linkList.add(link);
		}
		return linkList;
	}
}

相關程式碼資源下載地址：http://download.csdn.net/detail/huzhengnan/7203185