爬蟲爬取網頁的主要流程是：

1.向目標網頁發起請求；

2.對於獲取到的html檔案進行解析；

3.對解析後的資料進行儲存。

本次主要是爬取全國城市未來7天的天氣預報，爬取物件為中國天氣網，爬取的資料存入文字中。

對於html檔案的解析採用Jsoup結合正則表示式。

地區程式碼參考：https://wenku.baidu.com/view/49166e7265ce050877321331.html

實現程式碼：

public class Spiderweather {
	public static void main(String[] args) {
		List<String> list = null;
		BufferedReader bufr = null;
		BufferedWriter bufw = null;
		try {
			bufr = new BufferedReader(new FileReader(new File("D:\\bianma.txt")));
			list = new ArrayList<String>();
			String line = "";
			Pattern p = Pattern.compile("\\d{2,}");
			while ((line = bufr.readLine()) != null) {
				Matcher m = p.matcher(line);
				while (m.find())
					list.add(m.group());
			}
		} catch (Exception e1) {
			e1.printStackTrace();
		}
		Iterator<String> it = list.iterator();
		File file = new File("D:\\forecast.txt");
		if (!file.exists())
			try {
				file.createNewFile();
			} catch (IOException e1) {
				e1.printStackTrace();
			}
		try {
			bufw = new BufferedWriter(new FileWriter(file));
		} catch (IOException e1) {
			e1.printStackTrace();
		}
		String bm = "";
		while (it.hasNext()) {
			bm = it.next();
			String url = "http://www.weather.com.cn/weather/" + bm + ".shtml";
			try {
				Document doc = Jsoup.connect(url).get();
				Elements content = doc.getElementsByClass("con today clearfix");
				for (Element e : content) {
					Document conDoc = Jsoup.parse(e.toString());
					Elements cru = conDoc.getElementsByClass("crumbs fl");
					Elements sky = content.select("li[class^=sky skyid lv]");
					bufw.write(cru.text());// 地點
					bufw.newLine();
					for (Element sk : sky) {
						bufw.write(sk.text());
						bufw.newLine();
					}
					bufw.newLine();
				}
				bufw.newLine();
				bufw.flush();
			} catch (Exception e) {
				e.printStackTrace();
			}

		}
		try {
			System.out.println("天氣查詢完畢！！");
			if (bufw != null)
				bufw.close();
			if (bufr != null)
				bufr.close();
		} catch (IOException e) {
			e.printStackTrace();
		}
	}
}
 

爬取到的結果：

北京 > 城區
7日（今天） 多雲轉晴 6℃/ -5℃ 3-4級轉<3級
8日（明天） 晴間多雲轉晴 6℃/ -4℃ <3級
9日（後天） 多雲 6℃/ -3℃ <3級
10日（週日） 多雲 5℃/ -5℃ 3-4級轉<3級
11日（週一） 晴 3℃/ -8℃ <3級
12日（週二） 晴 2℃/ -6℃ <3級
13日（週三） 多雲 4℃/ -5℃ <3級


北京 > 朝陽
7日（今天） 多雲轉晴 6℃/ -5℃ 4-5級轉<3級
8日（明天） 晴 6℃/ -4℃ <3級
9日（後天） 多雲 6℃/ -3℃ <3級
10日（週日） 多雲 5℃/ -5℃ 3-4級轉<3級
11日（週一） 晴 3℃/ -8℃ <3級
12日（週二） 晴 2℃/ -6℃ <3級
13日（週三） 多雲 4℃/ -5℃ <3級


北京 > 順義
7日（今天） 多雲轉晴 5℃/ -5℃ 3-4級轉<3級
8日（明天） 晴 6℃/ -4℃ <3級
9日（後天） 多雲 6℃/ -3℃ <3級
10日（週日） 多雲 5℃/ -5℃ 3-4級轉<3級
11日（週一） 晴 3℃/ -8℃ <3級
12日（週二） 晴 2℃/ -6℃ <3級
13日（週三） 多雲 4℃/ -5℃ <3級


北京 > 懷柔
7日（今天） 多雲轉晴 5℃/ -7℃ 3-4級轉<3級
8日（明天） 晴 6℃/ -6℃ <3級
9日（後天） 多雲 6℃/ -5℃ <3級
10日（週日） 多雲 5℃/ -7℃ 3-4級轉<3級
11日（週一） 晴 3℃/ -10℃ <3級
12日（週二） 晴 2℃/ -8℃ <3級
13日（週三） 多雲 4℃/ -7℃ <3級

……