之前看了看 洪祥的csdn app 製作,裡面有從網頁抓取資料的. 之前對這塊操作沒有接觸過,所以網上差了一些資料,現在整理下相關的內容.
首先是關於Jsoup , Jsoup 是網頁抓取的首選.但是請注意: 如果Jsoup去抓取的頁面的資料，全都是頁面載入完成後，ajax獲取形成的，是抓取不到的。
具體請看鴻翔的部落格. 地址是 網頁資訊抓取進階 支援Js生成資料 Jsoup的不足之處
首先看看Jsoup 的程式碼:

這個是網頁原始碼中擷取的一段,我們需要去解析這段程式碼:

<div class="unit">
<h1><a href="http://www.csdn.net/article/2015-05-12/2824667"
 
 target="_blank" >萬達圓夢“+網際網路”的支點：支付</a></h1>
<h4>發表於<span class="ago">2015-05-12 15:58</span>|<span class="view_time">1676次閱讀</span>|<span class="num_recom">4條評論</span></h4>
<dl>                
<dt>
<a href="http://www.csdn.net/article/2015-05-12/2824667"
 
 target="_blank"><img src="http://img.ptcms.csdn.net/article/201505/12/5551b25feb70a_thumb.jpg" alt="" /></a>
</dt>
<dd>萬達的佈局邏輯是，線下依然核心支柱，而線上則不斷完善加快線下產業的發展。而收購的支付——快錢，正是撬動萬達快速轉型的這個必不可少的支點。有了它，萬達可以成為一線電商平臺、做網際網路金融和推進線下變革。</dd>
</dl>
<div class="tag">
<a href="http://www.csdn.net/tag/%E4
 
%BA%92%E8%81%94%E7%BD%91/news" target="_blank">網際網路</a>
<a href="http://www.csdn.net/tag/%E7%A7%BB%E5%8A%A8%E6%94%AF%E4%BB%98/news" target="_blank">移動支付</a>
<a href="http://www.csdn.net/tag/%E7%94%B5%E5%AD%90%E5%95%86%E5%8A%A1/news" target="_blank">電子商務</a>
<a href="http://www.csdn.net/tag/%E9%98%BF%E9%87%8C%E5%B7%B4%E5%B7%B4/news" target="_blank">阿里巴巴</a>
<a href="http://www.csdn.net/tag/%E6%94%AF%E4%BB%98%E5%AE%9D/news" target="_blank">支付寶</a>
<a href="http://www.csdn.net/tag/%E7%8E%8B%E5%81%A5/news" target="_blank">王健</a>
<a href="http://www.csdn.net/tag/%E8%85%BE%E8%AE%AF/news" target="_blank">騰訊</a>
<a href="http://www.csdn.net/tag/%E4%B8%87%E8%BE%BE/news" target="_blank">萬達</a>
</div>
</div>

這是使用 Jsoup 解析:

    public List<NewItem> getNewsItems(int newsType,int currentPage) throws CommonException{
      // 自己寫的得到url 地址的工具類
        String urlStr = URLUtil.generateUrl(newsType, currentPage);
      //使用 http 傳送get請求 .  
        String htmlStr = DataUtil.doGet(urlStr);

        List<NewItem> newItems = new ArrayList<NewItem>();
        NewItem newItem = null;

        Document document = Jsoup.parse(htmlStr);
        Elements units = document.getElementsByClass("unit");
        for (int i = 0; i < units.size(); i++) {
            newItem = new  NewItem();
            newItem.setNewsType(newsType);
            Element unit_ele = units.get(i);
            Element h1_ele = unit_ele.getElementsByTag("h1").get(0);
            Element h1_a_ele = h1_ele.child(0);
            String title = h1_a_ele.text();
            String href = h1_a_ele.attr("href");

            newItem.setLink(href);
            newItem.setTitle(title);

            Element h4_ele = unit_ele.child(1);
            Element span_ele = h4_ele.getElementsByTag("span").get(0);
            String date =  span_ele.text();
            newItem.setDate(h4_ele.text() + date);

            Element d1_ele = unit_ele.getElementsByTag("dl").get(0);
            Element d1_dt_ele = d1_ele.child(0);
            // 可能沒有圖片  
            try {
                Element img_ele = d1_dt_ele.child(0).child(0);
                String imgLink = img_ele.attr("src");
                newItem.setImgLink(imgLink);
            } catch (Exception e) {
            }

            Element dl_dd_ele = d1_ele.child(1);
            String content = dl_dd_ele.text();
            newItem.setContent(content);
            newItems.add(newItem);
        }
        return newItems;
    }

上面的程式碼不難, 就是解析資料.相信仔細看都可以看懂.

ok 我的第一篇部落格 哈哈 為自己寫的