1. 程式人生 > >經驗總結21--抓取WEB資料,匯率,HtmlAgilityPack

經驗總結21--抓取WEB資料,匯率,HtmlAgilityPack

網上找了很多資料,PHP的比較多,然後找到有csv檔案的,處理起來很麻煩,國外的網站速度很慢。

最後還是去頁面上抓取資料,我是從中國銀行抓取的,各位可去其他網站抓取。

1、模擬請求URL。

string url = "http://srh.bankofchina.com/search/whpj/search.jsp?pjname=1316";

HttpWebRequest request = WebRequest.Create(url) as HttpWebRequest;
                request.Method = "GET";
                request.ContentType = "text/html; charset=UTF-8";
                request.UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0";
                HttpWebResponse response = request.GetResponse() as HttpWebResponse;
                Stream myResponseStream = response.GetResponseStream();
                StreamReader myStreamReader = new StreamReader(myResponseStream, Encoding.UTF8);
                string result = myStreamReader.ReadToEnd();

2、對HTML進行處理。使用HtmlAgilityPack進行輔助。

HtmlDocument doc = new HtmlDocument();
                doc.LoadHtml(result);
                foreach (HtmlNode node in doc.DocumentNode.SelectNodes("//td"))
                {
                    if (node.InnerText == "美元")
                    {
                        result = node.NextSibling.NextSibling.InnerText;
                        break;
                    }
                }

具體資料位置,自己可先用F12查詢到,然後使用工具進行查詢,詳細文件自己去查,這個方法暫時獲取到USD-CNY的匯率。