遠端獲取網頁內容.經過一定的處理和靈活應用,可以開發成成體系網站內容採集系統.通常也叫做"新聞小偷"一般來說.做內容採集分為如下幾個大致的步驟:
　　1.遠端獲取頁面的全部Html源文字.
　　2.通過過濾處理,分析有效內容文字.(通常用正則表示式來擷取有效資料)
　　3.將格式有效的資料,根據自己的資料庫結構分標題,內容....一些其他屬性儲存到自己的本地資料庫.
　　ok整個採集過程如此簡單.原理也不難.下面我們看看實現的具體基礎程式碼!
　　首先我們來寫一個獲取遠端Html源的方法.
　　public string GetHttpData(string Url)
　　 {
　　 string sException=null;
　　 string sRslt=null;
　　 WebResponse oWebRps=null;
　　 WebRequest oWebRqst=WebRequest.Create(Url);
　　 oWebRqst.Timeout=50000;
　　 try
　　 {
　　 oWebRps=oWebRqst.GetResponse();
　　 }
　　 catch(WebException e)
　　 {
　　 sException=e.Message.ToString();
　　 Response.Write(sException);
　　 }
　　 catch(Exception e)
　　 {
　　 sException=e.ToString();
　　 Response.Write(sException);
　　 }
　　 finally
　　 {
　　 if(oWebRps!=null)
　　 {
　　 StreamReader oStreamRd=new StreamReader(oWebRps.GetResponseStream(),Encoding.GetEncoding("GB2312"));
　　 sRslt=oStreamRd.ReadToEnd();
　　 oStreamRd.Close();
　　 oWebRps.Close();
　　 }
　　 }
　　 return sRslt;
　　 }
　　以上程式碼為獲取遠端Html源的一個方法.引數僅一個.就是你要獲取的目標頁面的完整Url路徑.返回一個string型別的Html源資料.
　　下面我們再來繼續第二個步驟.分析自己需要的有效資料!這裡我假設某個頁面來做分析...
　　public string [] GetData(string Html)
　　{
　　String [ ] rS=new String[2]; 
　　string s = Html;
　　 s=Regex.Replace(s,"\s{3,}","");
　　 s=s.Replace("\r","");
　　 s=s.Replace("\n","");
　　 string Pat="<td align=\"center\" class=\"24p\"><B>(.*)</B></td></tr><tr>.*(<table width=\"95%\" border=\"0\" cellspacing=\"0\" cellpadding=\"10\">.*</table>)<table width=\"98%\" border=\"0\" cellspacing=\"0\" cellpadding=\"0\">(.*)<td align=center class="l6h">";
　　 Regex Re = new Regex(Pat);
　　 Match Ma= Re.Match(s);
　　 if(Ma.Success)
　　 {
　　 rS[0]=Ma.Groups[1].ToString();
　　 rS[1]=Ma.Groups[2].ToString();
　　 pgStr=Ma.Groups[3].ToString();
　　 }
　　return rS;
　　}
　　這個方法也很簡單.主要功能及時擷取獲取過來的Html源.取得自己需要的資料...
　　引數是一個string型別的.將我們獲取的html源通過引數傳遞過來.
　　在方法類通過一個正則的模式匹配找到標題和內容的位置並取出來.存入一個string的陣列給方法返回...以後的事我就不多說了..你只要把你取出來的資料存到你資料庫對應的欄位就ok了!