C#抓取團購網銷量資料
阿新 • • 發佈:2019-01-02
由於公司業務需要,減輕市場部人員工作量,想到開發一個團購網資料抓取程式
一開始大部分網站都沒啥問題,用抓取內容+正則就能取到資料
碰到一個窩窩團,比較噁心,資料是用ajax生成的,於是在網上找到了一段比較牛逼的程式碼
using System; using System.Collections.Generic; using System.Text; using System.Threading; using System.Windows.Forms; namespace GroupBuyStat { public class WebBrowserCrawler { // WebBrowser private WebBrowser _WebBrowder; private string _r; private string _p; //最後結果 private string _Result { get { return _r; } set { _r = value; } } //網址 private string _Path { get { return _p; } set { _p = value; } } /// <summary> /// 對外公開的Method /// </summary> /// <param name="url">URL Path</param> /// <returns></returns> public string GetReult(string url) { _Path = url; Thread mThread = new Thread(FatchDataToResult); //Apartment 是處理序當中讓物件共享相同執行緒存取需求的邏輯容器。 同一 Apartment 內的所有物件都能收到 Apartment 內任何執行緒所發出的呼叫。 //.NET Framework 並不使用 Apartment;Managed 物件必須自行以安全執行緒 (Thread-Safe) 的方式運用一切共享資源。 //因為 COM 類別使用 Apartment,所以 Common Language Runtime 在 COM Interop 的狀況下呼叫出 COM 物件時必須建立 Apartment 並且加以初始化。 //Managed 執行緒可以建立並且輸入只容許一個執行緒的單一執行緒 Apartment (STA),或者含有一個以上執行緒的多執行緒 Apartment (MTA)。 //只要把執行緒的 ApartmentState 屬性設定為其中一個 ApartmentState 列舉型別 (Enumeration),即可控制所建立的 Apartment 屬於哪種型別。 //因為特定執行緒一次只能初始化一個 COM Apartment,所以第一次呼叫 Unmanaged 程式碼之後就無法再變更 Apartment 型別。 //From : http://msdn.microsoft.com/zh-tw/library/system.threading.apartmentstate.aspx mThread.SetApartmentState(ApartmentState.STA); mThread.Start(); mThread.Join(); return _Result; } /// <summary> /// Call _WebBrowder 抓取資料 /// For thread Call /// </summary> private void FatchDataToResult() { _WebBrowder = new WebBrowser(); _WebBrowder.DocumentCompleted += _WebBrowder_DocumentCompleted; _WebBrowder.Navigate(_Path); //處理目前在訊息佇列中的所有 Windows 訊息。 //如果在程式碼中呼叫 DoEvents,您的應用程式就可以處理其他事件。例如,如果您的表單將資料加入 ListBox 並將 DoEvents 加入程式碼中,則當另一個視窗拖到您的表單上時,該表單將重新繪製。 //如果您從程式碼移除 DoEvents,您的表單將不會重新繪製,直到按鈕按一下的事件處理常式執行完畢。 //while (_WebBrowder.StatusText != "完成") int i = 0; while (_WebBrowder.ReadyState != WebBrowserReadyState.Complete) { Application.DoEvents(); } _WebBrowder.Dispose(); } //結束後回填 void _WebBrowder_DocumentCompleted(object sender, WebBrowserDocumentCompletedEventArgs e) { _Result = (sender as WebBrowser).Document.Body.InnerHtml; } } }
解決了這個問題,後來由於滿座網,也是用ajax的,但是發現取不了資料,仔細一看發現窩窩團是在頁面載入的時候呼叫ajax動態生成資料,而滿座網是在頁面載入完後過幾秒才呼叫ajax,比較麻煩,想了很多辦法,都不好解決
情急之下,查看了原始碼,找到了ajax呼叫的一個地址,通過抓取這個地址返回的內容,實現了抓取資料,這裡也算是拋磚引玉,不能被傳統思路所束縛。