WebBrowser.Navigate非同步執行,如何使其與其他程序同步?
問題描述:有一個網頁列表,準備用webBrowser的navigate一個個去訪問,然後獲取頁面內容。但navigate是非同步的,一呼叫之後,不等待頁面載入完畢,因為訪問網頁需要時間,取決於網速,程式就返回迴圈繼續用下一個網址呼叫navigate,導致navigate不停的被呼叫,結果是一個網頁都打不開,只有列表中最後一個列表,因為沒有後續的干擾能被完整載入。
網上發現有人跟我情況一樣,提供的方法能解決問題,引述如下:
-----------------------------------------------------------------------------------------------------------------
net(c#)在迴圈語句中執行WebBrowser.Navigate();方法,每次迴圈等待網頁載入完後繼續執行的解決方案.http://www.cnblogs.com/yangxiaohu1/archive/2009/01/06/1370693.html
最近在寫一個小程式的時候,遇到這樣的需求:
已知一組網頁url地址,想獲取每一個網頁的html,實際上就是想利用迴圈語句裡面使用WebBrowser來載入每一個網頁,然後獲取他們的html,
要實現這個功能,想想應該是件很簡單的事情,但是在實際操作中卻遇到了問題,因為迴圈語句和WebBrowser的載入不同步的原因,導致前一個
前一個網頁還沒載入完,下一次迴圈又開始了....最終的結果是WebBrowser只獲取到了最後一個頁面的html.要解決這個問題,我們要做的就是
讓迴圈執行完前一次後等待網頁載入完,然後執行下一次迴圈去載入下面的網頁.....,按照這個思路,寫了以下程式,經測試果然有效.
bool loading = true; //該變量表示網頁是否正在載入. string html = string.Empty;
WebBrowser browser = new WebBrowser();
public void GetHtml(string
{
browser.Navigated += new WebBrowserNavigatedEventHandler(browser_Navigated);
foreach (string url in urls)
{
loading = true; //表示正在載入 browser.Navigate(url);
while (loading)
{
Application.DoEvents();//等待本次載入完畢才執行下次迴圈. }
}
}
void browser_Navigated(object sender, WebBrowserNavigatedEventArgs e)
{
html = browser.DocumentText; //獲取到的html.
loading = false;//在載入完成後,將該變數置為false,下一次迴圈隨即開始執行. }
上面的問題解決了,下面隨之而來的問題是: 有時候載入一張頁面的時候,browser_Navigated會執行多次.
查了下網上的資料,原因是頁面中含有<iframe></iframe>,每一個<iframe>都會觸發一次browser_Navigated,
所以,以上程式可以完善如下:
bool loading = true; //該變量表示網頁是否正在載入. string html = string.Empty;
WebBrowser browser = new WebBrowser();
public void GetHtml(string[] urls)
{
browser.Navigated += new WebBrowserNavigatedEventHandler(browser_Navigated);
foreach (string url in urls)
{
loading = true; //表示正在載入 browser.Navigate(url);
while (loading)
{
Application.DoEvents();//等待本次載入完畢才執行下次迴圈. }
}
}
int i = 0;
void browser_Navigated(object sender, WebBrowserNavigatedEventArgs e)
{
i++;
if (i % 3 == 0) // 假設每張頁面要執行3次browser_Navigated方法,那麼這表示網頁全部內容載入完成.(至於這個3要怎麼樣得到,那是仁者見仁的事情了,呵呵) {
html = browser.DocumentText; //獲取到的html.
loading = false;//在載入完成後,將該變數置為false,下一次迴圈隨即開始執行. }
}
-----------------------------------------------------------------------------------------------------------------
這位網友在Navigated事件中將loading設為false,而我則改在documentcompleted事件中來判斷頁面是否載入完畢。當然頁面載入完畢的判斷要考慮多種情況,如多個frame,對我所處理的情況,用documentcompleted事件比較合適。
下面是我的程式碼概況:
bool loading = true;
while (articleUrl.Count > 0)//列表不為空
{
loading = true;
string url = articleUrl.Dequeue();
webBrowser1.Navigate(url);
while (loading)
{
Application.DoEvents();
}
}
private void webBrowser1_DocumentCompleted(object sender, WebBrowserDocumentCompletedEventArgs e)
{
if (webBrowser1.ReadyState == WebBrowserReadyState.Complete)//判斷載入完畢
{
............
loading = false;
}
}
另外,資料量大時,Application.DoEvents()的效率,所以這個問題應該用執行緒同步來解決,或者所謂委託回撥。這個還沒試過。下面是另一網友對Application.DoEvents()的效能測試
-----------------------------------------------------------------------------------------------------------------
記得第一次使用Application.DoEvents()是為了在載入大量資料時能夠有一個數據載入的提示,不至於系統出現假死的現象,當時也沒有深入的去研究他的原理是怎樣的,結果在很多地方都用上了Application.DoEvents(),今天看到了關於這方面的一些文章,知道我以前有些用法是不當的,有些地方需要慎用Application.DoEvents()。
首先我們先看看在迴圈比較大的程式中,它的作用還是不錯的,起到了一個實時響應的效果,例如:
如果沒有加上 DoEvents的話,由於迴圈時間會比較久就會出現假死的狀態,而且程式不能處理其他的事件。而如果加上DoEvents的話就會對文字框的值實時響應,給使用者帶來較好的使用者體驗,可是DoEvents也帶來了效率上的問題,處理同樣的一個事件呼叫了DoEvents後效率降低了好幾倍,這也是為什麼要慎用的原因了。下面是我做的一個測試:
for (int q = 0; q < 1000000; q++)
{
textBox1.Text = q.ToString();
Application.DoEvents();//實時響應文字框中的值
}
private void button1_Click(object sender, EventArgs e)
{
expendTime.start();
for (int q = 0; q < 100000; q++)
{
textBox1.Text = q.ToString();
Application.DoEvents();
}
label2.Text = expendTime.ComputerTime();//計算耗時 }private void button2_Click(object sender, EventArgs e)
{
expendTime.start();
for (int q = 0; q < 100000; q++)
{
textBox2.Text = q.ToString();
}
label3.Text = expendTime.ComputerTime();//計算耗時 }
執行耗時對比:
從較大資料的迴圈中可以看出效率是很低的,所以如果能不呼叫DoEvents就儘量不用。也可以通過別的方法來處理的,例如多執行緒非同步呼叫等。
MSDN中的定義:
當執行 Windows 窗體時,它將建立新窗體,然後該窗體等待處理事件。該窗體在每次處理事件時,均將處理與該事件關聯的所有程式碼。所有其他事件在佇列中等待。在程式碼處理事件時,應用程式並不響應。例如,當將另一視窗拖到該視窗前面時,該視窗不重新繪製。如果在程式碼中呼叫 DoEvents,則您的應用程式可以處理其他事件。例如,如果您有向 ListBox 新增資料的窗體,並將 DoEvents 新增到程式碼中,那麼當將另一視窗拖到您的窗體上時,該窗體將重新繪製。如果從程式碼中移除 DoEvents,那麼在按鈕的單擊事件處理程式執行結束以前,您的窗體不會重新繪製。
通常,您在迴圈中使用該方法來處理訊息。
具體可參考這裡。
-----------------------------------------------------------------------------------------------------------------
解決這個問題,我走了很多彎路,去看了WebBrowser的Activex 控制元件,用axwebBrowser代替webBrowser重寫了一遍程式碼,但兩者的navigate都是非同步的。後來想用執行緒同步來解決誒,因為時間緊,不熟悉,所以沒弄成。現在湊巧用DoEvents解決了。但最終我想還是 要用執行緒同步來解決的。比如用訊號量,比如ManualResetEvent.