DotnetSpider (二) Downloader的設置 Request自定義數據字典
阿新 • • 發佈：2018-04-28
是我 load str tzu family RR 內容 項目 定義數據
{
protected override Page DowloadContent(Request request, ISpider spider)
{
var site = spider.Site;
request.Extras = new Dictionary<string, dynamic>();
request.Extras.Add("Date", DateTime.Now.ToString("yyyy-MM-dd"));
Page page = new Page(request);
return new DotnetSpider.Core.Downloader.HttpClientDownloader().Download(request,spider);
}
}
本篇主要分享自定義Downloader和Request信息，實現自定義請求內容，及將自定義內容存儲。
** 溫馨提示：如需轉載本文，請註明內容出處。**
本文連接:http://www.cnblogs.com/grom/p/8968905.html
接上一篇，在原項目的基礎上進行改造，為EntitySpider設置Downloader。
自定義Downloader類:
public class AtzucheDownloader : DotnetSpider.Core.Downloader.BaseDownloader{
protected override Page DowloadContent(Request request, ISpider spider)
{
var site = spider.Site;
request.Extras = new Dictionary<string, dynamic>();
request.Extras.Add("Date", DateTime.Now.ToString("yyyy-MM-dd"));
Page page = new Page(request);
return new DotnetSpider.Core.Downloader.HttpClientDownloader().Download(request,spider);
}
}
註釋為:
這裏的數據字典可以在選擇器中使用SelectorType.Enviroment來使用
如圖所示，Url為Request自帶Key,Date就是我們上面設置的屬性了，通過這種方法，達到了在數據庫內插入一列自定義數據，我這裏的作用是記錄抓取日期。
結果：
本次的分享就到這裏，謝謝。。。
DotnetSpider (二) Downloader的設置 Request自定義數據字典