[爬蟲技術收集整理]

[通用知識]

- 正則表達式中各種字符的含義

- Web Crawler Slide share

- Quick & Dirty Python

[Java語言]

- [知了開發]“知了”優化 - WebMagic 調優

- ContentExtractor開源網頁正文抽取工具

- 垂直型爬蟲架構設計

- 分布式網絡爬蟲的基本實現簡述

- 分布式多爬蟲系統——架構設計

- httpclient 多線程高並發Get請求

- Java爬蟲框架WebMagic的使用總結

- Async Http Client

- OkHttp

- OkHttp：Java 平臺上的新一代 HTTP 客戶端

- 《HttpClient 官方文檔》第五章 Fluent API

[Python語言]

- pip requirements導出當前項目所用的包list列表

- python實現RESTful服務（基於flask）

- nosetest

- 為什麽有人說 Python 的多線程是雞肋呢？

[定向技術]

- Mining Twitter Data with Python

- Enterprise data -- Twitter Developers

- 基於搜狗微信搜索的微信公眾號爬蟲

- 爬取搜索引擎之搜狗

爬蟲技術收集整理