個人覺得掌握簡單的爬蟲知識非常有用，特別是想要從一些特定網站自動地下載一些資源或者統計一些資料，非常的有用。對於產品經理來說，如果要了解競爭產品、替代產品的價格，可以寫一個爬蟲指令碼從各大電商網站爬取相關的資料，避免人工處理的麻煩。

Python寫爬蟲可以從簡單的Scrapy框架入手。對於Mac OS系統來說，由於系統本身會引用自帶的python2.x的庫，因此預設安裝的包是不能被刪除的。如果你使用python3.x可以使用homebrew來安裝，但是如果你習慣使用python2.x，那麼直接安裝在預設路徑會出錯。

Found existing installation: six 1.4.1
DEPRECATION: Uninstalling a distutils installed project (six) has been deprecated and will be removed in a future version. 
This is due to the fact that uninstalling a distutils project will only partially uninstall the project.
Uninstalling six-1.4.1:
Exception:
Traceback (most recent call last):
 

• 1
• 2
• 3
• 4
• 5
• 6
• 7

原因很簡單：Scrapy依賴six庫，但是系統的six庫比較老，安裝scrapy需要解除安裝之後安裝一個新的。但是Mac OS本身也依賴six，導致無法刪除，因此沒有辦法安裝Scrapy。

解決的方式是：使用virtualenv來安裝。

1. sudo pip install virtualenv
2. virtualenv scrapyenv
3. cd scrapyenv
4. source bin/activate
5. pip install Scrapy

安裝完成之後，安裝如下包：

好了，可以使用scrapy startproject yourproject開始你的爬蟲之旅了。