計劃用python實現一個分散式爬蟲，在熟悉python的同時，為以後做金融方面的資料分析打下堅實的基礎。

1 安裝 scrapy時遇到的問題
在mac上安裝時一直提示錯誤，最後在找到問題解決的方案，安裝成功。
Mac上安裝Scrapy中的問題與解決方法
具體步驟如下：
辦法就是 pip install scrapy –ignore-installed six。如果出現許可權問題的話，就修改程式碼為sudo -H pip install scrapy –ignore-installed six

2 接著在執行一個小demo時出現的問題

from scrapy.cmdline import execute
import sys,os
 

sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(['scrapy','crawl','jobbole'])

erro 如下：

File "/Library/Python/2.7/site-packages/twisted/internet/_sslverify.py", line 38, in <module>
TLSVersion.TLSv1_1: SSL.OP_NO_TLSv1_1,
AttributeError:'module'has no attribute object'OP_NO_TLSv1_1'
 

最後查到stackoverflow，顯示是我的twisted 版本和scrapy版本不對導致的，最後重新安裝twisted後問題解決。
sudo pip install twisted==13.1.0
參考stackoverflow