其實說是爬蟲也只是個幌子。換成其他的耗資源的程式也成，耗CPU，耗網路。                        

                     1，要有被用於爬取的url，用一個client生成url，在server中宣告一個url_queue，並把他放在server中，如果要持久化的花，記得加上durable。

                     2，各個爬蟲位於各個機子上，從 url_queue中取出url，成功處理爬取網頁之後反饋給server，
        
        
        

將訊息分配給Client有兩種方式，推和拉。

          推呢，是S把訊息給C，主動權掌握在S中，S不給C 的話，C就一直無事地在等。有任務要做的時候，S會把這寫任務分配給C。但是，如果C掛掉了的話，S也會分配給C的，S怎麼知道C掛了。所以問題，就變成S怎麼去了解C了，rabbitmq預設no_ack=False，不是沒有道理的，這要求C在完成S給的任務之後告訴S，‘ok了’。同時我們還可以設定

channel.basic_qos(prefetch_count=1)

也就是說，C得閒的時候S才分配任務給他。這個閒不閒的意思就是  ，C告訴S ‘ok了’，S就認為C現在閒了，否則S認為C還在忙。

         而拉呢，就是C主動，整天沒事就大個電話問，‘嘿，S，有沒有事做啊’，所以容易導致的問題就是浪費CPU資源，輪詢。

爬蟲一般我是用PyQuery來提取網頁資訊。pyquery的按照很麻煩，在windows先就跟麻煩了。所以我是把這個downloadweb的爬蟲放到windos，把download下頁面處理成string傳送到rabbitmq伺服器，再用我的ubuntu和centos（都按照了pyquery）來解析。這種小場景用rabbitmq感覺有點大材小用啊

#coding=utf8

import pika,urllib2,urllib,cookielib,random,time
import threading 
from Queue import Queue
q=Queue()#用於從伺服器接收要下載url
webBuff=Queue()#快取下載的網頁
proxy_suport=urllib2.ProxyHandler({'http':'http://127.0.0.1:8087'})
cookie_suport=urllib2.HTTPCookieProcessor(cookielib.CookieJar())
opener_proxy=urllib2.build_opener(proxy_suport,cookie_suport,urllib2.HTTPHandler)
opener_normal=urllib2.build_opener(cookie_suport,urllib2.HTTPHandler)

class downloadWeb(threading.Thread):
    def __init__(self):
        threading.Thread.__init__(self)
    def run(self):
        global q
        while True:
            while not q.empty():
                url=q.get()
                retF=''
                print 'Downloading %s' % url
                flag=False
                for i in range(3):
                    try:
                        retF=opener_normal.open(url,timeout=5).read()
                        flag=True
                        break
                    except Exception,e:
                        print 'error'
                        time.sleep(i)
                if not flag:
                    try:
                        retF=opener_proxy.open(url,timeout=5).read()
                        flag=True
                    except Exception,e:
                        print 'error'
                if flag and webBuff.qsize()<100:
                    webBuff.put(retF)
                while webBuff.qsize()>=100:
                    time.sleep(1)
               

threadList=[]
threadNum=2
def cleanWebBuff(ch):
    while True:
        while not webBuff.empty():
            s=webBuff.get()
            ch.basic_publish(exchange='',routing_key='webstring',body=s)
try:
    c=pika.ConnectionParameters(host='192.168.1.113')
    conn=pika.BlockingConnection(c)
    channel=conn.channel()
    channel.queue_declare(queue='appurl')
    channel.queue_declare(queue='webstring')
    threading.Thread(target=cleanWebBuff,args=(channel,)).start()
    for i in range(threadNum):
        threadList.append(downloadWeb())
    for one in threadList:
        one.start()
    def callback(cn,method,pro,body):
        url=str(body)
        print 'Received %s' %url
        q.put(url)
        while q.qsize()>3:
            time.sleep(1)
        cn.basic_ack(delivery_tag=method.delivery_tag)
        

    channel.basic_qos(prefetch_count=1)
    channel.basic_consume(callback,queue='appurl')
    print 'start...'
    channel.start_consuming()
except Exception,e:
    channel.start_consuming()

 

一開始寫的時候問題挺多的，

1，一個一個url的下載，很慢。瓶頸在於網路傳輸，so=====>多執行緒。

2，錯誤，偶爾會出現這個錯誤。

Traceback (most recent call last):
  File "C:\Users\YanisNet7\Documents\myCode\rabbitmq_client.py", line 76, in <module>
    channel.start_consuming()
  File "build\bdist.win32\egg\pika\adapters\blocking_connection.py", line 293, in start_consuming
    self.transport.connection.process_data_events()
  File "build\bdist.win32\egg\pika\adapters\blocking_connection.py", line 87, in process_data_events
    raise AMQPConnectionError
AMQPConnectionError

3，

Warning (from warnings module):
  File "C:\Python27\lib\site-packages\pika-0.9.5-py2.7.egg\pika\connection.py", line 642
UserWarning: Pika: Write buffer exceeded warning threshold at 95420 bytes and an estimated 12 frames behind

ch.basic_publish(exchange='',routing_key='webstring',body=s)

可以優化的方向：a，多程序啦，這個我還沒做

b，pyquery處理的時候，除了用多執行緒併發處理之外，我希望後期能夠實現非同步IO，即我就只管解析網頁，至於把解析的結果存檔這種事我就不想等了。非同步IO是下一步學習方向

c，搞大點的場景，這種小爬蟲沒意思。