2. 程式人生 > >scrapy-cluster叢集的架構

scrapy-cluster叢集的架構

阿新 • • 發佈：2018-11-05

scrapy-cluster叢集的架構：

  • python 2.7
  • scrapy 1.0.5
  • kafka 2.10-0.10.1.1
  • redis 3.0.6

scrapy叢集的目的：

  1. 他們允許任何web頁面的任意集合提交給scrapy叢集，包括動態需求。
  2. 大量的Scrapy例項在單個機器或多個機器上進行爬取。
  3. 協調和優化他們的抓取工作所需的網站。
  4. 儲存抓取的資料。
  5. 並行執行多個抓取作業。
  6. 深度資訊抓取工作，網站排名，預測等。
  7. 你可以任意 add/remove/scale你的爬蟲而不會造成資料丟失或停機等待。
  8. 利用Apache kafka作為叢集的資料匯流排與叢集的(提交工作,資訊輸入,停止工作,檢視結果)。
  9. 能夠調整管理獨立的爬蟲在多臺機器上，但必須用相同的IP

scrapy-cluster 原理流程圖
這裡寫圖片描述

在最高的層次上,Scrapy叢集作用於單個輸入卡夫卡的話題,和兩個獨立輸出卡夫卡的話題。所有請求傳入叢集的kafka話題都是通過demo.incoming, 並根據傳入請求將生成行為請求話題 demo.outbound_firehose或網頁爬取請求話題demo.crawled_firehose。 這裡包括的三個元件是可擴充套件的，kafka元件和

Redis元件都使用“外掛”以提高自己的能力，Scrapy可以運用“Middlewares”，“Pipelines”，“Spiders”去定製自己的爬取需求，這三個元件在一起允許縮放和分散式執行在許多機器上。

開始搭建叢集

  1. 首先得確保你的每臺機器上執行著kafka，zookeeper，redis，python2.7
  2. 在每臺機器上安裝scrapy-cluster，下載地址點選這裡，
  3. 解壓並進入檔案根據requirements.txt檔案下載依賴需求
  $ pip install -r requirements.txt
    
    
     
  • 1
    •  
    
    

    
     
    
    
    
     
  • 1
    •
  1. 離線執行單元測試,以確保一切似乎正常。$ ./run_offline_tests.sh
    如果失敗，請檢查你的依賴是否安裝成功。
  2. 在三個元件中新建localsettings.py檔案並設定kafka，redis，zookeeper的相關配置以確保通訊（這裡的localsettings.py是覆蓋settings.py的，方便我們修改配置，以防引起不必要的衝突和麻煩（注：以下scdev是kafka,redis,zookeeper的主機），KAFKA_HOSTS的設定為叢集有多少個IP：PORT就寫多少，以逗號（，）隔開，如KAFKA_HOSTS = 'ip1:port,ip2:port,ip3:port'。
    在 kafka-monitor的localsettings.py檔案中寫入
    REDIS_HOST = 'scdev'
    KAFKA_HOSTS = 'scdev:9092'
    在redis-monitor的localsettings.py檔案中寫入
    REDIS_HOST = 'scdev'
    KAFKA_HOSTS = 'scdev:9092'
    在crawlers/crawling/的localsettings.py檔案中寫入
    REDIS_HOST = 'scdev'
    KAFKA_HOSTS = 'scdev:9092'
    ZOOKEEPER_HOSTS = 'scdev:2181'
    然後執行他們各自的測試檔案
$ python tests/tests_online.py -v
    
    
     
  • 1
    • 
    

    
     
    
    
    
     
  • 1
    •

如果整合測試失敗,請確保你的埠是開啟的在kafka叢集,redis主機和zookeeper主機。確保機器爬蟲的設定可以訪問所需的主機上,且可以成功地訪問網際網路。如果測試成功，那麼恭喜你，你可以學習如何使用他了。當然這裡是直接部署，如果單臺機器沒有測試通過，建議你先看看官方文件的測試用例。

叢集的使用
首先，啟動你的每一臺機器上的三大元件
1，Kafka Monitor

$ python kafka_monitor.py run
    
    
     
  • 1
    • 
    

    
     
    
    
    
     
  • 1
    •

2， 啟動你要執行的spider，如link_spider.py

$ scrapy runspider crawling/spiders/link_spider.py
    
    
     
  • 1
    • 
    

    
     
    
    
    
     
  • 1
    •

3，啟動kafkadump.py 來監聽redis 元件返回的結果

$ python kafkadump.py dump -t demo.crawled_firehose
    
    
     
  • 1
    • 
    

    
     
    
    
    
     
  • 1
    •

用多少臺機器你啟動多少臺，這裡可以新增&在後臺啟動，當然我還是建議你在剛開始時開啟更多的視窗來觀察他們如何工作。
其次，就是啟動整個叢集
1，Kafka Monitor

$ python kafka_monitor.py run
    
    
     
  • 1
    • 
    

    
     
    
    
    
     
  • 1
    •

2，Redis Monitor

$ python redis_monitor.py
    
    
     
  • 1
    • 
    

    
     
    
    
    
     
  • 1
    •

3，再次啟動你要執行的spider

$ scrapy runspider crawling/spiders/link_spider.py
    
    
     
  • 1
    • 
    

    
     
    
    
    
     
  • 1
    •

4，啟動dump 監聽redis元件返回的結果

$ python kafkadump.py dump -t demo.crawled_firehose
    
    
     
  • 1
    • 
    

    
     
    
    
    
     
  • 1
    •

5，啟動dump 檢視你的機器爬取的結果

$ python kafkadump.py dump -t demo.outbound_firehose
    
    
     
  • 1
    • 
    

    
     
    
    
    
     
  • 1
    •

在選擇的每臺機器上,每一個過程中應保持執行並和其餘叢集處於操作狀態。
再次，進行資料爬取
1，在接下來我們需要給叢集傳送一個爬取請求，這是通過相同的kafka元件Python指令碼來實現的，但是需要運用不同的命令來辨別結果。

$ python kafka_monitor.py feed '{"url": "http://istresearch.com", "appid":"testapp", "crawlid":"abc123"}'
    
    
     
  • 1
    • 
    

    
     
    
    
    
     
  • 1
    •

在下列命令列中您將看到傳送請求成功：

$ 2015-12-22 15:45:37,457 [kafka-monitor] INFO: Feeding JSON into demo.incoming
{
    "url": "http://istresearch.com",
    "crawlid": "abc123",
    "appid": "testapp"
}
2015-12-22 15:45:37,459 [kafka-monitor] INFO: Successfully fed item to Kafka
    
    
     
  • 1
    • 
     
  • 2
    • 
     
  • 3
    • 
     
  • 4
    • 
     
  • 5
    • 
     
  • 6
    • 
     
  • 7
    • 
    

    
     
    
    
    
     
  • 1
    • 
     
  • 2
    • 
     
  • 3
    • 
     
  • 4
    • 
     
  • 5
    • 
     
  • 6
    • 
     
  • 7
    •

如果連線不到kafka，你將在日誌中看到一條錯誤訊息，
2，在請求成功之後，以下一系列的事件將按照順序發生：

  1. kafka元件將收到請求,並把它存放到redis中
  2. spider會定期檢測新的請求，並像正常的scrapy spider一樣從佇列中獲取請求且執行它
  3. 接著爬取到的資料將被掛起在 Scrapy item pipeline 中，由kafka Pipeline物件將其推送到kafka
  4. kafka dump 將讀取結果輸出的話題,並列印它收到的原始爬取物件

3，redis 元件有助於我們學習在爬取中如何處理和操作redis，因此我們會選擇一個更大的網站我們可以看到它是如何工作的（這需要一個完整的部署）
Crawl Request:

$ python kafka_monitor.py feed '{"url": "http://dmoz.org", "appid":"testapp", "crawlid":"abc1234", "maxdepth":1}'
    
    
     
  • 1
    • 
    

    
     
    
    
    
     
  • 1
    •

現在傳送一個info行為請求爬取去看發生了什麼

$ python kafka_monitor.py feed '{"action":"info", "appid":"testapp", "uuid":"someuuid", "crawlid":"abc1234", "spiderid":"link"}'
    
    
     
  • 1
    • 
    

    
     
    
    
    
     
  • 1
    •

以下情況會發生在這個動作請求之後

  1. kafka 元件將收到操作請求,並把它存放到redis
  2. redis 元件將執行info請求和記錄的當前掛起的請求的spiderid，appid，crawlid。
  3. redis 元件將結果返回給kafka
  4. kafka dump 將收到類似下面的結果：
$ {u'server_time': 1450817666, u'crawlid': u'abc1234', u'total_pending': 25, u'total_domains': 2, u'spiderid': u'link', u'appid': u'testapp', u'domains': {u'twitter.com': {u'low_priority': -9, u'high_priority': -9, u'total': 1}, u'dmoz.org': {u'low_priority': -9, u'high_priority': -9, u'total': 24}}, u'uuid': u'someuuid'}
    
    
     
  • 1
    • 
    

    
     
    
    
    
     
  • 1
    •

在這種情況下我們有25 url在佇列中等待,所以你的顯示可能會略有不同

4，如果爬取步驟1仍在執行,現在讓它發出stop動作請求停止
Action Request：

$ python kafka_monitor.py feed  '{"action":"stop", "appid":"testapp", "uuid":"someuuid", "crawlid":"abc1234", "spiderid":"link"}'
    
    
     
  • 1
    • 
    

    
     
    
    
    
     
  • 1
    •

以下情況會發生這個動作請求之後

  1. kafka 元件將收到請求並存放在redis中
  2. redis 元件將執行stop請求，並清除當前請求的spiderid，appid，crawlid。
  3. redis 元件將crawlid加入黑名單，所以沒有更多的掛起的請求可以從蜘蛛或者應用程式生成
  4. redis 元件將清洗總結果傳送回kafka
  5. kafka dump 將收到類似下面的結果：
$ {u'total_purged': 90, u'server_time': 1450817758, u'crawlid': u'abc1234', u'spiderid': u'link', u'appid': u'testapp', u'action': u'stop'}
    
    
     
  • 1
    • 
    

    
     
    
    
    
     
  • 1
    •

在這種情況下,我們有90個url從佇列中刪除。這些掛起的請求現在完全從系統中刪除,蜘蛛會回到被閒置。

希望你現在有一個工作Scrapy叢集,允許您提交工作佇列,接收資訊抓取,並停止爬行,如果它變得失控。請繼續更深入地閱讀每個元件的文件。

元件的作用

kafka
kafka元件作為入口點進入爬蟲架構。它驗證API請求之後,可以確保任何時候的資料是正確的格式。kafka 元件的設計源於需要定義一個格式被允許建立爬蟲抓取從任何應用程式架構。如果應用程式可以讀取和寫入到卡夫卡叢集就可以寫資訊到一個特定的kafka 主題建立爬行。
很快那些相同的應用程式想要對他們的爬蟲進行資訊檢索的能力,停止他們,或者得到他們的叢集資訊。我們決定建立一個動態請求的介面可以支援所有的需求,但利用相同的基礎程式碼。這個基礎程式碼現在被稱為kafka 元件,利用各種外掛來擴充套件或改變kafka 元件的功能。
這裡寫圖片描述
kafka 元件讀取需要入站kafka 的話題，並應用當前載入的JSON api外掛來接收訊息。第一個外掛有一個有效的JSON Schema接收JSON物件被允許做自己的處理和操縱的物件，
Scrapy叢集的用例中,預設外掛將他們的請求寫入redis 的key中,但是功能並沒有就此止步。kafka 元件的設定可以改變哪些外掛載入,或新增新外掛擴充套件功能。這些模組允許kafka 元件核心佔用空間小但允許擴充套件或執行不同的外掛了。
從我們自己的內部除錯,確保其他應用程式正常工作,一個叫 kafka dump 的實用應用程式也是為了能夠建立和監控kafka 通過訊息互動。這是一個小型轉儲工具沒有外部依賴,允許使用者通過kafka 話題去了解叢集。

kafka_monitor.py

有兩種執行模式run和feed：
Run：
這是連續執行模式。將接受傳入kafka 的訊息從一個話題中,驗證訊息為JSON對所有可能的JSON API,然後允許有效的API外掛來處理物件(執行模式是主要的流程你應該執行) 。

$ python kafka_monitor.py run
    
    
     
  • 1
    • 
    

    
     
    
    
    
     
  • 1
    •

Feed：
以JSON物件提交你想要的kafka的話題。這需要提交一個有效的JSON物件並將它插入所需的kafka的話題,然後被上面的run命令執行。

$ python kafka_monitor.py feed '{"url": "http://istresearch.com", "appid":"testapp", "crawlid":"ABC123"}'
    
    
     
  • 1
    • 
    

    
     
    
    
    
     
  • 1
    •

feed非常緩慢在生產中不應使用。相反,你應該根據自己的需求編寫可以不斷執行的應用程式給kafka 所需的API請求。

kafkadump.py

基本kafka主題工具用於檢查訊息流在你的卡夫卡叢集。
Dump：

$ python kafkadump.py dump -t demo.crawled_firehose
    
    
     
  • 1
    • 
    

    
     
    
    
    
     
  • 1
    •

這個實用程式預設消耗結束後獲取所需的kafka 的話題,並且對離線測試很有用通過當前的訊息流。
List：
列出所有叢集內的話題

$ python kafkadump.py list
    
    
     
  • 1
    • 
    

    
     
    
    
    
     
  • 1
    •

kafka 元件的API 就不多說了，自己到官網去看，API地址 。這裡講一下kafka 的幾個話題

  1. 入站話題：demo.incoming，此話題提交正確格式化的叢集請求。
  2. 出站結果卡夫卡的話題：
    1，demo.crawled_firehouse，為系統輸出結果的流水話題。任何單一的網頁抓取的Scrapy叢集保證走出這個管子。
    2，demo.outbound_firehose，輸出所有特殊的爬蟲啟動，停止，到期，統計要求的流水話題。此主題將具有從群集請求所有非爬行資料的能力。
    3，demo.crawled_<appid>，為獲取特殊應用的爬取結果而建立的特殊主題，任何應用程式都可以用appid建立監聽話題來監聽自己特定的爬取結果，這些主題是爬行的流水話題資料的一個子集並且只包含appid提交的結果。
    4，demo.outbound_<appid>，一個特別的話題為了讀取特殊應用程式的行動請求資料
    後兩種方式是禁用的，因為他們在kafka中產生了重複資料，如果想要啟用它，只需要覆蓋redis 元件的配置檔案。
(function () { ('pre.prettyprint code').each(function () { var lines = (this).text().split(′\n′).length;var numbering = $('
    ').addClass('pre-numbering').hide(); (this).addClass(′has−numbering′).parent().append( numbering); for (i = 1; i

    scrapy-cluster叢集的架構：

    • python 2.7
    • scrapy 1.0.5
    • kafka 2.10-0.10.1.1
    • redis 3.0.6

    scrapy叢集的目的：

    1. 他們允許任何web頁面的任意集合提交給scrapy叢集，包括動態需求。
    2. 大量的Scrapy例項在單個機器或多個機器上進行爬取。
    3. 協調和優化他們的抓取工作所需的網站。
    4. 儲存抓取的資料。
    5. 並行執行多個抓取作業。
    6. 深度資訊抓取工作，網站排名，預測等。
    7. 你可以任意 add/remove/scale你的爬蟲而不會造成資料丟失或停機等待。
    8. 利用Apache kafka作為叢集的資料匯流排與叢集的(提交工作,資訊輸入,停止工作,檢視結果)。
    9. 能夠調整管理獨立的爬蟲在多臺機器上，但必須用相同的IP

    scrapy-cluster 原理流程圖
    這裡寫圖片描述

    在最高的層次上,Scrapy叢集作用於單個輸入卡夫卡的話題,和兩個獨立輸出卡夫卡的話題。所有請求傳入叢集的kafka話題都是通過demo.incoming, 並根據傳入請求將生成行為請求話題 demo.outbound_firehose或網頁爬取請求話題demo.crawled_firehose。 這裡包括的三個元件是可擴充套件的，kafka元件和Redis元件都使用“外掛”以提高自己的能力，Scrapy可以運用“Middlewares”，“Pipelines”，“Spiders”去定製自己的爬取需求，這三個元件在一起允許縮放和分散式執行在許多機器上。

    開始搭建叢集

    1. 首先得確保你的每臺機器上執行著kafka，zookeeper，redis，python2.7
    2. 在每臺機器上安裝scrapy-cluster，下載地址點選這裡，
    3. 解壓並進入檔案根據requirements.txt檔案下載依賴需求
      $ pip install -r requirements.txt
  
      
   
    • 1
      • 
  
    
  
   
  
  
      
   
    • 1
      •
    1. 離線執行單元測試,以確保一切似乎正常。$ ./run_offline_tests.sh
      如果失敗，請檢查你的依賴是否安裝成功。
    2. 在三個元件中新建localsettings.py檔案並設定kafka，redis，zookeeper的相關配置以確保通訊（這裡的localsettings.py是覆蓋settings.py的，方便我們修改配置，以防引起不必要的衝突和麻煩（注：以下scdev是kafka,redis,zookeeper的主機），KAFKA_HOSTS的設定為叢集有多少個IP：PORT就寫多少，以逗號（，）隔開，如KAFKA_HOSTS = 'ip1:port,ip2:port,ip3:port'。
      在 kafka-monitor的localsettings.py檔案中寫入
      REDIS_HOST = 'scdev'
      KAFKA_HOSTS = 'scdev:9092'
      在redis-monitor的localsettings.py檔案中寫入
      REDIS_HOST = 'scdev'
      KAFKA_HOSTS = 'scdev:9092'
      在crawlers/crawling/的localsettings.py檔案中寫入
      REDIS_HOST = 'scdev'
      KAFKA_HOSTS = 'scdev:9092'
      ZOOKEEPER_HOSTS = 'scdev:2181'
      然後執行他們各自的測試檔案
    $ python tests/tests_online.py -v
  
      
   
    • 1
      • 
  
    
  
   
  
  
      
   
    • 1
      •

    如果整合測試失敗,請確保你的埠是開啟的在kafka叢集,redis主機和zookeeper主機。確保機器爬蟲的設定可以訪問所需的主機上,且可以成功地訪問網際網路。如果測試成功，那麼恭喜你，你可以學習如何使用他了。當然這裡是直接部署，如果單臺機器沒有測試通過，建議你先看看官方文件的測試用例。

    叢集的使用
    首先，啟動你的每一臺機器上的三大元件
    1，Kafka Monitor

    $ python kafka_monitor.py run
  
      
   
    • 1
      • 
  
    
  
   
  
  
      
   
    • 1
      •

    2， 啟動你要執行的spider，如link_spider.py

    $ scrapy runspider crawling/spiders/link_spider.py
  
      
   
    • 1
      • 
  
    
  
   
  
  
      
   
    • 1
      •

    3，啟動kafkadump.py 來監聽redis 元件返回的結果

    $ python kafkadump.py dump -t demo.crawled_firehose
  
      
   
    • 1
      • 
  
    
  
   
  
  
      
   
    • 1
      •

    用多少臺機器你啟動多少臺，這裡可以新增&在後臺啟動，當然我還是建議你在剛開始時開啟更多的視窗來觀察他們如何工作。
    其次，就是啟動整個叢集
    1，Kafka Monitor

    $ python kafka_monitor.py run
  
      
   
    • 1
      • 
  
    
  
   
  
  
      
   
    • 1
      •

    2，Redis Monitor

    $ python redis_monitor.py
  
      
   
    • 1
      • 
  
    
  
   
  
  
      
   
    • 1
      •

    3，再次啟動你要執行的spider

    $ scrapy runspider crawling/spiders/link_spider.py
  
      
   
    • 1
      • 
  
    
  
   
  
  
      
   
    • 1
      •

    4，啟動dump 監聽redis元件返回的結果

    $ python kafkadump.py dump -t demo.crawled_firehose
  
      
   
    • 1
      • 
  
    
  
   
  
  
      
   
    • 1
      •

    5，啟動dump 檢視你的機器爬取的結果

    $ python kafkadump.py dump -t demo.outbound_firehose
  
      
   
    • 1
      • 
  
    
  
   
  
  
      
   
    • 1
      •

    在選擇的每臺機器上,每一個過程中應保持執行並和其餘叢集處於操作狀態。
    再次，進行資料爬取
    1，在接下來我們需要給叢集傳送一個爬取請求，這是通過相同的kafka元件Python指令碼來實現的，但是需要運用不同的命令來辨別結果。

    $ python kafka_monitor.py feed '{"url": "http://istresearch.com", "appid":"testapp", "crawlid":"abc123"}'
  
      
   
    • 1
      • 
  
    
  
   
  
  
      
   
    • 1
      •

    在下列命令列中您將看到傳送請求成功：

    $ 2015-12-22 15:45:37,457 [kafka-monitor] INFO: Feeding JSON into demo.incoming
{
    "url": "http://istresearch.com",
    "crawlid": "abc123",
    "appid": "testapp"
}
2015-12-22 15:45:37,459 [kafka-monitor] INFO: Successfully fed item to Kafka
  
      
   
    • 1
      • 
   
    • 2
      • 
   
    • 3
      • 
   
    • 4
      • 
   
    • 5
      • 
   
    • 6
      • 
   
    • 7
      • 
  
    
  
   
  
  
      
   
    • 1
      • 
   
    • 2
      • 
   
    • 3
      • 
   
    • 4
      • 
   
    • 5
      • 
   
    • 6
      • 
   
    • 7
      •

    如果連線不到kafka，你將在日誌中看到一條錯誤訊息，
    2，在請求成功之後，以下一系列的事件將按照順序發生：

    1. kafka元件將收到請求,並把它存放到redis中
    2. spider會定期檢測新的請求，並像正常的scrapy spider一樣從佇列中獲取請求且執行它
    3. 接著爬取到的資料將被掛起在 Scrapy item pipeline 中，由kafka Pipeline物件將其推送到kafka
    4. kafka dump 將讀取結果輸出的話題,並列印它收到的原始爬取物件

    3，redis 元件有助於我們學習在爬取中如何處理和操作redis，因此我們會選擇一個更大的網站我們可以看到它是如何工作的（這需要一個完整的部署）
    Crawl Request:

    $ python kafka_monitor.py feed '{"url": "http://dmoz.org", "appid":"testapp", "crawlid":"abc1234", "maxdepth":1}'
  
      
   
    • 1
      • 
  
    
  
   
  
  
      
   
    • 1
      •

    現在傳送一個info行為請求爬取去看發生了什麼

    $ python kafka_monitor.py feed '{"action":"info", "appid":"testapp", "uuid":"someuuid", "crawlid":"abc1234", "spiderid":"link"}'
  
      
   
    • 1
      • 
  
    
  
   
  
  
      
   
    • 1
      •

    以下情況會發生在這個動作請求之後

    1. kafka 元件將收到操作請求,並把它存放到redis
    2. redis 元件將執行info請求和記錄的當前掛起的請求的spiderid，appid，crawlid。
    3. redis 元件將結果返回給kafka
    4. kafka dump 將收到類似下面的結果：
    $ {u'server_time': 1450817666, u'crawlid': u'abc1234', u'total_pending': 25, u'total_domains': 2, u'spiderid': u'link', u'appid': u'testapp', u'domains': {u'twitter.com': {u'low_priority': -9, u'high_priority': -9, u'total': 1}, u'dmoz.org': {u'low_priority': -9, u'high_priority': -9, u'total': 24}}, u'uuid': u'someuuid'}
  
      
   
    • 1
      • 
  
    
  
   
  
  
      
   
    • 1
      •

    在這種情況下我們有25 url在佇列中等待,所以你的顯示可能會略有不同

    4，如果爬取步驟1仍在執行,現在讓它發出stop動作請求停止
    Action Request：

    $ python kafka_monitor.py feed  '{"action":"stop", "appid":"testapp", "uuid":"someuuid", "crawlid":"abc1234", "spiderid":"link"}'
  
      
   
    • 1
      • 
  
    
  
   
  
  
      
   
    • 1
      •

    以下情況會發生這個動作請求之後

    1. kafka 元件將收到請求並存放在redis中
    2. redis 元件將執行stop請求，並清除當前請求的spiderid，appid，crawlid。
    3. redis 元件將crawlid加入黑名單，所以沒有更多的掛起的請求可以從蜘蛛或者應用程式生成
    4. redis 元件將清洗總結果傳送回kafka
    5. kafka dump 將收到類似下面的結果：
    $ {u'total_purged': 90, u'server_time': 1450817758, u'crawlid': u'abc1234', u'spiderid': u'link', u'appid': u'testapp', u'action': u'stop'}
  
      
   
    • 1
      • 
  
    
  
   
  
  
      
   
    • 1
      •

    在這種情況下,我們有90個url從佇列中刪除。這些掛起的請求現在完全從系統中刪除,蜘蛛會回到被閒置。

    希望你現在有一個工作Scrapy叢集,允許您提交工作佇列,接收資訊抓取,並停止爬行,如果它變得失控。請繼續更深入地閱讀每個元件的文件。

    元件的作用

    kafka
    kafka元件作為入口點進入爬蟲架構。它驗證API請求之後,可以確保任何時候的資料是正確的格式。kafka 元件的設計源於需要定義一個格式被允許建立爬蟲抓取從任何應用程式架構。如果應用程式可以讀取和寫入到卡夫卡叢集就可以寫資訊到一個特定的kafka 主題建立爬行。
    很快那些相同的應用程式想要對他們的爬蟲進行資訊檢索的能力,停止他們,或者得到他們的叢集資訊。我們決定建立一個動態請求的介面可以支援所有的

    相關推薦

    scrapy-cluster叢集的架構

    scrapy-cluster叢集的架構： python 2.7 scrapy 1.0.5 kafka 2.10-0.10.1.1 redis 3.0.6 scrapy叢集的目的： 他們允許

    Redis Cluster叢集架構實現(四)--技術流ken

      Redis叢集簡介 通過前面三篇部落格的介紹《Redis基礎認識及常用命令使用(一)--技術流ken》，《Redis基礎知識補充及持久化、備份介紹(二)--技術流ken》，《Redis主從複製、多例項、高可用(三)--技術流ken》，現在已經對redis的基礎知識，常用命令，持久化，備份，主

    redis cluster 叢集架構

    關於redis cluster 叢集 redis cluster叢集是分散式的。 1.1 redis 叢集資料分片(redis cluster data sharding)－雜湊槽的概念 有M個

    mysql cluster叢集主從架構讀寫分離搭建

    安裝要求 安裝環境：CentOS-6.4 安裝方式：原始碼編譯安裝 軟體名稱：mysql-cluster-gpl-7.2.6-linux2.6-x86_64.tar.gz 軟體安裝位置：/usr/local/mysql 資料存放位置：/var/mysql/data 日誌存

    Galera Cluster：一種新型的高一致性MySQL叢集架構

    1. 何謂Galera Cluster 何謂Galera Cluster？就是集成了Galera外掛的MySQL叢集，是一種新型的，資料不共享的，高度冗餘的高可用方案，目前Galera Cluster有兩個版本，分別是Percona Xtradb Cluster及MariaDB Cluster，都

    Azure Redis Cache (5) Redis Cache Cluster叢集模式 Windows Azure Platform 系列文章目錄

    　　《Windows Azure Platform 系列文章目錄》 　　 　　Redis Cluster 3.0之後的版本，已經支援Redis Cluster叢集模式，Redis Cluster採用無中心架構，每個節點儲存資料和整個叢集狀態,每個節點都和其他所有節點連線。其redis-cluster架構圖

    redis cluster叢集配置步驟

    1. 配置redis.conf: 建立7000-7005 六個資料夾，拷貝redis.conf到各個資料夾，然後修改配置如下（除了埠以外其他都可以一樣）： port 7000 cluster-enabled yes cluster-config-file nodes7000.conf

    FastDFS高可用叢集架構配置搭建

      一、基本模組及高可用架構 FastDFS 是餘慶老師開發的一個開源的高效能分散式檔案系統（DFS）。 它的主要功能包括：檔案儲存，檔案同步和檔案訪問，以及高容量和負載平衡。 FastDFS 系統有三個角色：跟蹤伺服器(Tracker Server)、儲存伺服器(St

    redis cluster 叢集重新分片故障處理（基於redis 4.0.6）

    redis cluster 叢集重新分片故障處理（基於redis 4.0.6）  環境： redis：4.0.6 現象： 開始gem安裝redis預設版本，gem install redis，部署叢集完畢後，測試程式碼寫入叢集資料，然後進行分片，發現一隻報錯，錯誤如下

    K8S高可用叢集架構實現

      Kubernetes作為近幾年最具顛覆性的容器編排技術，廣泛應用與企業的生產環境中，相較於前幾年的docker-swarm的編排方式，Kubernetes無疑是站在一個更高的角度對容器進行管理，方便日後專案的普適性，容易對架構進行擴充套件。   生產環境下更注重於叢集的高可用，不

    使用docker redis-cluster叢集搭建

    參考https://www.cnblogs.com/cxbhakim/p/9151720.html此文 主要搭建過程參考上文，此處講下主要過程和遇到的坑 首先是映象的基礎搭建，我不知道是否是作者編寫時和我現在的版本不同了，第一個坑點Dockerfile中FROM Centos:7，這去掉算

    springboot1.5.3+redis3.4-cluster叢集+shiro1.3.2+springcloud+nginx登入後shiro的subject為null問題解決

    一、 問題描述 線上環境：springboot1.5.3+redis3.4-cluster叢集+shiro1.3.2+springcloud+nginx 本地開發：springboot1.5.3+redis3.4-cluster叢集+shiro1.3.2 本地開發時，一切正常。 上線後，

    網站運維技術與實踐之叢集架構規劃

    叢集架構規劃和設計只要是涉及到高併發高流量的專案，基本上都需要。 本文主要圍繞兩個方面，一個是IDC的規劃和選擇，另一個是CDN。 一、IDC的規劃和選擇 IDC的選擇是網站上線前要做的最重要的事情之一。哪怕發展初期只有一臺伺服器，選擇一個位置不錯的機房託管，都會助益良多。 也許有人會問IDC是什麼？

    redis之三 cluster叢集搭建

    redis cluster叢集搭建 【Linux下搭建cluster叢集】 1.從redis中文官網下載redis安裝包 【windows下搭建cluster叢集】 1.下載windows版的redis安裝包 從redis的windows版官網下載安裝包，同時下載一份原始碼

    網際網路公司分散式叢集架構圖入門解析（簡單通俗易懂，超詳細）

    一、小型公司網路架構 狗子是某大學計算機專業本科應屆畢業生，由於自己的技術不錯，再加上網際網路產業的巨大利潤的驅使，狗子決定走上創業這條路，於是，狗子聯合了同學二黑，雞子，狗蛋等人花費了幾個月的時間寫出了一套網站，是關於足球資訊的pc端網站加上手機APP客戶端。現在產品測試成功了，準備釋

    Redis叢集架構搭建詳解

    一、簡介 這其實是一種分散式資料庫，就是通過分片的機制儲存資料，cluster中的每個節點僅僅儲存資料哭的一部分資料，本質上就是實現資料庫分片。 這種叢集是一種去中心化的叢集，也就是說，叢集中的每個節點都可以是接入節點。 這裡我簡單說一下這種去中心化的實現方式，比如有4個節點

    JavaEE架構之傳統三層架構，叢集架構，分散式架構，微服務架構

    javaEE架構 1.傳統三層架構(all in one專案) 傳統三層架構大致可以分為表現層，業務層和持久層（資料訪問層）。其中表現層負責接受請求和轉發請求。業務層負責處理請求（注：事務管理，日誌記錄等AOP型別的操作均封裝在這一層）。持久層主要負責資料庫與實體之間的操作。  

    Percona XtraDB Cluster 叢集引數配置說明(PXC 5.7)

    從PXC5.7版本開始，叢集的配置主要是通過wsrep.cnf配置來實現。這個檔案有幾個常用的引數配置。下文對其做簡要說明。 一、PXC 5.7叢集配置檔案 [[email protected] ~]# more /etc/percona-xtradb-cluster.conf.d/wsrep

    第十八章 Linux叢集架構(下)

    18.11 LVS DR模式搭建 dir 上的指令碼檔案 dir 網絡卡配置 rs1上的指令碼配置檔案 rs1上的網絡卡配置 rs2 上的指令碼檔案 rs2的網絡卡配置 測試

    第十八章 Linux叢集架構(上)

    18.1 叢集介紹 18.2 keepalived介紹 18.3 用keepalived配置高可用叢集（上） 準備兩臺機器 一個為mater   另一個為backup 兩臺機器都關閉防火牆 兩臺機器都安裝上nginx,為了下一步