apache kafka參考
　　
　　訊息佇列分類：
　　
　　 點對點：
　　
　　訊息生產者生產訊息傳送到queue中，然後訊息消費者從queue中取出並且消費訊息。這裡要注意：
　　
　　訊息被消費以後，queue中不再有儲存，所以訊息消費者不可能消費到已經被消費的訊息。
　　
　　Queue支援存在多個消費者，但是對一個訊息而言，只會有一個消費者可以消費。
　　
　　釋出/訂閱
　　
　　訊息生產者（釋出）將訊息釋出到topic中，同時有多個訊息消費者（訂閱）消費該訊息。和點對點方式不同，釋出到topic的訊息會被所有訂閱者消費。
　　
　　kafka訊息佇列調研
　　
　　背景介紹
　　
　　kafka是最初由Linkedin公司開發，使用Scala語言編寫，Kafka是一個分散式、分割槽的、多副本的、多訂閱者的日誌系統(分散式MQ系統)，可以用於web/nginx日誌，搜尋日誌，監控日誌，訪問日誌等等。
　　
　　kafka目前支援多種客戶端語言：java，python，c++，php等等。
　　
　　總體結構：
　　
　　kafka名詞解釋和工作方式：
　　
　　Producer ：訊息生產者，就是向kafka broker發訊息的客戶端。
　　
　　Consumer ：訊息消費者，向kafka broker取訊息的客戶端
　　
　　Topic ：咋們可以理解為一個佇列。
　　
　　Consumer Group （CG）：這是kafka用來實現一個topic訊息的廣播（發給所有的consumer）和單播（發給任意一個consumer）的手段。一個topic可以有多個CG。topic的訊息會複製（不是真的複製，是概念上的）到所有的CG，但每個CG只會把訊息發給該CG中的一個consumer。如果需要實現廣播，只要每個consumer有一個獨立的CG就可以了。要實現單播只要所有的consumer在同一個CG。用CG還可以將consumer進行自由的分組而不需要多次傳送訊息到不同的topic。
　　
　　Broker ：一臺kafka伺服器就是一個broker。一個叢集由多個broker組成。一個broker可以容納多個topic。
　　
　　Partition：為了實現擴充套件性，一個非常大的topic可以分佈到多個broker（即伺服器）上，一個topic可以分為多個partition，每個partition是一個有序的佇列。partition中的每條訊息都會被分配一個有序的id（offset）。kafka只保證按一個partition中的順序將訊息發給consumer，不保證一個topic的整體（多個partition間）的順序。
　　
　　 Offset：kafka的儲存檔案都是按照offset.kafka來命名，用offset做名字的好處是方便查詢。例如你想找位於2049的位置，只要找到2048.kafka的檔案即可。當然the first offset就是00000000000.kafka
　　
　　 kafka特性：
　　
　　通過O(1)的磁碟資料結構提供訊息的持久化，這種結構對於即使數以TB的訊息儲存也能夠保持長時間的穩定效能。
　　
　　高吞吐量：即使是非常普通的硬體kafka也可以支援每秒數十萬的訊息。
　　
　　支援同步和非同步複製兩種HA
　　
　　Consumer客戶端pull，隨機讀,利用sendfile系統呼叫，zero-copy ,批量拉資料
　　
　　消費狀態儲存在客戶端
　　
　　訊息儲存順序寫
　　
　　資料遷移、擴容對使用者透明
　　
　　支援Hadoop並行資料載入。
　　
　　支援online和offline的場景。
　　
　　持久化：通過將資料持久化到硬碟以及replication防止資料丟失。
　　
　　scale out：無需停機即可擴充套件機器。
　　
　　定期刪除機制，支援設定partitions的segment file保留時間。
　　
　　可靠性（一致性)
　　
　　kafka(MQ)要實現從producer到consumer之間的可靠的訊息傳送和分發。傳統的MQ系統通常都是通過broker和consumer間的確認（ack）機制實現的，並在broker儲存訊息分發的狀態。
　　
　　即使這樣一致性也是很難保證的（參考原文）。kafka的做法是由consumer自己儲存狀態，也不要任何確認。這樣雖然consumer負擔更重，但其實更靈活了。
　　
　　因為不管consumer上任何原因導致需要重新處理訊息，都可以再次從broker獲得。
　　
　　kafak系統擴充套件性
　　
　　kafka使用zookeeper來實現動態的叢集擴充套件，不需要更改客戶端（producer和consumer）的配置。broker會在zookeeper註冊並保持相關的元資料（topic，partition資訊等）更新。
　　
　　而客戶端會在zookeeper上註冊相關的watcher。一旦zookeeper發生變化，客戶端能及時感知並作出相應調整。這樣就保證了新增或去除broker時，各broker間仍能自動實現負載均衡。
　　
　　kafka設計目標
　　
　　高吞吐量是其核心設計之一。
　　
　　資料磁碟持久化：訊息不在記憶體中cache，直接寫入到磁碟，充分利用磁碟的順序讀寫效能。
　　
　　zero-copy：減少IO操作步驟。
　　
　　支援資料批量傳送和拉取。
　　
　　支援資料壓縮。
　　
　　Topic劃分為多個partition，提高並行處理能力。
　　
　　Producer負載均衡和HA機制
　　
　　producer根據使用者指定的演算法，將訊息傳送到指定的partition。
　　
　　存在多個partiiton，每個partition有自己的replica，每個replica分佈在不同的Broker節點上。
　　
　　多個partition需要選取出lead partition，lead partition負責讀寫，並由zookeeper負責fail over。
　　
　　通過zookeeper管理broker與consumer的動態加入與離開。
　　
　　Consumer的pull機制
　　
　　由於kafka broker會持久化資料，broker沒有cahce壓力，因此，consumer比較適合採取pull的方式消費資料，具體特別如下：
　　
　　簡化kafka設計，降低了難度。
　　
　　Consumer根據消費能力自主控制訊息拉取速度。
　　
　　consumer根據自身情況自主選擇消費模式，例如批量，重複消費，從制定partition或位置(offset)開始消費等.
　　
　　Consumer與topic關係以及機制
　　
　　本質上kafka只支援Topic.每個consumer屬於一個consumer group;反過來說,每個group中可以有多個consumer.對於Topic中的一條特定的訊息,
　　
　　只會被訂閱此Topic的每個group中的一個consumer消費,此訊息不會發送給一個group的多個consumer;那麼一個group中所有的consumer將會交錯的消費整個Topic.
　　
　　如果所有的consumer都具有相同的group,這種情況和JMS queue模式很像;訊息將會在consumers之間負載均衡.
　　
　　如果所有的consumer都具有不同的group,那這就是"釋出-訂閱";訊息將會廣播給所有的消費者.
　　
　　在kafka中,一個partition中的訊息只會被group中的一個consumer消費(同一時刻);每個group中consumer訊息消費互相獨立;我們可以認為一個group是一個"訂閱"者,
　　
　　一個Topic中的每個partions,只會被一個"訂閱者"中的一個consumer消費,不過一個consumer可以同時消費多個partitions中的訊息.
　　
　　kafka只能保證一個partition中的訊息被某個consumer消費時是順序的.事實上,從Topic角度來說,當有多個partitions時,訊息仍不是全域性有序的.
　　
　　通常情況下,一個group中會包含多個consumer,這樣不僅可以提高topic中訊息的併發消費能力,而且還能提高"故障容錯"性,如果group中的某個consumer失效,
　　
　　那麼其消費的partitions將會有其他consumer自動接管.kafka的設計原理決定,對於一個topic,同一個group中不能有多於partitions個數的consumer同時消費,
　　
　　否則將意味著某些consumer將無法得到訊息.
　　
　　Producer均衡演算法
　　
　　kafka叢集中的任何一個broker,都可以向producer提供metadata資訊,這些metadata中包含"叢集中存活的servers列表"/"partitions leader列表"
　　
　　等資訊(請參看zookeeper中的節點資訊).當producer獲取到metadata信心之後, producer將會和Topic下所有partition leader保持socket連線;
　　
　　訊息由producer直接通過socket傳送到broker,中間不會經過任何"路由層".事實上,訊息被路由到哪個partition上,有producer客戶端決定.
　　
　　比如可以採用"random""key-hash""輪詢"等,如果一個topic中有多個partitions,那麼在producer端實現"訊息均衡分發"是必要的.
　　
　　在producer端的配置檔案中,開發者可以指定partition路由的方式.
　　
　　Consumer均衡演算法
　　
　　當一個group中,有consumer加入或者離開時,會觸發partitions均衡.均衡的最終目的,是提升topic的併發消費能力.
　　
　　1) 假如topic1,具有如下partitions: P0,P1,P2,P3
　　
　　2) 加入group中,有如下consumer:www.huachengj1980.com C0,C1
　　
　　3) 首先根據partition索引號對partitions排序: P0,P1,P2,P3
　　
　　4) 根據consumer.id排序: C0,C1
　　
　　5) 計算倍數: M = [P0,P1,P2,P3].size www.yongxinzaixian.cn/ [C0,C1].size,本例值M=2(向上取整)
　　
　　6) 然後依次分配partitions: C0 = [P0,P1],C1=www.gangchengyuLe178.com [P2,P3],即Ci = [P(i * M),P((i + 1) * M -1)]
　　
　　kafka broker叢集內broker之間replica機制
　　
　　kafka中,replication策略是基於partition,而不是topic;kafka將每個partition資料複製到多個server上,任何一個partition有一個leader和多個follower(可以沒有);
　　
　　備份的個數可以通過broker配置檔案來設定.leader處理所有的read-write請求,follower需要和leader保持同步.Follower就像一個"consumer",
　　
　　消費訊息並儲存在本地日誌中;leader負責跟蹤所有的follower狀態,如果follower"落後"太多或者失效,leader將會把它從replicas同步列表中刪除.
　　
　　當所有的follower都將一條訊息儲存成功,此訊息才被認為是"committed",那麼此時consumer才能消費它,這種同步策略,就要求follower和leader之間必須具有良好的網路環境.
　　
　　即使只有一個replicas例項存活,仍然可以保證訊息的正常傳送和接收,只要zookeeper叢集存活即可.(備註:不同於其他分散式儲存,比如hbase需要"多數派"存活才行)
　　
　　sudo apt-get install git
　　
　　git clone https://github.com/kanaka/noVNC
　　
　　cd noVNC
　　
　　./utils/launch.sh --vnc 172.17.0.2:5901
　　
　　//172.17.0.2：為目標機docker容器的IP地址。
　　
　　//5901：為目標機啟動vnc4server時啟動的1號服務
　　
　　vi vnc_token //新建一個檔案，寫入要訪問的目標機的相關內容，格式為： 目標機名稱: IP:埠號
　　
　　utils/websockify/websockify.py www.ysyl157.com--web=./ -www.furggw.com-target-config vnc_www.dfgjpt.com tokens 6080 //執行上一步新建的內容
　　
　　kafka判定一個follower存活與否的條件有2個:
　　
　　1) follower需要和zookeeper保持良好的連結    
　　
　　2) 它必須能夠及時的跟進leader,不能落後太多.
　　
　　如果同時滿足上述2個條件,那麼leader就認為此follower是"活躍的".如果一個follower失效(server失效)或者落後太多,
　　
　　leader將會把它從同步列表中移除[備註:如果此replicas落後太多,它將會繼續從leader中fetch資料,直到足夠up-to-date,
　　
　　然後再次加入到同步列表中;kafka不會更換replicas宿主!因為"同步列表"中replicas需要足夠快,這樣才能保證producer釋出訊息時接受到ACK的延遲較小。
　　
　　當leader失效時,需在followers中選取出新的leader,可能此時follower落後於leader,因此需要選擇一個"up-to-date"的follower.kafka中leader選舉並沒有採用"投票多數派"的演算法,
　　
　　因為這種演算法對於"網路穩定性"/"投票參與者數量"等條件有較高的要求,而且kafka叢集的設計,還需要容忍N-1個replicas失效.對於kafka而言,
　　
　　每個partition中所有的replicas資訊都可以在zookeeper中獲得,那麼選舉leader將是一件非常簡單的事情.選擇follower時需要兼顧一個問題,
　　
　　就是新leader server上所已經承載的partition leader的個數,如果一個server上有過多的partition leader,意味著此server將承受著更多的IO壓力.
　　
　　在選舉新leader,需要考慮到"負載均衡",partition leader較少的broker將會更有可能成為新的leader.
　　
　　在整幾個叢集中,只要有一個replicas存活,那麼此partition都可以繼續接受讀寫操作.
　　
　　總結: 
　　
　　    1) Producer端直接連線broker.www.meiwanyule.cn list列表,從列表中返回TopicMetadataResponse,該Metadata包含Topic下每個partition leader建立socket連線併發送訊息.
　　
　　    2) Broker端使用zookeeper用來註冊broker資訊,以及監控partition leader存活性.
　　
　　    3) Consumer端使用zookeeper用來註冊consumer資訊,其中包括consumer消費的partition列表等,同時也用來發現broker列表,並和partition leader建立socket連線,並獲取訊息.
　　
　　效能測試
　　
　　目前我已經在虛擬機器上做了效能測試。
　　
　　測試環境：cpu: 雙核   記憶體 ：2GB   硬碟：60GB 
　　
　　測試指標
　　
　　效能相關說明
　　
　　結論
　　
　　訊息堆積壓力測試
　　
　　單個kafka broker節點測試，啟動一個kafka broker和Producer，Producer不斷向broker傳送資料，
　　
　　直到broker堆積資料為18GB為止(停止Producer執行)。啟動Consumer，不間斷從broker獲取資料，
　　
　　直到全部資料讀取完成為止，最後檢視Producer==Consumer資料，沒有出現卡死或broker不響應現象
　　
　　資料大量堆積不會出現broker卡死
　　
　　或不響應現象
　　
　　生產者速率 1.200byte/msg,4w/s左右。2.1KB/msg,1w/s左右 效能上是完全滿足要求，其效能主要由磁碟決定
　　
　　消費者速率 1.200byte/msg,4w/s左右。2.1KB/msg,1w/s左右 效能上是完全滿足要求，其效能主要由磁碟決定
　　
　　Python爬蟲全棧教學，零基礎教你成程式設計大神
　　
　　零基礎學爬蟲，你要掌握學習那些技能？