Kafka學習之七為什麼說Kafka使用磁碟比記憶體快

阿新 • • 發佈：2019-02-01

Kafka最核心的思想是使用磁碟，而不是使用記憶體，可能所有人都會認為，記憶體的速度一定比磁碟快，我也不例外。在看了Kafka的設計思想，查閱了相應資料再加上自己的測試後，發現磁碟的順序讀寫速度和記憶體持平。

而且Linux對於磁碟的讀寫優化也比較多，包括read-ahead和write-behind，磁碟快取等。如果在記憶體做這些操作的時候，一個是JAVA物件的記憶體開銷很大，另一個是隨著堆記憶體資料的增多，JAVA的GC時間會變得很長，使用磁碟操作有以下幾個好處：

磁碟快取由Linux系統維護，減少了程式設計師的不少工作。

磁碟順序讀寫速度超過記憶體隨機讀寫。

JVM的GC效率低，記憶體佔用大。使用磁碟可以避免這一問題。

系統冷啟動後，磁碟快取依然可用。

學習參考：

Kafka學習之七為什麼說Kafka使用磁碟比記憶體快

Kafka最核心的思想是使用磁碟，而不是使用記憶體，可能所有人都會認為，記憶體的速度一定比磁碟快，我也不例外。在看了Kafka的設計思想，查閱了相應資料再加上自己的測試後，發現磁碟的順序讀寫速度和記憶體持平。而且Linux對於磁碟的讀寫優化也

Kafka學習之四 Kafka常用命令

Kafka常用命令以下是kafka常用命令列總結： 1.檢視topic的詳細資訊 ./kafka-topics.sh -zookeeper 127.0.0.1:2181 -describe -topic testKJ1 2、為topic增加副本 ./kaf

我的kafka學習之路

初識kafka Kafka 從何而來？我們為什麼要開發 Kafka ? Kafka 到底是什麼？ Kafka 最初是 Linkedln 的一個內部基礎設施系統。我們發現，雖然有很多資料庫和系統可以用來儲存資料，但在我們的架構裡，剛好缺一個可以幫助處理持續資料流的元件。在開發 Kafka 之前

Kafka學習之路（一）Kafka的簡介

要求異步通信 images 等等 ron 服務器角色消費消息崩潰一、簡介 1.1　概述 Kafka是最初由Linkedin公司開發，是一個分布式、分區的、多副本的、多訂閱者，基於zookeeper協調的分布式日誌系統（也可以當做MQ系統），常見可以用於web/ng

Kafka學習之路（二）Kafka的架構

most 工具路由冪等用戶 toc 目標支持 mem 一、Kafka的集群架構如上圖所示，一個典型的Kafka集群中包含若幹Producer（可以是web前端產生的Page View，或者是服務器日誌，系統CPU、Memory等），若幹broker（Kafka支持

Kafka學習之路（五）Kafka在zookeeper中的存儲

序號 hadoop state 空閑 pre 離開 substr doc 退出當kafka啟動的時候，就會向zookeeper裏面註冊一些信息，這些數據也稱為Kafka的元數據信息。一、Kafka在zookeeper中存儲結構圖二、分析根目錄下的結構服務端開啟的

Kafka學習之路（三）Kafka的高可用

中一不同 ive topic 停止工作查找同時 llb fail 一、高可用的由來 1.1　為何需要Replication 在Kafka在0.8以前的版本中，是沒有Replication的，一旦某一個Broker宕機，則其上所有的Partition數據都不可被消費，這

Kafka學習之路（四）Kafka的安裝

server 表達 mage 配置 list 執行 ase cti releases zookeeper1：192.168.1.11 zookeeper2：192.168.1.12 zookeeper3：192.168.1.13 kafka1：192.168.1.14 k

Kafka學習之路（五）Kafka在zookeeper中的儲存

目錄正文回到頂部一、Kafka在zookeeper中儲存結構圖回到頂部二、分析 2.1　topic註冊資訊 /brokers/topics/[topic] : 儲存某個topic的partitions所有分配資訊 [zk: localh

Kafka學習整理七(producer和consumer程式設計實踐)

實踐程式碼採用kafka-clients V0.10.0.0 編寫一、編寫producer 第一步：使用./kafka-topics.sh 命令建立topic及partitions 分割槽數 ./kafka-topics.sh --create-

Kafka學習之Replication tools之Reassign Partitions Tool

此工具能做啥? 此工具的作用跟Referred Replica Leader Election工具類似，都是為了平衡叢集的負載。但工具不僅為某一個partition從assigned replica中選舉一個新的leader，還改變partition的assigned replica，回憶一下，follow

Kafka學習之consumer端部署及API

1、consumer.properties:檔案位於/resources目錄下 zookeeper.connect=192.168.0.1:2181test-datacenter/test-server # timeout in ms for connecting to

Docker下的Kafka學習之二：搭建叢集環境

在上一章《Docker下的Kafka學習之一：製作叢集用的映象檔案》中，我們把繼承了zookeeper和kafka的映象做好了，現在我們就用這個映象來搭建Kafka叢集環境。 Docker軟體版本本次實戰的電腦作業系統是Win10專業版，安裝的Dock

Kafka學習之監控

參考文件：https://kafka.apache.org/documentation.html#monitoring Kafka使用Yammer Metrics來報告server和client的眾多metric。還可以使用其他的外掛來跟你的監控系統連線起來，比如https://cwiki.apache.

Spring kafka 學習之二採用java 配置類方式傳送與接收訊息

參考資料：https://docs.spring.io/spring-kafka/reference/html/_introduction.html#compatibilityspring-kafka 版本：2.1.5.release1、配置類package com.hdsx

Kafka學習之Replication tools之Add Partition Tool

原文連結：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-5.AddPartitionTool 此工具能做啥? Kafka的partition表示併發度的單元：一個topic的訊息可以分

Apache Kafka學習之Kafka基本原理

Kafka是一個使用Scala編寫的訊息系統，原本開發自LinkedIn，用作LinkedIn的活動流（Activity Stream）和運營資料處理管道（Pipeline）的基礎。現在它已被多家不同型別的公司作為多種型別的資料管道和訊息系統使用。

【Python學習之七】面向對象高級編程——使用@property

https nbsp targe property itl lan pytho bsp 使用參考來自廖雪峰Python教程：https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a

Kafka學習——二、Kafka 基本概念——訊息、批次、主題、分割槽、borker、消費群組等

Kafka 基本概念訊息：類似於資料庫的記錄，由位元組陣列組成，訊息裡的資料沒有特別的格式或含義。訊息可以有一個可選的元資料(鍵)，主要是當以一種可控的方式寫入不同的分割槽時，需要用到。批次：用於提高效率，將訊息分批次寫入kafka，批次也就是一組訊息，但這些訊息屬於同一主題

Kafka 學習——一、Kafka 的安裝和測試

一、Kafka 安裝 1.1 Zookeeper 的安裝進入需要安裝的目錄 (此處以 /usr/software 為準) tar -zxvf /mnt/hgfs/share-file/zookeeper-3.4.13 sudo vim /etc/profil