kafka學習筆記(二) kafka搭建
kafka安裝所需要的環境:
1.java環境
2.安裝zookeeper
1.獲取kafka安裝檔案
命令(opt目錄下):
wget https://archive.apache.org/dist/kafka/0.9.0.1/kafka_2.10-0.9.0.9.tgz
解壓命令:
tar zxf kafka_2.10-0.9.0.1.tgz
進入配置檔案目錄:
[[email protected] config]# cd /opt/kafka_2.10-0.9.0.1/config/
編輯
vi server.properties
修改引數如下:
broker.id=0 advertised.port=9092 advertised.host.name=192.168.230.131 num.network.threads=3 num.io.threads=8 log.dirs=/opt/kafka_2.10-0.9.0.1/kafkalogs socket.receive.buffer.bytes=102400 num.partitions=1 log.retention.hours=168 message.max.byte=5242880 default.replication.factor=2 replica.fetch.max.bytes=5242880 log.retention.check.interval.ms=300000 log.cleaner.enable=false zookeeper.connect=192.168.230.131:2181
切到bin目錄下:
啟動kafka
./kafka-server-start.sh -daemon ../config/server.properties
建立topic:
./kafka-topics.sh --create --zookeeper 127.0.0.1:2182 --topic test_topic --replication-factor 1 --partitions 8
至此 kafka已經啟動,開始測試:
在伺服器上啟動生產者:
./kafka-console-producer.sh --broker-list localhost:9092 --topic test_topic
在伺服器上啟動消費者:
./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test_topic --from-beginning
在生產者上面發一條訊息 如果消費者能接收到 說明安裝成功了。相關推薦
kafka學習筆記(二) kafka搭建
kafka安裝所需要的環境:1.java環境2.安裝zookeeper1.獲取kafka安裝檔案命令(opt目錄下):wget https://archive.apache.org/dist/kafka/0.9.0.1/kafka_2.10-0.9.0.9.tgz解壓命令:t
Kafka學習筆記:Kafka環境搭建
Kafka環境搭建 Kafka單機環境搭建 安裝必需 jdk,這裡使用的是jdk1.8 scala,需要獨立安裝scala,這裡使用的是scala 2.11.8 zookeeper,Kafka會自帶zk,但是最好使用獨立的 安裝步驟 1.將Kafka的tar包上傳
Docker下的Kafka學習之二:搭建叢集環境
在上一章《Docker下的Kafka學習之一:製作叢集用的映象檔案》中,我們把繼承了zookeeper和kafka的映象做好了,現在我們就用這個映象來搭建Kafka叢集環境。 Docker軟體版本 本次實戰的電腦作業系統是Win10專業版,安裝的Dock
Kafka學習筆記:Kafka命令列工具
Kafka命令列工具 啟動Kafka kafka-server-start.sh /opt/software/kafka_2.11-1.1.0/config/server.properties & 檢視所有Topic列表 kafka-topics.sh --z
Hadoop學習筆記(二)----環境搭建之CentOS 7 配置與安裝Hadoop
# Load additional iptables modules (nat helpers) # Default: -none- # Space separated list of nat helpers (e.g. 'ip_nat_ftp ip_nat_irc'), which # are load
Kafka學習筆記4--Kafka生產者的客戶端(PHP)開發
一、準備工作 雖然 Kafka 是用 Java/Scala 語言編寫的,但這不妨礙它對多語言的支援。可以在 Kafka 官網的 CLIENTS 檢視 Kafka 支援的語言,其中包括 C/C++、Python、Go 等語言。 PHP 操作 Kafka 需要安裝 librdkafka 庫和 kafka 的 PH
Kafka 學習筆記(二)
上一篇介紹了kafka的特點,這篇來記錄kafka的主要工作方式: 1.建立Topic, 2. 生產者生產 3.消費者消費 首先 建立 一個 test topic, 命令如下: ./kafka-topics.sh --zookeeper 172.28.201.217:2181 -
kfka學習筆記二:使用Python操作Kafka
1、準備工作 使用python操作kafka目前比較常用的庫是kafka-python庫,但是在安裝這個庫的時候需要依賴setuptools庫和six庫,下面就要分別來下載這幾個庫 1、下載setuptools 開啟這個網址會彈出類似下面的額下載視窗,選擇儲存檔案,點選確定
kafka學習筆記:知識點整理
一個 eight true med 分組 pos 間接 fig ges 一、為什麽需要消息系統 1.解耦: 允許你獨立的擴展或修改兩邊的處理過程,只要確保它們遵守同樣的接口約束。 2.冗余: 消息隊列把數據進行持久化直到它們已經被完全處理,通過這一方式規避了數據
Kafka學習筆記-Java簡單操作
interrupt new repl simple and cto seed blog false 轉自:http://www.cnblogs.com/edison2012/p/5759223.html Maven依賴包: <dependency>
Kafka 學習筆記之 架構
分別是 producer 跨語言 lan protoc repl cnblogs bsp 動態 Kafka的概念: 1、 AMQP協議 Advanced Message Queuing Protocol (高級消息隊列協議) The Advanced Messag
Kafka 學習筆記之 ZooKeeper作用
9.png lec 管理 信息 發現 ges ima cti http Kafka使用ZooKeeper 配置管理 Leader Election 服務發現 首先進入ZooKeeper客戶端: ls / 可以看到有以下節點: 查看Topic 配置信息:體現了ZooK
Kafka 學習筆記之 Consumer API
multipl 以及 keep manage broker api kafka sum multi Kafka提供了兩種Consumer API High Level Consumer API Low Level Consumer API(Kafka詭異的稱之為Simpl
Kafka 學習筆記之 Kafka0.11之console-producer/console-consumer
scribe tor 新的 producer 建立 actor sum consumer creat Kafka 學習筆記之 Kafka0.11之console-producer/console-consumer: 啟動Zookeeper 啟動Kafka0.11 創建一
Kafka學習筆記
分布 ack ado com 消息處理 消息系統 hadoop 目的 item Kafka是一種高吞吐量的分布式發布訂閱消息系統,它可以處理消費者規模的網站中的所有動作流數據。 Kafka的目的是通過Hadoop的並行加載機制來統一線上和離線的消息處理,也是為了通過集群來提
【Apache Kafka】Kafka學習筆記
local ets prop strong 當前 text 生產 create topic 0x00 基本信息 1、Kafka架構圖 2、環境信息 服務器IP:xx.xx.xx.xx 操作系統:CentOS7.2_x64 Kafka版本:kafka_2.12-1.1
Kafka學習(二)消費者
消費者: (1)配置: @Configuration @EnableKafka public class KafkaConsumerConfig { @Value("${spring.kafka.bootstrap-servers}") private String br
Kafka學習筆記 --- bootstrap-servers 和 broker.list區別
在使用的時候會用到bootstrap,與broker.list 本以為是兩個引數,其實是實現一個功能,檢視原始碼後發現broker.list是舊版本命令 val bootsrapServers = { if(properties.containsKey("metadata.broker.l
Kafka學習筆記(1)----Kafka的簡介和Linux下單機安裝
1. Kafka簡介 Kafka is a distributed,partitioned,replicated commit logservice。它提供了類似於JMS的特性,但是在設計實現上完全不同,此外它並不是JMS規範的實現。kafka對訊息儲存時根據Topic進行歸類,傳送訊息者成為Produ
Kafka學習筆記(3)----Kafka的資料複製(Replica)
1. CAP理論 1.1 Cosistency(一致性) 通過某個節點的寫操作結果對後面通過其他節點的讀操作可見。 如果更新資料後,併發訪問的情況下可立即感知該更新,稱為強一致性 如果允許之後部分或全部感知不到該更新,稱為弱一致性。 若在之後的一段時間(通常該時間不是固定的)後,