kafka(四):server.properties關鍵資訊
阿新 • • 發佈:2018-11-08
server.properties的其他關鍵配置:!!!
一、必須配置 1.broker.id=0 ##給定broker的id的值,在一個kafka叢集中該引數必須唯一 2.port=9092 ##監聽的埠號,預設9092,需要保證改埠沒有被使用 3.host.name=bigdata-01 ##監聽的主機名,預設是localhost,需要更改為hostname 3.log.dirs=/opt/cdh-5.3.6/kafka/data/0 ##指定kafka儲存磁碟的路徑,可以使用","分割,給定多個磁碟路徑;如果伺服器掛載多個磁碟,可以將kafka的資料分佈儲存到不同的磁碟中(每個磁碟寫一個路徑),對於Kafka的資料的讀寫效率有一定的提升(場景:高併發、大資料量的情況) 4.zookeeper.connect=bigdata-01:2181/kafka ##配置kafka連線zk的相關資訊,連線url以及kafka資料儲存的zk根目錄;這裡的配置含義是:連線hadoop-senior02機器2181埠的zookeeper作為kafka的元資料管理zk,zk中使用/kafka作為kafka元資料儲存的根目錄,預設kafka在zk中的根目錄是zk的頂級目錄("/") ========================================================================================= 二、調優配置 1.預設資料保留時間168h=7天 # The minimum age of a log file to be eligible for deletion log.retention.hours=168 2.最大接收資料的大小,預設是1Mb # The maximum size of a request that the socket server will accept (protection against OOM) socket.request.max.bytes=104857600 3.每個partition裡面會有多個segment(分片),讀和寫都是按照分片順序。 # The maximum size of a log segment file. When this size is reached a new log segment will be created. log.segment.bytes=1073741824 4.zookeeper連線超時時間6s # Timeout in ms for connecting to zookeeper zookeeper.connection.timeout.ms=6000 5.zookeeper連線資訊,多臺就用逗號連線 # root directory for all kafka znodes. zookeeper.connect=bigdata.ibeifeng.com:2181/kafka08,bigdata.ibeifeng.com:2181/kafka09