摘要：

　　Apache Kafka Java Client API

一、基本概念

　　Kafka集成了Producer/Consumer連線Broker的客戶端工具，但是在訊息處理方面，這兩者主要用於服務端（Broker）的簡單操作，如：

　　　　1.建立Topic

　　　　2.羅列出已存在的Topic

　　　　3.對已有Topic的Produce/Consume測試

　　跟其他的訊息系統一樣，Kafka提供了多種不用語言實現的客戶端API，如:Java，Python，Ruby，Go等。這些API極大的方便使用者使用Kafka叢集，本文將展示這些API的使用

二、前提

• 在本地虛擬機器中安裝了Kafka 0.11.0版本，可以參照前一篇文章：  
  Apache Kafka系列(一) 起步
• 本地安裝有JDK1.8
• IDEA編譯器
• Maven3

三、專案結構

　　Maven pom.xml如下：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion
 
>

  <groupId>com.randy</groupId>
  <artifactId>kafka_api_demo</artifactId>
  <version>1.0-SNAPSHOT</version>
  <name>Maven</name>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <maven.compiler.source
 
>1.8</maven.compiler.source>
    <maven.compiler.target>1.8</maven.compiler.target>
  </properties>

  <dependencies>
    <dependency>
      <groupId>org.apache.kafka</groupId>
      <artifactId>kafka-clients</artifactId>
      <version>0.11.0.0</version>
    </dependency>
  </dependencies>
</project>

四、原始碼

　　4.1 Producer的原始碼　　　　

package com.randy;

import java.util.Properties;

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerRecord;


/**
 * Author  : RandySun
 * Date    : 2017-08-13  16:23
 * Comment :
 */
public class ProducerDemo {

    public static void main(String[] args){
        Properties properties = new Properties();
        properties.put("bootstrap.servers", "192.168.1.110:9092");
        properties.put("acks", "all");
        properties.put("retries", 0);
        properties.put("batch.size", 16384);
        properties.put("linger.ms", 1);
        properties.put("buffer.memory", 33554432);
        properties.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        properties.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        Producer<String, String> producer = null;
        try {
            producer = new KafkaProducer<String, String>(properties);
            for (int i = 0; i < 100; i++) {
                String msg = "Message " + i;
                producer.send(new ProducerRecord<String, String>("HelloWorld", msg));
                System.out.println("Sent:" + msg);
            }
        } catch (Exception e) {
            e.printStackTrace();

        } finally {
            producer.close();
        }

    }
}

　　可以使用KafkaProducer類的例項來建立一個Producer，KafkaProducer類的引數是一系列屬性值，下面分析一下所使用到的重要的屬性：

• bootstrap.servers

properties.put("bootstrap.servers", "192.168.1.110:9092");

　　　bootstrap.servers是Kafka叢集的IP地址，如果Broker數量超過1個，則使用逗號分隔，如"192.168.1.110:9092,192.168.1.110:9092"。其中，192.168.1.110是我的其中一臺虛擬機器的

           IP地址，9092是所監聽的埠

• key.serializer   &  value.serializer

        properties.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        properties.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

　　   序列化型別。 Kafka訊息是以鍵值對的形式傳送到Kafka叢集的，其中Key是可選的，Value可以是任意型別。但是在Message被髮送到Kafka叢集之前，Producer需要把不同型別的消

　　　息序列化為二進位制型別。本例是傳送文字訊息到Kafka叢集，所以使用的是StringSerializer。

• 傳送Message到Kafka叢集

   for (int i = 0; i < 100; i++) {
      String msg = "Message " + i;
      producer.send(new ProducerRecord<String, String>("HelloWorld", msg));
      System.out.println("Sent:" + msg);
   }

　　　上述程式碼會發送100個訊息到HelloWorld這個Topic

　　4.2 Consumer的原始碼

package com.randy;

import java.util.Arrays;
import java.util.Properties;

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

/**
 * Author  : RandySun
 * Date    : 2017-08-13  17:06
 * Comment :
 */
public class ConsumerDemo {

    public static void main(String[] args){
        Properties properties = new Properties();
        properties.put("bootstrap.servers", "192.168.1.110:9092");
        properties.put("group.id", "group-1");
        properties.put("enable.auto.commit", "true");
        properties.put("auto.commit.interval.ms", "1000");
        properties.put("auto.offset.reset", "earliest");
        properties.put("session.timeout.ms", "30000");
        properties.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        properties.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

        KafkaConsumer<String, String> kafkaConsumer = new KafkaConsumer<>(properties);
        kafkaConsumer.subscribe(Arrays.asList("HelloWorld"));
        while (true) {
            ConsumerRecords<String, String> records = kafkaConsumer.poll(100);
            for (ConsumerRecord<String, String> record : records) {
                System.out.printf("offset = %d, value = %s", record.offset(), record.value());
                System.out.println();
            }
        }

    }
}

　　可以使用KafkaConsumer類的例項來建立一個Consumer，KafkaConsumer類的引數是一系列屬性值，下面分析一下所使用到的重要的屬性：

• bootstrap.servers

　　  和Producer一樣，是指向Kafka叢集的IP地址，以逗號分隔。

• group.id

　　   Consumer分組ID

• key.deserializer and value.deserializer

 發序列化。Consumer把來自Kafka叢集的二進位制訊息反序列化為指定的型別。因本例中的Producer使用的是String型別，所以呼叫StringDeserializer來反序列化

　　Consumer訂閱了Topic為HelloWorld的訊息，Consumer呼叫poll方法來輪循Kafka叢集的訊息，其中的引數100是超時時間（Consumer等待直到Kafka叢集中沒有訊息為止）： 

        kafkaConsumer.subscribe(Arrays.asList("HelloWorld"));
        while (true) {
            ConsumerRecords<String, String> records = kafkaConsumer.poll(100);
            for (ConsumerRecord<String, String> record : records) {
                System.out.printf("offset = %d, value = %s", record.offset(), record.value());
                System.out.println();
            }
        }

五、總結

　　本文展示瞭如何建立一個Producer並生成String型別的訊息，Consumer消費這些訊息。這些都是基於Apache Kafka 0.11.0 Java API。