一、首先是安裝安裝python3.6

 在安裝時，按照網上的命令，發現報錯

sudo add-apt-repository ppa:jonathonf/python-3.6

報錯資訊：找不到add-apt-repository命令。

sudo apt-get install python-software-properties
sudo apt-get update

sudo apt install software-properties-common
sudo apt-get update

成功！然後繼續

sudo apt-get update
sudo apt-get install python3.6
 

安裝成功，設定python的預設為python3.6

sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.5 1
sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.6 2

更改預設值，python預設為Python2，現在修改為Python3 

sudo update-alternatives --install /usr/bin/python python /usr/bin/python2 100
sudo update-alternatives --install /usr/bin/python python /usr/bin/python3 150
 

如果要切換到Python2，執行：

sudo update-alternatives --config python

安裝pip3*

curl https://bootstrap.pypa.io/get-pip.py | sudo python3.6

二、安裝zookeeper和Kafka

 按照上面的安裝又開始踩坑了。。

1、安裝jdk，本人安裝的java10.0最新版

[email protected]:/var/pywww$ java -version
java version "10.0.2" 2018-07-17
Java(TM) SE Runtime Environment 18.3 (build 10.0.2+13)
Java HotSpot(TM) 64-Bit Server VM 18.3 (build 10.0.2+13, mixed mode)

2、安裝zookeeper，

 解壓到了/usr/local/kafka/下

[email protected]:/var/pywww$ ls -ll /usr/local/kafka/
drwxr-xr-x  6 idve root 4096 7月  24 22:20 kafka_2.12-2.0.0
drwxr-xr-x 10 idve root 4096 3月  27 12:36 zookeeper-3.4.12

然後匯入環境變數

2. 配置環境變數

export zookeeper_home=/usr/local/kafka/zookeeper-3.3.6

3. 使配置生效

source /etc/profile

4. 成功標識

[[email protected]_2.10-0.9.0.1]# sh $zookeeper_home/bin/zkServer.sh start

JMX enabled by default

Using config: /usr/local/kafka/zookeeper-3.3.6/bin/../conf/zoo.cfg

grep: /usr/local/kafka/zookeeper-3.3.6/bin/../conf/zoo.cfg: No such file or directory

Starting zookeeper ... STARTED

但是～～～但是～～～我沒有成功標識，報錯了如下第一次是

Syntax error: "(" unexpected (expecting "fi")

百度得到的答案是Ubuntu的預設shell有問題，把dash改成bash,所以我又改成bash試試

[email protected]:~# cd /bin/
[email protected]:/bin# ls -l /bin/sh
lrwxrwxrwx 1 root root 4 Dec 23 22:30 /bin/sh -> dash(預設)
[email protected]:/bin# ln -sf bash /bin/sh
[email protected]:/bin# ls -l /bin/sh
lrwxrwxrwx 1 root root 4 Dec 23 22:37 /bin/sh -> bash

這樣修改後成功了啟動了。

接下來安裝kafka，沒什麼說的，解壓就可以了，需要注意的是配置檔案的說明：

然而～～～坑沒有填完，執行zookeeper時沒有問題，但是在執行kafka的時候，也就是

執行：sudo bin/kafka-server-start.sh config/server.properties

時候又報錯了：

/usr/local/kafka/kafka_2.12-2.0.0/bin/kafka-run-class.sh: 第 306 行: exec: java: 未找到

這個問題排查耗費了我3個小時，對，沒錯就是3個小時，一看就知道是java環境問題，但是網上的回答都不完整。

在配置java環境的時候，java從java6開始就沒有java/path/to/lib/tool.jar 和dt.dat這兩個檔案了。

同時，在配置java環境的時候不能只修改/etc/profile 檔案，本人就是一直按照網上的修改這個檔案報錯的。

真正的做法是修改/etc/environment 和 /etc/profile，這兩個檔案都要修改才行。

三、大招---生產和消費者程式碼

直接貼吧：

producer:

#!/var/bin/env python
# -*- coding: utf-8 -*-


import json
from kafka import KafkaProducer


def produce():
    producer = KafkaProducer(bootstrap_servers='localhost:9092')
    for i in range(2):
        msg_dict = {
            "db_config": {
                "database": "test_1",
                "host": "localhost",
                "user": "root",
                "password": "password"
            },
            "table": "msg",
            "msg": "測試下的第%s條資訊" % i
        }
        msg = json.dumps(msg_dict)
        re = producer.send('test', key=b'test', value=msg.encode("utf-8"))
    producer.close()
    print(re)


def to_str(bytes_or_str):
    if isinstance(bytes_or_str, str):
        value = bytes_or_str.encode('utf-8')
    else:
        value = bytes_or_str
    return value


if __name__ == '__main__':
    produce()

consumer:

#!/var/bin/env python
# -*- coding: utf-8 -*-


import json

from kafka import KafkaConsumer


def consumer():
    com = KafkaConsumer('test', bootstrap_servers=['localhost:9092'])
    for msg in com:
        value=json.loads(msg.value)
        rec = "%s:%d:%d: key=%s value=%s" % (msg.topic, msg.partition, msg.offset, msg.key, value)
        print(rec)


if __name__ == "__main__":
    consumer()