1. 實現背景

由於部門及已上專案使用的是CDH版本大資料平臺，為了更好改善線上生產系統日誌實時抓取分析。需要加裝Kafka作為採集資料來源，使用SparkStreaming處理資料。

1. 安裝環境
   1. 硬體規劃

CPU	實體記憶體	磁碟儲存	節點
1核X2顆 Intel Core Processor 2295MHZ (Haswell, no TSX)	8GB	80G	192.17.10.136
1核X2顆 Intel Core Processor 2295MHZ (Haswell, no TSX)	8GB	80G	192.17.10.138
1核X2顆 Intel Core Processor 2295MHZ (Haswell, no TSX)	8GB	80G	192.17.10.139

1. 1. 軟體規劃

類別	軟體清單	備註
作業系統	CentOS Linux release 7.2.1511
大資料平臺	CDH5.13.1 Hadoop2.6.0 Spark1.6.0 Java1.7.0.9 MySql 5.7.21 Hive:1.1.0 Scala2.10.5 HBase HDFS Kafka3.1.0 …

1. 1. 目錄規劃
2. CDH相關安裝目錄：/opt/cloudera/parcels/CDH
3. Kafka安裝目錄：cct-bigdata-3節點 /opt/cloudera/parcels/KAFKA-3.1.0-1.3.1.0.p0.35

1. 安裝步驟
   1. 環境配置

本次是基於已有CDH環境下，線上增加安裝Kafka服務。確保伺服器能正常連線外網，用於下載介質服務包。

1. 1. Kafka安裝
2. 登入CM控制檯後，選擇“主機”—>選擇Parcel—>下載Kafka—>進行分配和啟用
3. 進入群集中BigData CDH parcel—>滑鼠點選“操作”按鈕—>新增服務—>選擇Kafka服務項—>按照嚮導進行安裝（考慮服務節點硬體配置效能，安裝cct-bigdata-3節點）—>啟動Kafka服務
   1. 啟動驗證

1. kafka-topics.sh --create --zookeeper cct-bigdata-3:2181 --replication-factor 1 --partitions 1 --topic test

注：topic是釋出訊息釋出的category,以單節點的配置建立了一個叫test的topic.可以用list列出所有建立的topics,來檢視剛才建立的主題是否存在。

1. kafka-topics.sh --list --zookeeper cct-bigdata-3:2181

注：檢視topics訊息內容

1. 用producer生產點資料：kafka-console-producer.sh --broker-list cct-bigdata-3:9092 --topic test

hello test

hello aaaa

hadoop first kafka

1. 再次開啟新的終端或者直接按CTRL+C退出。然後使用consumer來接收資料。

kafka-console-consumer.sh --zookeeper cct-bigdata-3:2181 --topic test --from-beginning

正常會顯示前面三條訊息內容，這表示kafka安裝及服務成功。

1. Kafka安裝相關問題

【報錯資訊】安裝kafka服務啟動，報ERROR kafka.tools.MirrorMaker$: whitelist must be specified when using new consumer in mirror maker.

【原因分析】白名單未配置問題導致的

【解決方法】需要新增配置如下圖畫紅框的引數

cct-bigdata-3:9092

【報錯資訊】安裝kafka服務啟動，報java.lang.OutOfMemoryError: Java heap space

Dumping heap to /tmp/kafka2_kafka2-KAFKA_BROKER-1e04967977cc5aba9079e526679ab18c_pid2185.hprof ...

Heap dump file created [13353447 bytes in 0.090 secs]

【原因分析】java記憶體過低導致broker啟動失敗，Java Heap size of Broker這個選項預設配置是 50M

【解決方法】進入CM配置kafka找到Java Heap size of Broker，建議修改最低配置記憶體不小於256M，此處可根據自己實體記憶體大小合理分配。

【報錯資訊】啟動kafka-console-producer --broker-list 127.0.0.1:9092 --topic test報18/07/06 09:00:57 WARN clients.NetworkClient: [Producer clientId=console-producer] Connection to node -1 could not be established. Broker may not be available

【原因分析】在配置plaintext的時候，地址配置的是cct-bigdata-3（cct-bigdata-3是我在/etc/hosts檔案裡面配置的127.0.0.1），而我連線的時候，使用的是：127.0.0.1

【解決方法】改為和plaintext的地址配置一樣，才可以。kafka-console-producer --broker-list cct-bigdata-3:9092 --topic test。

1. Spark Streaming整合驗證
   1. 環境檢查

1. 檢查org.apache.spark.streaming.kafka._相關包是否已具備，啟動spark-shell

如出現此圖反饋，則說明相關包都存在，否則需要到官網下載相對應版本的Jar包。

1. 檢查Sbt，如無則需要安裝。安裝步驟：

• 解壓下載包：tar zxvf sbt-1.0.3.tgz 解壓安裝目錄/usr/local/sbt
• 建立啟動檔案：

cd /usr/local/sbt/

vi sbt

內容如下:

#!/bin/bash

SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M"

java $SBT_OPTS -jar /usr/local/sbt/bin/sbt-launch.jar "[email protected]"

• 修改指令碼檔案許可權：chmod u+x sbt
• 配置PATH環境變數：

可以選擇配置~/.bashrc 或 /etc/profile，此處以配置 /etc/profile為例

vi /etc/profile

在檔案尾部新增如下程式碼後，儲存退出

export PATH=/usr/local/sbt/:$PATH

使配置檔案立刻生效

source /etc/profile

• 測試sbt是否安裝成功：sbt sbt-version

1. 檢查maven
   1. 編寫Scala

Spark streaming測試案例原始碼存放目錄：/usr/local/mycode/spark/kafka/src/main/scala

1. vi KaWordProducer.scala，此程式碼目的是生成一系列字串的程式，會產生隨機的整數序列，每個整數被當做一個單詞，提供給KafkaWordCount程式去進行詞頻統計。

原始碼見

1. vi KaWordCount.scala，此程式碼目的是用於字元詞頻統計，它會把KaWordProducer傳送過來的單詞進行詞頻統計。

原始碼見

1. vi StreamingExample.scala，此程式碼目的是用於設定log4j。

原始碼見

1. 新增依賴jar庫，編寫依賴託管編譯檔案simple1.sbt，內容如下：

name:= "Simple1 Project"

version:="1.0"

scalaVersion:="2.10.5"

libraryDependencies ++= Seq(

  // Spark dependency

  "org.apache.spark" %% "spark-core" % "1.6.0",

  "org.apache.spark" %% "spark-streaming" % "1.6.0",

  "org.apache.spark" %% "spark-streaming-kafka" % "1.6.0"

)

因為此案例依賴spark-core\spark-streaming\spark-streaming-kafka相關jar包，需要在打包編譯的時加入。

注意:Scala通過sbt打包編譯對程式碼存放目錄結構是有要求，具體示例如下：

[[email protected] kafka]# find .

.

./src

./src/main

./src/main/scala

./src/main/scala/KaWordProducer.scala

./src/main/scala/StreamingExample.scala

./src/main/scala/KaWordCount.scala

./simple.sbt

1. 1. 驗證Scala

測試上述已經編寫詞頻統計程式：

1. Sbt編譯打包

/usr/local/sbt/sbt package

1. Spark-submit提交已編譯隨機生成字元包

spark-submit --class org.apache.spark.examples.streaming.KaWordProducer /usr/local/mycode/spark/kafka/target/scala-2.10/simple-project_2.10-1.0.jar cct-bigdata-3:9092 wordsender 3 5

注意，上面命令中，” cct-bigdata-3:9092 wordsender 3 5″是提供給KaWordProducer程式的4個輸入引數，第1個引數cct-bigdata-3:9092是Kafka的broker的地址，第2個引數wordsender是topic的名稱，我們在KaWordCount.scala程式碼中已經把topic名稱寫死掉，所以，KaWordCount程式只能接收名稱為”wordsender”的topic。第3個引數“3”表示每秒傳送3條訊息，第4個引數“5”表示，每條訊息包含5個單詞（實際上就是5個整數）。

這個終端視窗就放在這裡，不要關閉，由其一直不斷髮送單詞。在新的視窗開啟詞頻統計功能

1. Spark-submit提交已編譯記錄詞頻包

spark-submit --class org.apache.spark.examples.streaming.KaWordCount /usr/local/mycode/spark/kafka/target/scala-2.10/simple-project_2.10-1.0.jar

如出現上圖內容，則表示kafka與SparkStreaming整合OK。

1. 1. 異常處理

【異常資訊】執行安裝配置sbt異常記錄

[[email protected] sbt]# sbt sbt-version

Getting org.scala-sbt sbt 0.13.17  (this may take some time)...

:: problems summary ::

:::: WARNINGS

                module not found: org.scala-sbt#sbt;0.13.17

        ==== local: tried

          /root/.ivy2/local/org.scala-sbt/sbt/0.13.17/ivys/ivy.xml

          -- artifact org.scala-sbt#sbt;0.13.17!sbt.jar:

          /root/.ivy2/local/org.scala-sbt/sbt/0.13.17/jars/sbt.jar

        ==== local-preloaded-ivy: tried

          file:////root/.sbt/preloaded/org.scala-sbt/sbt/0.13.17/ivys/ivy.xml

        ==== local-preloaded: tried

          file:////root/.sbt/preloaded/org/scala-sbt/sbt/0.13.17/sbt-0.13.17.pom

          -- artifact org.scala-sbt#sbt;0.13.17!sbt.jar:

          file:////root/.sbt/preloaded/org/scala-sbt/sbt/0.13.17/sbt-0.13.17.jar

        ==== Maven Central: tried

          https://repo1.maven.org/maven2/org/scala-sbt/sbt/0.13.17/sbt-0.13.17.pom

          -- artifact org.scala-sbt#sbt;0.13.17!sbt.jar:

          https://repo1.maven.org/maven2/org/scala-sbt/sbt/0.13.17/sbt-0.13.17.jar

        ==== typesafe-ivy-releases: tried

          https://repo.typesafe.com/typesafe/ivy-releases/org.scala-sbt/sbt/0.13.17/ivys/ivy.xml

        ==== sbt-ivy-snapshots: tried

          https://repo.scala-sbt.org/scalasbt/ivy-snapshots/org.scala-sbt/sbt/0.13.17/ivys/ivy.xml

                ::::::::::::::::::::::::::::::::::::::::::::::

                ::          UNRESOLVED DEPENDENCIES         ::

                ::::::::::::::::::::::::::::::::::::::::::::::

                :: org.scala-sbt#sbt;0.13.17: not found

                ::::::::::::::::::::::::::::::::::::::::::::::

:::: ERRORS

        Server access Error: Received fatal alert: protocol_version url=https://repo1.maven.org/maven2/org/scala-sbt/sbt/0.13.17/sbt-0.13.17.pom

        Server access Error: Received fatal alert: protocol_version url=https://repo1.maven.org/maven2/org/scala-sbt/sbt/0.13.17/sbt-0.13.17.jar

        Server access Error: Remote host closed connection during handshake url=https://repo.typesafe.com/typesafe/ivy-releases/org.scala-sbt/sbt/0.13.17/ivys/ivy.xml

        Server access Error: Remote host closed connection during handshake url=https://repo.scala-sbt.org/scalasbt/ivy-snapshots/org.scala-sbt/sbt/0.13.17/ivys/ivy.xml

:: USE VERBOSE OR DEBUG MESSAGE LEVEL FOR MORE DETAILS

unresolved dependency: org.scala-sbt#sbt;0.13.17: not found

Error during sbt execution: Error retrieving required libraries

  (see /root/.sbt/boot/update.log for complete log)

Error: Could not retrieve sbt 0.13.17

【原因分析】可能因伺服器採用的是虛擬機器網路問題或需要訪問國際網路服務，導致原有的https協議無法使用。

【解決方法】

通過修改sbt-launch.jar中sbt下sbt.boot.properties檔案中：

注意先備份sbt-launch.jar

1）、[repositories]原內容maven-central改成maven-central: http://repo1.maven.org/maven2

2）、[repositories]原內容typesafe-ivy-releases和sbt-ivy-snapshots：中的https改成http協議

3）、重新打包覆蓋掉sbt-launch.jar原檔案

4）、重新執行sbt sbt-version，第一次執行耗時大約需10多分鐘左右，下載所需依賴jar包。如成功的話，應顯示：

[warn] No sbt.version set in project/build.properties, base directory: /usr/local/sbt

[info] Set current project to sbt (in build file:/usr/local/sbt/)

[info] 0.13.17

【異常資訊】執行打包編譯sbt package時，出現無法下載對應依賴包

【原因分析】可能因伺服器採用的是虛擬機器網路問題或需要訪問國際網路服務，導致原有的https協議無法使用。

【解決方法】通過修改sbt-launch.jar中sbt下sbt.boot.properties檔案中：

注意先備份sbt-launch.jar

1）、[repositories]原內容maven-central改成maven-central: http://repo1.maven.org/maven2

2）、[repositories]原內容typesafe-ivy-releases和sbt-ivy-snapshots：中的https改成http協議

3）、重新打包覆蓋掉sbt-launch.jar原檔案

4）、重新執行sbt package，第一次執行耗時大約需10多分鐘左右，下載所需依賴jar包。

另外如果發現還有未下載依賴包失敗，可以單獨wget下載下來存放本地maven庫（注意根據報錯提示路徑存放），然後再重新打包sbt package即可。