一 kafka某個offset的監控工具


(1).開源社群有相應的元件進行監控


a.下載 kafka offset監控 (地址連結)
https://pan.baidu.com/s/1sj0YERV  (如果失效,可以上社群搜尋)

b. 解壓後發現KafkaOffsetMonitor-assembly-0.2.1.jar,即為監控元件


c.編寫指令碼(可定時啟動)


KafkaOffsetMonitor-assembly-0.2.1.jar


vim kafkaOffsetMonitor.sh
#!  /bin/bash

java -cp KafkaOffsetMonitor-assembly-0.2.1.jar \ 

com.quantifind.kafka.offsetapp.OffsetGetterWeb \ 
–offsetStorage kafka 
–zk zk-server1,zk-server2 \ 
–port 8080 \ 
–refresh 10.seconds \      #refresh per 10s


–retain 2.days






(2) 利用kafka命令(每10s監控一次)


vim kafkaOffsetMonitor.sh
 #! /bin/bash

a=0
while true
do

kafka-run-class.sh kafka.tools.GetOffsetShell --topic test --time -1 --broker-list  hadoop:9092,spark:9092
a=$(($a+1))
echo "=========== The ${a}th print kafka offset ==========="
sleep 10s

done


二 .再平衡kafka topic各分割槽的partition 
均衡topic的partition的leader到各個節點,使每個broker的負載能夠均衡承擔,增加穩定性,可用性(特別適用於某些broker重新回覆到ISR中時,進行topic的各partitions leader的均衡分佈


同時，與執行該工具前相比，Leader的分配更均勻
$KAFKA_HOME/bin/kafka-preferred-replica-election.sh  --zookeeper    hadoop:2181,spark:2181/kafka10



三.驗證所指定的一個或多個Topic下每個Partition對應的所有Replica是否都同步

此命令也可以監控offset
opt/kafka_2.11-0.10.0.0/bin/kafka-replica-verification.sh  --broker-list  hadoop:9092,spark:9092    --topic-white-list  test








opt/kafka_2.11-0.10.0.0/bin/kafka-replica-verification.sh  --broker-list  hadoop:9092,spark:9092   --topic      test




四 .收集當前topic的某時間段的資料


/home/sznongfu/opt/kafka_2.11-0.10.0.0/bin/kafka-console-consumer.sh  --zookeeper hadoop:2181,spark:2181/kafka10   --topic test   >>/tmp/kafkaRM-7.1.dat &

五.linux  監控 IO,NIC  ,TOP

1.IOSTAT  -x   時間間隔(s)  次數

 iostat  -x 1 10

2.SAR 監控網路流量

#sar -n選項使用6個不同的開關：DEV，EDEV，NFS，NFSD，SOCK，IP，EIP，ICMP，EICMP，TCP，ETCP，UDP，SOCK6，IP6，EIP6，ICMP6，EICMP6和UDP6 ，DEV顯示網路介面資訊，EDEV顯示關於網路錯誤的統計資料，NFS統計活動的NFS客戶端的資訊，NFSD統計NFS伺服器的資訊，SOCK顯示套接字資訊，ALL顯示所有5個開關。它們可以單獨或者一起使用。 

 2.1：sar -n DEV 1 1： 每間隔1秒統計一次，總計統計1次，下面的average是在多次統計後的平均值

            #IFACE 本地網絡卡介面的名稱

            #rxpck/s 每秒鐘接受的資料包

            #txpck/s 每秒鐘傳送的資料庫

            #rxKB/S 每秒鐘接受的資料包大小，單位為KB

            #txKB/S 每秒鐘傳送的資料包大小，單位為KB

             #rxcmp/s 每秒鐘接受的壓縮資料包

             #txcmp/s 每秒鐘傳送的壓縮包

             #rxmcst/s 每秒鐘接收的多播資料包    

    2..2：sar -n EDEV  1 1  #統計網路裝置通訊失敗資訊：             

             #IFACE 網絡卡名稱
 
            #rxerr/s 每秒鐘接收到的損壞的資料包
 
            #txerr/s 每秒鐘傳送的資料包錯誤數
 
            #coll/s 當傳送資料包時候，每秒鐘發生的衝撞（collisions）數，這個是在半雙工模式下才有
 
            #rxdrop/s 當由於緩衝區滿的時候，網絡卡裝置接收端每秒鐘丟掉的網路包的數目
 
            #txdrop/s 當由於緩衝區滿的時候，網路裝置傳送端每秒鐘丟掉的網路包的數目
 
            #txcarr/s  當傳送資料包的時候，每秒鐘載波錯誤發生的次數
 
            #rxfram   在接收資料包的時候，每秒鐘發生的幀對其錯誤的次數
 
            #rxfifo    在接收資料包的時候，每秒鐘緩衝區溢位的錯誤發生的次數
 
            #txfifo    在發生資料包 的時候，每秒鐘緩衝區溢位的錯誤發生的次數
 

       2.3：sar -n SOCK 1 1  #統計socket連線資訊

             #totsck 當前被使用的socket總數


            #tcpsck 當前正在被使用的TCP的socket總數


            #udpsck  當前正在被使用的UDP的socket總數


            #rawsck 當前正在被使用於RAW的skcket總數


            #if-frag  當前的IP分片的數目


            #tcp-tw TCP套接字中處於TIME-WAIT狀態的連線數量

########如果你使用FULL關鍵字，相當於上述DEV、EDEV和SOCK三者的綜合 

       2.4：sar -n TCP 1 3 #TCP連線的統計

                #active/s 新的主動連線

                #passive/s 新的被動連線

                #iseg/s 接受的段

                #oseg/s 輸出的段

        1.10.5：sar -n 使用總結

-n DEV ： 網路介面統計資訊。
-n EDEV ： 網路介面錯誤。
-n IP ： IP資料報統計資訊。
-n EIP ： IP錯誤統計資訊。
-n TCP ： TCP統計資訊。
-n ETCP ： TCP錯誤統計資訊。
-n SOCK ： 套接字使用。n DEV ： 網路介面統計資訊。
-n EDEV ： 網路介面錯誤。
-n IP ： IP資料報統計資訊。
-n EIP ： IP錯誤統計資訊。
-n TCP ： TCP統計資訊。
-n ETCP ： TCP錯誤統計資訊。
-n SOCK ： 套接字使用。

      1.10.6：常用命令彙總，因版本和平臺不同，有部分命令可能沒有或顯示結果不一致：

預設監控: sar 5 5     //  CPU和IOWAIT統計狀態 
(1) sar -b 5 5        // IO傳送速率
(2) sar -B 5 5        // 頁交換速率
(3) sar -c 5 5        // 程序建立的速率
(4) sar -d 5 5        // 塊裝置的活躍資訊
(5) sar -n DEV 5 5    // 網路裝置的狀態資訊
(6) sar -n SOCK 5 5   // SOCK的使用情況
(7) sar -n ALL 5 5    // 所有的網路狀態資訊
(8) sar -P ALL 5 5    // 每顆CPU的使用狀態資訊和IOWAIT統計狀態 
(9) sar -q 5 5        // 佇列的長度（等待執行的程序數）和負載的狀態
(10) sar -r 5 5       // 記憶體和swap空間使用情況
(11) sar -R 5 5       // 記憶體的統計資訊（記憶體頁的分配和釋放、系統每秒作為BUFFER使用記憶體頁、每秒被cache到的記憶體頁）
(12) sar -u 5 5       // CPU的使用情況和IOWAIT資訊（同預設監控）
(13) sar -v 5 5       // inode, file and other kernel tablesd的狀態資訊
(14) sar -w 5 5       // 每秒上下文交換的數目
(15) sar -W 5 5       // SWAP交換的統計資訊(監控狀態同iostat 的si so)
(16) sar -x 2906 5 5  // sar 5 5     //  CPU和IOWAIT統計狀態 
(1) sar -b 5 5        // IO傳送速率
(2) sar -B 5 5        // 頁交換速率
(3) sar -c 5 5        // 程序建立的速率
(4) sar -d 5 5        // 塊裝置的活躍資訊
(5) sar -n DEV 5 5    // 網路裝置的狀態資訊
(6) sar -n SOCK 5 5   // SOCK的使用情況
(7) sar -n ALL 5 5    // 所有的網路狀態資訊
(8) sar -P ALL 5 5    // 每顆CPU的使用狀態資訊和IOWAIT統計狀態 
(9) sar -q 5 5        // 佇列的長度（等待執行的程序數）和負載的狀態
(10) sar -r 5 5       // 記憶體和swap空間使用情況
(11) sar -R 5 5       // 記憶體的統計資訊（記憶體頁的分配和釋放、系統每秒作為BUFFER使用記憶體頁、每秒被cache到的記憶體頁）
(12) sar -u 5 5       // CPU的使用情況和IOWAIT資訊（同預設監控）
(13) sar -v 5 5       // inode, file and other kernel tablesd的狀態資訊
(14) sar -w 5 5       // 每秒上下文交換的數目
(15) sar -W 5 5       // SWAP交換的統計資訊(監控狀態同iostat 的si so)
(16) sar -x 2906 5 5  //