Filebeat占用內存和CPU過高問題排查

阿新 • • 發佈：2019-04-09

ast beat 輸出可能 follow tput 部署 cpu 一個

經反饋，新部署的服務器上filebeat占用的cpu過高，且內存只增不減。

而據我了解filebeat非常輕量級，正常情況下占用的資源幾乎都能忽略不計，所以懷疑是filebeat本身出了問題。

第一時間查看filebeat日誌（默認路徑/var/log/filebeat/filebeat），發現有大量內容輸出：

2019-03-20T08:55:02.198+0800    INFO    kafka/log.go:53 producer/broker/544 starting up
2019-03-20T08:55:02.198+0800    INFO    kafka/log.go:53 producer/broker/544 
 state change to [open] on wp-news-filebeat/4
2019-03-20T08:55:02.198+0800    INFO    kafka/log.go:53 producer/leader/wp-news-filebeat/4 selected broker 544
2019-03-20T08:55:02.198+0800    INFO    kafka/log.go:53 producer/broker/478 state change to [closing] because EOF
2019-03-20T08:55:02.199+0800    INFO    kafka/log.go:53 Closed connection to broker bitar1d12:9092 

2019-03-20T08:55:02.199+0800    INFO    kafka/log.go:53 producer/leader/wp-news-filebeat/5 state change to [retrying-3]
2019-03-20T08:55:02.199+0800    INFO    kafka/log.go:53 producer/leader/wp-news-filebeat/4 state change to [flushing-3]
2019-03-20T08:55:02.199+0800    INFO    kafka/log.go:53 producer/leader/wp-news-filebeat/5 abandoning broker 478 

2019-03-20T08:55:02.199+0800    INFO    kafka/log.go:53 producer/leader/wp-news-filebeat/2 state change to [retrying-2]
2019-03-20T08:55:02.199+0800    INFO    kafka/log.go:53 producer/leader/wp-news-filebeat/2 abandoning broker 541
2019-03-20T08:55:02.199+0800    INFO    kafka/log.go:53 producer/leader/wp-news-filebeat/3 state change to [retrying-2]
2019-03-20T08:55:02.199+0800    INFO    kafka/log.go:53 producer/broker/478 shut down

看日誌描述，似乎是一直地在不停的創建和關閉kafka連接。

起初懷疑是kafka相關dns沒有配置（/etc/resolve.conf）導致連不上kafka的broker，但檢查並和正常的機器對比後，dns配置是一樣的，也就排除了這種情況。

接下來懷疑可能是filebeat版本的問題，因為elastic家族的產品就是那個尿性，發版速度很頻繁，而且不同大版本有很多不兼容。

對比filebeat版本，發現它的版本（6.5.3）比正常的服務器（5.6.12）高一個大版本，所以懷疑不同版本對kafka的處理機制不一樣導致的。

為了驗證這個問題，在查閱filebeat官網後發現，6.5.x默認kafka的版本是1.0.0，而5.6.x默認的是0.8.2.0，而詢問運維得知kafka版本是0.10.2.2，所以問題基本確認。

根據官方文檔描述，在配置中指定了kafka版本：

output.kafka:
version: 0.10.2.2
...

問題得以解決。

參考

https://www.elastic.co/guide/en/beats/filebeat/6.5/kafka-output.html#_literal_version_literal

https://www.elastic.co/guide/en/beats/filebeat/5.6/kafka-output.html#_version

Filebeat占用內存和CPU過高問題排查

ast beat 輸出可能 follow tput 部署 cpu 一個經反饋，新部署的服務器上filebeat占用的cpu過高，且內存只增不減。而據我了解filebeat非常輕量級，正常情況下占用的資源幾乎都能忽略不計，所以懷疑是filebeat本身出了問題。第

數據類型所占用內存的大小

變量占用內存定義查看 pen 決定 size 驗證 pri 數據類型所占的大小是由編譯器和你電腦的架構共同決定的。舉個例子：定義一個int x=0; 那麽怎麽去查看到底這個int型的x變量占用的內存大小呢。 c++中提供了sizeof這個函數。我們可以打印siz

esxi6.x下查看主機內存和CPU的分配使用關系命令

主機本文出自 “我還活著呢” 博客，請務必保留此出處http://hujizhou.blog.51cto.com/514907/1931036esxi6.x下查看主機內存和CPU的分配使用關系命令

python_清理占用內存的腳本

class 執行 span dig pslist 超過 () ansible else 腳本內容如下： vim ~/shell/clean_cache.py 1 #!/usr/bin/python 2 #conding=utf-8 3 #該腳本用於清理服務器當

(轉)增加定時檢測linux占用內存，及時清理功能

idle 內存檢測內存一定的 top 服務清理內存 mon attribute 增加定時檢測linux占用內存，及時清理功能原文:http://www.voidcn.com/article/p-wnmannom-boa.html free -m 查看，發現內存跑滿了

aix 查看占用內存高的進程

調整JVM占用內存空間方法

com 默認技術分享分享虛擬機 img 分享圖片 post png JVM默認占用空間為64M 調整方法如下圖在虛擬機參數中調整為80M 調試可以用 Byte[] arr=new Byte[1024*1024*64]; 調整JVM占用內存空間方法

APP性能（Android手機）：內存和CPU

右上角 ref 技術分享 alt 看書是否對比測試 lease 性能 1 App性能測試幀率大小影響頁面的流暢度。不同機型測試時，會有差距，配置差的手機性能測試會差，不需要橫向比較。同一個手機，對新老版本app進行對比測試，選擇配置比較

字節，字符及占用內存大小情況

name 進制數 baidu 關系 vps 大小 art amp -c https://blog.csdn.net/liwenxia626/article/details/70808958 （一）“字節”的定義字節（Byte）是一種計量單位，表示數據量多少，它是計算機信

linux關於進程、內存和cpu情況

進程 cpu 操作 time 服務 linu 在線 ota 時間 1.load average: 2.03, 1.76, 1.80 1分鐘、5分鐘、15分鐘平均負載 2.%Cpu(s):100.0 us, 0.0 sy, 0.0 ni, 0.0 id, 0.0 wa

Linux下實現腳本監測特定進程占用內存情況

date 信息進程pid -s 虛擬內存狀況文件 python 完整 Linux系統下，我們可以利用以下命令來獲取特定進程的運行情況： cat /proc/$PID/status 其中PID是具體的進程號，這個命令打印出/proc/特定進程/status文件的內

Linux下查看某一進程所占用內存的方法

style target logs .cn linu ack 程序 www order Linux下查看某一進程所占用內存的方法Linux下查看某個進程占用的CPU、內存top -p 2913 //進程id，q退出ps -aux | grep kafka //第一個標註

jvm cpu過高排查實戰

雙十一了，頭一天晚上10點左右收到阿里雲cpu超過90%簡訊報警。第二天上班了，開始處理,步驟如下： 1、top找出cpu高的java程序號9592 2、top -Hp 9592檢視cpu佔用time最高的執行緒編號28178 3、執行 printf "%x\n" 28

tomcat內存占用過高排查小結

java tomcat 內存泄漏假設tomcat進程PID為16818確認是不是內存本身分配過小：jmap -heap 16818找到最耗內存的對象：jmap -histo 16818 （帶上:live則表示先進行一次FGC再統計，如jmap -histo:live 16818）導出內存轉儲快照

查詢進程內存，cpu占用情況。僵屍進程

僵屍 -o func ppi use fun cpu占用 grep -v 16px 查使用內存最多的5個進程：ps aux | head -1 && ps aux | grep -v USER | sort -nr -k 4 | head -5 查使用CP

計算程序的內存和占比

程序 odin main pre == ret 內存占用 put 列表 1 #!/usr/bin/env python 2 # _*_ coding:UTF-8 _*_ 3 # 收集程序所占用的物理內存大小，占所有物理內存的比例 4 # OS: Centos 6.

linux查看 cpu及內存和硬盤使用情況的命令top

函數移動超過命令執行過程 opp 次數內存快捷所有者使用時輸入 top,退出時輸入q http://www.cnblogs.com/ggjucheng/archive/2012/01/08/2316399.html 簡介 top命令是Linux下常用的性能分析

淺析 Pycharm 內存、cpu 占用率

cnblogs inpu nbsp 處理占用 ron 有圖有真相內存完成淺析 Pycharm 內存、cpu 占用率本機配置參數： ------------------------------------------ Window

linux下查找java進程占用CPU過高原因

jmeter 性能測試 linux下查找java進程占用CPU過高原因1. 查找進程top查看進程占用資源情況明顯看出java的兩個進程22714，12406占用過高cpu. 2.查找線程使用top -H -p <pid>查看線程占用情況 3.查找java的堆棧信息將線程id轉換成十六進制

Mysql占用CPU過高如何優化，如何解決

lang 主服務器 disable mission 帳號知識用戶 clean oca 2017-02-28 15:13 331人閱讀評論(0) 收藏舉報 MySQL占用CPU過高如何優化一次生產DB服務器的超負荷運行問題解決： 1.查看生產

Filebeat占用內存和CPU過高問題排查

相關推薦