2. 程式人生 > >Graylog日誌監控集群搭建

Graylog日誌監控集群搭建

阿新 • • 發佈：2018-05-30
Graylog日誌監控集群搭建

場景及日誌量
由於公司是物聯網場景，設備每10秒都會上報Gps數據，後端猿對每個每個上傳數據的處理都加入了日誌，加上後端猿用Quartz寫了許多無狀態的後臺服務，每10s跑一次，而且有多個環境（開發，測試，線上環境）同時有日誌寫入，日誌量大概在均值3000/s， 峰值5000/s。做了rotation後，3天的日誌量在300G左右，最初的最小化安裝已經無法支撐。
順便分享下最小化安裝的docker-compose.yml 參考
version: ‘2‘
services:

MongoDB: https://hub.docker.com/_/mongo/

mongodb:
image: mongo:3
volumes:

  • mongo_data:/data/db

    Elasticsearch: https://www.elastic.co/guide/en/elasticsearch/reference/5.6/docker.html

    elasticsearch:

    雖然這個img下載有些慢，但是請一定用這個

    image: docker.elastic.co/elasticsearch/elasticsearch:5.6.3
    volumes:

  • es_data:/usr/share/elasticsearch/data
    environment:
  • http.host=0.0.0.0
  • transport.host=localhost
  • network.host=0.0.0.0

    Disable X-Pack security: https://www.elastic.co/guide/en/elasticsearch/reference/5.6/security-settings.html#general-security-settings

  • xpack.security.enabled=false
  • "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
    memlock:
    soft: -1
    hard: -1
    mem_limit: 1g

    Graylog: https://hub.docker.com/r/graylog/graylog/

    graylog:
    image: graylog/graylog:2.4.0-1
    volumes:

  • graylog_journal:/usr/share/graylog/data/journal
    environment:

    CHANGE ME!

  • GRAYLOG_PASSWORD_SECRET=somepasswordpepper

    Password: admin 生成方法：echo -n yourpassword | shasum -a 256

  • GRAYLOG_ROOT_PASSWORD_SHA2=8c6976e5b5410415bde908bd4dee15dfb167a9c873fc4bb8a81f6f2ab448a918
  • GRAYLOG_WEB_ENDPOINT_URI=http://127.0.0.1:9000/api
    links:
  • mongodb:mongo
  • elasticsearch
    depends_on:
  • mongodb
  • elasticsearch
    ports:

    Graylog web interface and REST API

  • 9000:9000

    Syslog TCP

  • 514:514

    Syslog UDP

  • 514:514/udp

    GELF TCP

  • 12201:12201

    GELF UDP

  • 12201:12201/udp

    Volumes for persisting data, see https://docs.docker.com/engine/admin/volumes/volumes/

    volumes:
    mongo_data:
    driver: local
    es_data:
    driver: local
    graylog_journal:
    driver: local
    使用心得
    使用前，請務必看下Architectural，了解下設計理念。
    ? Graylog nodes should have a focus on CPU power. These also serve the user interface to the browser.
    ? Elasticsearch nodes should have as much RAM as possible and the fastest disks you can get. Everything depends on I/O speed here.
    ? MongoDB is storing meta information and configuration data and doesn’t need many resources.
    簡單來說就是，Graylog用於采集日誌寫入Elasticsearch比較耗CPU，Elasticsearch比較耗RAM跟IO。知道這一點基本也就為後面調優確定了方向。
    三節點搭建步驟 參考
    準備工作（CentOS7.3）
    yum –y update
    yum install java-1.8.0-openjdk-headless.x86_64 #安裝JDK
    MongoDB 3.6 replica set搭建
    首先每個node安裝MongoDB

    1. 添加MongoDB軟件源

      /etc/yum.repos.d/mongodb-org-3.6.repo

      [mongodb-org-3.6]
      name=MongoDB Repository
      baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.6/x86_64/
      gpgcheck=1
      enabled=1
      gpgkey=https://www.mongodb.org/static/pgp/server-3.6.asc

    2. 更新源並安裝
      yum update -y && yum install -y mongodb-org
    3. 關鍵配置項

      MongoDB數據放在非系統目錄

      添加目錄權限 chown -R mongod:mongod /data/mongo

      storage:
      dbPath: /data/mongo

配置MongoDB repliSetName

replication:
replSetName: repl

配置bindIp,使用局域網Ip，保證該ip對於其他node可見

net:
port: 27017
bindIp: 192.168.168.242

  1. 啟動MongoDB服務
    systemctl start mongod
  2. 初始化MongoDB replica set

    #start mongo shell and run
    rs.initiate( {
    _id : "rs0",
    members: [
    { _id: 0, host: "mongodb0.example.net:27017" },
    { _id: 1, host: "mongodb1.example.net:27017" },
    { _id: 2, host: "mongodb2.example.net:27017" }
    ]
    })

  3. 查看replica set配置
    rs.conf()
  4. 查看MongoDB replica set的Primary節點
    rs.status()
    Elasticsearch 5.6 集群搭建
  5. 導入Elasticsearch public GPG key
    #/etc/yum.repos.d/elasticsearch.repo
    [elasticsearch-5.x]
    name=Elasticsearch repository for 5.x packages
    baseurl=https://artifacts.elastic.co/packages/5.x/yum
    gpgcheck=1
    gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
    enabled=1
    autorefresh=1
    type=rpm-md
  6. Elasticsearch安裝
    yum install elasticsearch
  7. Elasticsearch集群配置
    #/etc/elasticsearch/elasticsearch.yml

    集群各個instance的訪問ip

    discovery.zen.ping.unicast.hosts: ["192.168.168.240", "192.168.168.241", "192.168.168.242"]

該節點的訪問ip

network.host: 192.168.168.242

集群名稱

cluster.name: ES_PROD

節點名稱

node.name: ${HOSTNAME}

數據目錄

mkdir -p /data/elasticsearch/data

chown -R elasticsearch:elasticsearch /data/elasticsearch

path.data: /data/elasticsearch/data

日誌目錄

mkdir -p /data/elasticsearch/logs

chown -R elasticsearch:elasticsearch /data/elasticsearch

path.logs: /data/elasticsearch/logs

  1. 編輯Elasticsearch系統服務
    #刪除如下行
    -Edefault.path.logs=${LOG_DIR} \
    -Edefault.path.data=${DATA_DIR} \
  2. 啟動服務
    systemctl start elasticsearch
  3. 健康檢查
    curl -XGET ‘http://192.168.168.240:9200/_cluster/state?pretty‘
    Graylog 2.4 多節點搭建
    Graylog多節點搭建只需要保留一個instance用於web訪問即可，日誌可以配置寫入不同node，當某個node壓力過大，需要自行考慮手動將部分日誌轉到其他空閑node。（這一層的負載均衡待研究）
  4. Graylog 2.4 軟件源安裝
    rpm -Uvh https://packages.graylog2.org/repo/packages/graylog-2.4-repository_latest.rpm
  5. graylog-server安裝
    yum install graylog-server
  6. graylog多節點配置

    多節點安轉時保留一個節點為true，其他節點為false

    is_master = true

時區配置為上海時區

root_timezone = PRC

Password: admin 生成方法：echo -n yourpassword | shasum -a 256

password_secret = 8c6976e5b5410415bde908bd4dee15dfb167a9c873fc4bb8a81f6f2ab448a918

多節點模式時，要保證該ip可被其他節點訪問

rest_listen_uri = http://192.168.168.242:9000/api/

默認同上

rest_transport_uri = http://192.168.168.242:9000/api/

配置外網訪問的Base URL，使用nginx反代理的話可以配置為http://192.168.168.242:9000/

web_listen_uri = http://121.196.213.107:50089/

Elasticsearch集群host列表（逗號分隔）

elasticsearch_hosts = http://192.168.168.240:9200,http://192.168.168.241:9200,http://192.168.168.242:9200

配置只保留72小時的日誌

elasticsearch_max_time_per_index = 1h
elasticsearch_max_number_of_indices = 72

MongoDB連接字符串

mongodb_uri = mongodb://192.168.168.242:27017,192.168.168.241:27017,192.168.168.240:27017/graylog?replicaSet=repl

  1. 調整Graylog JVM HeapSize
    #/etc/sysconfig/graylog-server
    GRAYLOG_SERVER_JAVA_OPTS="-Xms4g -Xmx4g -XX:NewRatio=1 -server -XX:+ResizeTLAB -XX:+UseConcMarkSweepGC -XX:+CMSConcurrentMTEnabled -XX:+CMSClassUnloadingEnabled -XX:+UseParNewGC -XX:-OmitStackTraceInFastThrow"
  2. 啟動服務
    systemctl start graylog-server
    Nginx反向代理配置
  3. Nginx安裝
    yum install nginx

  4. Nginx配置
    server
    {
    listen 50098 default_server;
    listen [::]:50098 default_server ipv6only=on;
    server_name 47.97.188.62:50098;

    location / {
    proxy_set_header Host $http_host;
    proxy_set_header X-Forwarded-Host $host;
    proxy_set_header X-Forwarded-Server $host;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header X-Graylog-Server-URL http://$server_name/api;
    proxy_pass http://192.168.168.242:9000;
    }
    }
    後期優化可以考慮的點

  5. 調大cpu，可增加消息處理速度
  6. 多開幾個udp端口，可增加消息處理速度
  7. 調大Elasticsearch內存占用，增加緩沖，降低IO
  8. 更換更高效的磁盤

Graylog日誌監控集群搭建

相關推薦

Graylog日誌監控集群搭建

Graylog日誌監控集群搭建場景及日誌量由於公司是物聯網場景，設備每10秒都會上報Gps數據，後端猿對每個每個上傳數據的處理都加入了日誌，加上後端猿用Quartz寫了許多無狀態的後臺服務，每10s跑一次，而且有多個環境（開發，測試，線上環境）同時有日誌寫入，日誌量大概在均值3000/s， 峰值5000/s。

CentOS7.3下ELK日誌分析系統集群搭建

rtu 服務器端 output 行修改 disco boot 刷新 客戶端 tst Elasticsearch是個基於Lucene實現的開源、分布式、restful的全文本搜索引擎，此外他還是一個分布式實時文檔存儲，其中每個文檔的每個filed均是可被索引的數據，且可被

Storm集群搭建

targe 狀態信息 系統 根據 storm for 簡單介紹 div tails 　　上一篇隨筆中我介紹了Storm中的幾個重要概念：Topology,tuple,Spout和Bolt。這幾個核心概念是與Storm運算相關的，由於上節課關於單詞計數的實例實在單機環境下通過

Tomcat7 session同步集群搭建

centos7.2 tomcat7 session 同步集群搭建Tomcat session同步集群搭建一、如何保持session會話為了使web能適應大規模的訪問，需要實現應用的集群部署。集群最有效的方案就是負載均衡，而實現負載均衡用戶每一個請求都有可能被分配到不固定的服務器上，這樣我們首先要解決sess

Kafka集群搭建

pic 配置環境變量 處理 jdk1.8 將他 版本 線程 partition connect 本文安裝環境 　　操作系統：CentOS6.7 64位 　　JDK版本：jdk1.8.0_131（要求JDK1.8以上） 　　ZooKeeper版本：3.4.8 　　Ka

【原創 Hadoop&Spark 動手實踐 5】Spark 基礎入門，集群搭建以及Spark Shell

min util man 操作 because tro txt library all Spark 基礎入門，集群搭建以及Spark Shell 主要借助Spark基礎的PPT，再加上實際的動手操作來加強概念的理解和實踐。

Hadoop集群搭建(非HA)

圖形界面 網絡模式 jdk 初始 hadoop2 orm 一個 程序猿 添加 1.準備Linux環境 1.0先將虛擬機的網絡模式選為NAT 1.1修改主機名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=i

Elasticsearch 5.3 集群搭建

elkes-node1cluster.name: es-clusternode.name: es-node1network.host: 10.10.45.200http.port: 8201transport.host: 10.10.45.200transport.tcp.port: 8301bootstra

redis集群搭建與管理

ots waiting alloc 必須 停止 port 明顯 das evel 集群簡介： Redis 集群是一個可以在多個 Redis 節點之間進行數據共享的設施（installation）。 Redis 集群不支持那些需要同時處理多個鍵的 Redis 命令， 因為

redis集群搭建

目錄 計算 sta filename tin aof global tsl policy 一、redis集群說明 集群采用一主三從，總共3主9從，總共12臺，每個機房中放置一主三從 每個機房中放置其他機房的一從，達到高可用性 二、集群搭建 1.redis集群的搭建

redis 集群搭建

redis##redis 官網： https://redis.io#redis 文檔：https://redis.io/documentation#redis 集群：https://redis.io/topics/cluster-tutorial##軟件下載[[email protected]/*

zookeeper集群搭建

ubuntu cluster zookeeper 簡介 Zookeeper 分布式服務框架是Apache Hadoop的一個子項目它主要是用來解決分布式應用中經常遇到的一些數據管理問題如統一命名服務、狀態同步服務、集群管理、分布式應用配置項的管理等等。zookeeper本身可以單節點狀態運行

MySQL優化之——集群搭建步驟具體解釋

兩個 chgrp 應用服務 集群搭建 ria 進程 ini 而且 必須 轉載請註明出處:http://blog.csdn.net/l1028386804/article/details/46833179 1 概述 MySQL Cluster 是MySQL 適合於

WAS集群系列（5）：集群搭建：步驟3：安裝IHS軟件

line col jsb eight none data 相關 blog mil 選擇“安裝IBM HTTPServer”選項，點擊“安裝向導”。例如以下圖提示： 安裝提示，逐步點擊“下一步”，當中偶有幾處細節註意就可以。列舉例如以下： （1）、產品安裝路徑與先

mysql5.7 MGR集群搭建

解決方案 mysql 數據庫 文章 而且 mysql集群搭建 mysql5.7 MGR集群搭建部署此文章由隊員（諄諄）擬寫此文章來自 烏龜運維 官網 wuguiyunwei.comQQ群 602183872最近看了一下mysql5.7的MGR集群挺不錯的，有單主和多主模式，於是乎搭建測

《CDH集群搭建視頻資料》百度雲網盤下載

百度 eight 鏈接 百度雲 bsp col 密碼 tar 視頻資料 《CDH集群搭建視頻資料》百度雲下載 鏈接： http://pan.baidu.com/s/1i5DVBlb 密碼：2mny《CDH集群搭建視頻資料》百度雲網盤下載

CDH集群搭建步驟

hadoop cdh hbase hive CDH集群搭建步驟詳細文檔 一、關於CDH和Cloudera ManagerCDH (Cloudera‘s Distribution,including Apache Hadoop)，是Hadoop眾多分支中的一種，由Cloudera維護，基於穩定

hadoop偽分布式集群搭建與安裝（ubuntu系統）

log 結束 實的 變量 開啟 web 路徑 har ont 1：Vmware虛擬軟件裏面安裝好Ubuntu操作系統之後使用ifconfig命令查看一下ip; 2：使用Xsheel軟件遠程鏈接自己的虛擬機，方便操作。輸入自己ubuntu操作系統的賬號密碼之後就鏈接成

redis--（五）集群搭建

nbsp image 搭建 alt 關閉 重新 技術 edi cnblogs 這裏沒有六臺虛擬機，在一臺上模擬 cluster nodes 查看當前是否是集群 集群環境關閉只能一臺臺關閉，重新創建集群環境首先把nodes-700*.com刪掉去創建r

Redis 集群搭建詳細指南

redis先有雞還是先有蛋？最近有朋友問了一個問題，說畢業後去大城市還是小城市？去大公司還是小公司？我的回答都是大城市！大公司！為什麽這麽說呢，你想一下，無論女孩男孩找朋友都喜歡找個子高胸大的。同樣的道理嘛，「大」總有大的好。當然，如果你要有能力找一個胸大個子高就更完美了。Redis 集群簡介Redis 是一