2. 程式人生 > >002.Open-Falcon部署及監控

002.Open-Falcon部署及監控

阿新 • • 發佈：2018-12-04

一 前期準備

節點 IP 備註
falcon 私網：172.24.10.95 臨時公網：120.132.23.107 Open-Falcon服務端
node01
 172.24.10.216 被監控端
安裝git等依賴：yum -y install git telnet NTP配置； SELinux及防火牆關閉。 提示：對於任何時序性要求高的服務，都建議部署NTP服務。 Open-Falcon，為前後端分離的架構，包含backend 和 frontend兩部分：
  • 安裝後端
  • 安裝前端

二 基礎環境

2.1 安裝redis

  1 [
 
[email protected] ~]# yum install -y redis

2.2 安裝資料庫

  1 [[email protected] ~]# yum -y install mariadb mariadb-server

2.3 啟動相關服務

  1 [[email protected] ~]# systemctl start redis
  2 [[email protected] ~]# systemctl enable redis
  3 [[email protected] ~]# systemctl start mariadb
  4
 
 [[email protected] ~]# systemctl enable mariadb
 

2.4 設定資料庫安全性

  1 [[email protected] ~]# mysql_secure_installation		#設定安全性，並設定資料庫root密碼

2.5 安裝go語言

  1 [[email protected] ~]# mkdir /gohome
  2 [[email protected] ~]# yum install -y epel-release
  3 [[email protected] ~]# yum install -y golang
  提示：若yum無法安裝可通過以下方式採用二進位制安裝形式： 
  1 [[email protected] ~]# wget https://dl.google.com/go/go1.11.2.linux-amd64.tar.gz
  2 [[email protected] ~]# tar -C /usr/local/ -zxvf go1.11.2.linux-amd64.tar.gz
  3 [[email protected] ~]# echo 'export GOROOT=/usr/local/go' >> /etc/profile.d/go.sh
  4 [[email protected] ~]# echo 'export GOBIN=$GOROOT/bin' >> /etc/profile.d/go.sh
  5 [[email protected] ~]# echo 'export GOPKG=$GOROOT/pkg/tool/linux_amd64' >> /etc/profile.d/go.sh
  6 [[email protected] ~]# echo 'export GOARCH=amd64' >> /etc/profile.d/go.sh
  7 [[email protected] ~]# echo 'export GOOS=linux' >> /etc/profile.d/go.sh
  8 [[email protected] ~]# echo 'export GOPATH=/gohome' >> /etc/profile.d/go.sh
  9 [[email protected] ~]# echo 'export PATH=$PATH:$GOBIN:$GOPKG:$GOPATH/bin' >> /etc/profile.d/go.sh
 10 [[email protected] ~]# go version
 11 go version go1.11.2 linux/amd64
 

2.6 建立Falcon工作目錄

  1 [[email protected] ~]# mkdir -p $GOPATH/src/github.com/open-falcon

2.7 下載Falcon原始碼

  1 [[email protected] ~]# cd $GOPATH/src/github.com/open-falcon
  2 [[email protected] open-falcon]# git clone https://github.com/open-falcon/falcon-plus.git
 

2.8 初始化資料庫

  1 [[email protected] tmp]# cd $GOPATH/src/github.com/open-falcon/falcon-plus/scripts/mysql/db_schema
  2 [[email protected] db_schema]# mysql -h 127.0.0.1 -u root -p123456 < 1_uic-db-schema.sql
  3 [[email protected] db_schema]# mysql -h 127.0.0.1 -u root -p123456 < 2_portal-db-schema.sql
  4 [[email protected] db_schema]# mysql -h 127.0.0.1 -u root -p123456 < 3_dashboard-db-schema.sql
  5 [[email protected] db_schema]# mysql -h 127.0.0.1 -u root -p123456 < 4_graph-db-schema.sql
  6 [[email protected] db_schema]# mysql -h 127.0.0.1 -u root -p123456 < 5_alarms-db-schema.sql
 

2.9 獲取rrdtool工具包

  1 [[email protected] db_schema]# cd $GOPATH/src/github.com/open-falcon/falcon-plus/
  2 [[email protected] falcon-plus]# go get github.com/open-falcon/rrdlite
 

2.10 編譯及打包

  1 [[email protected] falcon-plus]# make all
  2 [[email protected] falcon-plus]# make pack
  提示：編譯打包完成後會生產一個open-falcon-v0.2.1.tar.gz的壓縮包，表示已經編譯和打包完成； 若編譯異常也可以使用官方提供的已編譯完成的包：https://github.com/open-falcon/falcon-plus/releases/download/v0.2.1/open-falcon-v0.2.1.tar.gz  

三 部署後端

3.1 建立工作目錄

  1 [[email protected] ~]# export FALCON_HOME=/data/falcon
  2 [[email protected] ~]# export WORKSPACE=$FALCON_HOME/open-falcon
  3 [[email protected] ~]# mkdir -p $WORKSPACE

3.2 解壓二進位制包

  1 [[email protected] ~]# cd $GOPATH/src/github.com/open-falcon/falcon-plus/
  2 [[email protected] falcon-plus]# tar -xzvf open-falcon-v0.2.1.tar.gz -C $WORKSPACE
 

3.2 修改配置檔案

各模組配置檔案路徑如下：
模組 配置檔案所在路徑 備註
aggregator   /data/falcon/aggregator/config/cfg.json  
graph /data/falcon/graph/config/cfg.json  
hbs /data/falcon/hbs/config/cfg.json  
nodata /data/falcon/nodata/config/cfg.json  
api /data/falcon/api/config/cfg.json  
alarm /data/falcon/alarm/config/cfg.json   
  1 [[email protected] ~]# cd $WORKSPACE
  2 [[email protected] open-falcon]# grep -Ilr 3306  ./ | xargs -n1 -- sed -i 's/root:/root:123456/g'
  3 [[email protected] open-falcon]# grep -Ir 3306 ./		#確認修改
  提示：由於預設所有配置檔案的資料庫配置均為空，因此需要將所有配置檔案中關於db的使用者名稱和密碼進行修改。

3.3 啟動後端模組

  1 [[email protected] ~]# cd $WORKSPACE
  2 [[email protected] open-falcon]# ./open-falcon start		#啟動所有後端模組
  3 [[email protected] open-falcon]# ./open-falcon check		#檢查啟動情況
  提示：更多命令使用方法： 
  1 # ./open-falcon [start|stop|restart|check|monitor|reload] module
  2 # ./open-falcon start agent
  3 [[email protected] open-falcon]# ./open-falcon check
  4         falcon-graph         UP           17148
  5           falcon-hbs         UP           17165
  6         falcon-judge         UP           17178
  7      falcon-transfer         UP           17187
  8        falcon-nodata         UP           17199
  9    falcon-aggregator         UP           17209
 10         falcon-agent         UP           17220
 11       falcon-gateway         UP           17232
 12           falcon-api         UP           17243
 13         falcon-alarm         UP           17259
  相關排查log見：$WorkDir/$moduleName/log/logs/xxx.log  

四 部署前端

4.1 建立工作目錄

見3.1。

4.2 下載前端原始碼

  1 [[email protected] ~]# cd $WORKSPACE
  2 [[email protected] open-falcon]# git clone https://github.com/open-falcon/dashboard.git
 

4.3 安裝依賴

  1 [[email protected] ~]# yum install -y python-virtualenv
  2 [[email protected] ~]# yum install -y python-devel
  3 [[email protected] ~]# yum install -y openldap-devel
  4 [[email protected] ~]# yum install -y mariadb-devel
  5 [[email protected] ~]# yum groupinstall "Development tools" -y
  6 [[email protected] ~]# cd $WORKSPACE/dashboard/
  7 [[email protected] dashboard]# virtualenv ./env
  8 [[email protected] dashboard]# ./env/bin/pip install -r pip_requirements.txt -i https://pypi.douban.com/simple
 

4.4 初始化資料庫

參考：2.8。 提示：由於前後端部署在同一節點，部署後端過程中已初始化資料庫，4.4步驟可跳過。

4.5 修改前端dashboard配置

  1 [[email protected] ~]# vi /data/falcon/open-falcon/dashboard/rrd/config.py
  2 # portal database
  3 # TODO: read from api instead of db
  4 PORTAL_DB_HOST = os.environ.get("PORTAL_DB_HOST","127.0.0.1")
  5 PORTAL_DB_PORT = int(os.environ.get("PORTAL_DB_PORT",3306))
  6 PORTAL_DB_USER = os.environ.get("PORTAL_DB_USER","root")
  7 PORTAL_DB_PASS = os.environ.get("PORTAL_DB_PASS","123456")	#修改資料庫密碼
  8 PORTAL_DB_NAME = os.environ.get("PORTAL_DB_NAME","falcon_portal")
  9 
 10 # alarm database
 11 # TODO: read from api instead of db
 12 ALARM_DB_HOST = os.environ.get("ALARM_DB_HOST","127.0.0.1")
 13 ALARM_DB_PORT = int(os.environ.get("ALARM_DB_PORT",3306))
 14 ALARM_DB_USER = os.environ.get("ALARM_DB_USER","root")
 15 ALARM_DB_PASS = os.environ.get("ALARM_DB_PASS","123456")	#修改資料庫密碼
 16 ALARM_DB_NAME = os.environ.get("ALARM_DB_NAME","alarms")
  提示：config.py配置檔案解析： API_ADDR：表示後端api元件的地址，前後端部署在同一臺時不需要修改。

4.6 放通防火牆

  1 [[email protected] ~]# firewall-cmd --add-port=8081/tcp --permanent
  2 [[email protected] ~]# firewall-cmd --reload
  提示：若已關閉防火牆，則跳過此步驟。

4.7 啟動dashboard

  1 [[email protected] ~]# cd /data/falcon/open-falcon/dashboard/
  2 [[email protected] dashboard]# bash control start		#以生產模式啟動
  3 [[email protected] dashboard]# bash control tail		#檢視相關log
 

4.8 測試訪問

瀏覽器訪問Falcon服務端：http://120.132.23.107:8081 04

五 dashboard管理

5.1 註冊賬號

05 dashbord沒有預設建立任何賬號包括管理賬號，需要通過頁面進行註冊賬號。 想擁有管理全域性的超級管理員賬號，需要手動註冊使用者名稱為root的賬號（第一個帳號名稱為root的使用者會被自動設定為超級管理員）。 超級管理員可以給普通使用者分配許可權管理。

5.2 登入測試

使用5.1所註冊賬號進行登入。

06
提示：註冊賬號能夠被任何開啟dashboard頁面的人註冊，所以當給相關的人註冊完賬號後，需要去關閉註冊賬號功能。只需要去修改api元件的配置檔案cfg.json，將signup_disable配置項修改為true，重啟api即可。當需要給人開賬號的時候，再將配置選項改回去，用完再關掉即可。

 

六 Agent獨立安裝

6.1 Agent簡介

agent用於採集機器負載監控指標，比如cpu.idle、load.1min、disk.io.util等等，每隔60秒push給Transfer。agent與Transfer建立了長連線，資料傳送速度比較快，agent提供了一個http介面/v1/push用於接收使用者手工push的一些資料，然後通過長連線迅速轉發給Transfer。

6.2 複製agent包

將Falcon服務端的Agent包複製至被監控端node01。 
  1 [[email protected] ~]# mkdir -p /data/falcon/open-falcon/		#node01節點建立工作目錄
  2 [[email protected] ~]# cd /data/falcon/open-falcon/
  3 [[email protected] open-falcon]# scp -r agent/ [email protected]:/data/falcon/open-falcon/
  4 [[email protected] open-falcon]# scp -r open-falcon  [email protected]:/data/falcon/open-falcon/
 

6.3 修改agent配置

  1 [[email protected] ~]# vi /data/falcon/open-falcon/agent/config/cfg.json
  2 {
  3     "debug": true,		# 控制一些debug資訊的輸出，生產環境通常設定為false
  4     "hostname": "",		# agent採集了資料發給transfer，endpoint就設定為了hostname，預設通過`hostname`獲取，如果配置中配置了hostname，就用配置中的
  5     "ip": "",			# agent與hbs心跳的時候會把自己的ip地址發給hbs，agent會自動探測本機ip，如果不想讓agent自動探測，可以手工修改該配置
  6     "plugin": {
  7         "enabled": false,	# 預設不開啟外掛機制
  8         "dir": "./plugin",	# 把放置外掛指令碼的git repo clone到這個目錄
  9         "git": "https://github.com/open-falcon/plugin.git",	# 放置外掛指令碼的git repo地址
 10         "logs": "./logs"	# 外掛執行的log，如果外掛執行有問題，可以去這個目錄看log
 11     },
 12     "heartbeat": {
 13         "enabled": true,	# 此處enabled要設定為true
 14         "addr": "172.24.10.95:6030",	# hbs的地址，埠是hbs的rpc埠
 15         "interval": 60,		        # 心跳週期，單位是秒
 16         "timeout": 1000		        # 連線hbs的超時時間，單位是毫秒
 17     },
 18     "transfer": {
 19         "enabled": true,
 20         "addrs": [
 21             "172.24.10.95:18433"
 22         ], 			      # transfer的地址，埠是transfer的rpc埠, 可以支援寫多個transfer的地址，agent會保證HA
 23         "interval": 60,	      # 採集週期，單位是秒，即agent一分鐘採集一次資料發給transfer
 24         "timeout": 1000	      # 連線transfer的超時時間，單位是毫秒
 25     },
 26     "http": {
 27         "enabled": true,	      # 是否要監聽http埠
 28         "listen": ":1988",
 29         "backdoor": false
 30     },
 31     "collector": {
 32         "ifacePrefix": ["eth", "em"],	# 預設配置只會採集網絡卡名稱字首是eth、em的網絡卡流量，配置為空就會採集所有的，lo的也會採集。可以從/proc/net/dev看到各個網絡卡的流量資訊
 33         "mountPoint": []
 34     },
 35     "default_tags": {
 36     },
 37     "ignore": {			# 預設採集了200多個metric，可以通過ignore設定為不採集
 38         "cpu.busy": true,
 39         "df.bytes.free": true,
 40         "df.bytes.total": true,
 41         "df.bytes.used": true,
 42         "df.bytes.used.percent": true,
 43         "df.inodes.total": true,
 44         "df.inodes.free": true,
 45         "df.inodes.used": true,
 46         "df.inodes.used.percent": true,
 47         "mem.memtotal": true,
 48         "mem.memused": true,
 49         "mem.memused.percent": true,
 50         "mem.memfree": true,
 51         "mem.swaptotal": true,
 52         "mem.swapused": true,
 53         "mem.swapfree": true
 54     }
 55 }
 

6.4 啟動Agent

  1 [[email protected] ~]# cd /data/falcon/open-falcon/
  2 [[email protected] open-falcon]# ./open-falcon start agent
  3 [[email protected] open-falcon]# ./open-falcon monitor agent		#檢視執行日誌
 

6.5 檢查Agent

  1 [[email protected] ~]# cd /data/falcon/open-falcon/agent/bin
  2 [[email protected] bin]# ./falcon-agent --check
  3 disk.io  ... ok
  4 memory   ... ok
  5 netstat  ... ok
  6 ss -s    ... ok
  7 kernel   ... ok
  8 net.if   ... ok
  9 loadavg  ... ok
 10 cpustat  ... ok
 11 du -bs   ... ok
 12 df.bytes ... ok
 13 ss -tln  ... ok
 14 ps aux   ... ok
   

七 確認驗證

7.1 確認新增

瀏覽器訪問Falcon服務端：http://120.132.23.107:8081 07

7.2 檢視監控項

隨機檢視load.1 min的監控資料，確保所有監控正常。 08   參考文件：https://www.cnblogs.com/straycats/p/7199209.html https://blog.csdn.net/qq_27384769/article/details/79569776  

相關推薦

002.Open-Falcon部署及監控

一 前期準備 節點 IP 備註

002.Open-Falcon Server部署及Agent監控

一 前期準備 節點 IP 備註

小米開源監控系統Open-falcon部署筆記（下）

一.部署前端 1.建立工作目錄 #建立工作目錄 export HOME=/home/frontwork export HOME=/home/frontwork export WORKSPACE=$HOME/open-falcon mkdir -p $WORKSPACE

linux開發腳本自動部署及監控

linux開發 標準 bin systemctl eve 共享 connect name weight linux開發腳本自動部署及監控 開發腳本自動部署及監控一、編寫腳本自動部署反向代理、web、nfs；要求：1、部署nginx反向代理三個web服務，調度算法使用加權

open-falcon部署

open-falcon#falcon-plus server部署：https://github.com/open-falcon/falcon-plus/tree/master/dockerRunning falcon-plus containerdocker pull openfalcon/falcon-pl

Zabbix服務安裝部署及監控配置

sed master edi extension 客戶 取數據 鏈接 prefix HA Zabbix服務安裝部署及監控配置 1.1 Zabbix服務介紹 官方網站：http://www.zabbix.com/ The Enterprise-class Monitori

Open-falcon運維監控系統——微信接口二次開發

con 重寫方法 接口 ack sets image parse urlopen data 1、Open-falcon運維監控系統簡介 OpenFalcon是一款由小米運維團隊從互聯網公司的需求出發， 根據多年的運維經驗，結合市面上使用的一些運維監控系統的使用經驗和反饋，

metricbeat部署及監控linux系統指標匯總

ack 時間 ive free har ber 內存 windows reload Metricbeat 輕量型指標采集器 用於從系統和服務收集指標。從 CPU 到內存，從 Redis 到 Nginx，Metricbeat 能夠以一種輕量型的方式，輸送各種系統和服務統計數據

18_小米監控Open-Falcon：Rabbitmq監控

key tag type note rabbitmq.messages_ready name(Queue名字) GAUGE 佇列中處於等待被消費狀態訊息數 rabbitmq.messages_unacknowledged name(Queue名字) GAUGE 佇列中處於消費中狀態的訊息數 rabbitmq.

linux rinetd 埠轉發部署及監控

linux下簡單好用的工具rinetd，實現埠對映/轉發/重定向       Rinetd是為在一個Unix和Linux作業系統中為重定向傳輸控制協議(TCP)連線的一個工具。Rinetd是單一過程的伺服器，它處理任何數量的連線到在配置檔案etc/rinetd中指定的地址/

open-falcon 小米開源監控

1.open-falcon介紹監控系統是整個運維環節，乃至整個產品生命週期中最重要的一環，事前及時預警發現故障，事後提供翔實的資料用於追查定位問題。監控系統作為一個成熟的運維產品，業界有很多開源的實現可供選擇。當公司剛剛起步，業務規模較小，運維團隊也剛剛建立的初期，選擇一款開

open-falcon 具體實施監控

1.mysql1.1準備環境打包go env #檢視go的變數環境 mkdir -p $GOPATH/src/github.com/open-falcon cd $GOPATH/src/github.com/open-falcon git clone https://gi

19_小米監控Open-Falcon：Nginx監控

小米監控Open-Falcon：Nginx監控 更多幹貨 一、 工作原理 ngx_metric是藉助lua-nginx-module的log_by_lua功能實現nginx請求的實時分析，然

16_小米監控Open-Falcon：Redis監控

#!/bin/env python #-*- coding:utf-8 -*- __author__ = 'iambocai' import json import time import socket import os import re import sys import commands impo

CentOS 7單機部署Open-Falcon監控

變量 api version rpm包 left 遇到的問題 能夠 pip安裝 vpd 對於Open-Falcon 系統的部署，研究了一段時間才部署成功，文檔主要部署的為v0.2.1版本，參考官網文檔。關於該監控系統的部署分為三個部分，一、環境準備；二、啟動後端；三

運維監控-Open-Falcon實戰部署

　　　　　　　　　　　　　　　　　　運維監控-Open-Falcon實戰部署 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正傑 版權宣告：原創作品，謝絕轉載！否則將追究法律責任。       一.   二

CentOS 6.5下Open-Falcon監控系統的部署

Open-Falcon監控系統部署文件 1、介紹 監控系統是整個運維環節，乃至整個產品生命週期中最重要的一環，事前及時預警發現故障，事後提供翔實的資料用於追查定位問題。監控系統作為一個成熟的運維產品，業界有很多開源的實現可供選擇。當公司剛剛起步，業務規模較小，運維團隊也剛剛建立的初期，選擇一款開源的監控

教你如何在CentOS 6.5下部署Open-Falcon監控系統

注：本次安裝為測試環境，使用CentOS 6.5的系統，所裝軟體均為直接yum，如果線上部署，請使用公司提供的軟體版本。 1、介紹 監控系統是整個運維環節，乃至整個產品生命週期中最重要的一環，事前及時預警發現故障，事後提供翔實的資料用於追查定位問題。監控系統作為一個成熟的運維產品，

open-falcon小米監控安裝部署

一、部署前的準備 設定環境變數 export WORKSPACE=/home/work/open-falcon1 redis安裝 - yum安裝或原始碼安裝 yum安裝 yum install redis-cli redis-server2 原始碼安裝 tar zxvf r

【小米開源監控系統】open-falcon

open-falcon1)優勢·強大靈活的數據采集：自動發現，支持falcon-agent、snmp、支持用戶主動push、用戶自定義插件支持、opentsdb data model like（timestamp、 endpoint、metric、key-value tags） ·水平擴展能力：支持每個周期上