1. 程式人生 > >Cassandra叢集搭建(包含監控)

Cassandra叢集搭建(包含監控)

cassandra是當下流行的nosql資料庫,基於google big table的理論。
這篇文章主要是記錄自己搭建cassandra叢集的過程,更重要的是監控系統的搭建過程,對這種基礎設施來說,沒有監控就是裸奔,裸奔就相當與定時炸彈

1. 叢集搭建:

system-info: ubuntu16.04
這裡採用debian二進位制包的方式安裝,這一步也可以採用原始碼。
在這之前,需要安裝好java8的環境,可以參考我另外一篇部落格ubuntu安裝jdk7/jdk8的兩種方式
環境安裝好之後,執行下面的命令進行安裝:

echo "deb http://www.apache.org/dist/cassandra/debian 310x main"
| sudo tee -a /etc/apt/sources.list.d/cassandra.sources.list

這裡的310x可以自行選擇,我安裝時候官網給的例子是36x
依次執行的下面的命令進行按照

curl https://www.apache.org/dist/cassandra/KEYS | sudo apt-key add -
sudo apt-get update
sudo apt-get install cassandra

官網同時提到了在執行sudo apt-get update時候報錯的處理辦法,我當時沒遇到什麼報錯。
使用nodetool status可以檢視的節點的啟動狀態
節點的啟動/停止/重啟命令是sudo service cassandra start/stop/restart

2. 叢集配置

參考上面的步驟初始化兩個機器(192.168.1.100, 192.168.1.101)。
分別配置/etc/cassandra/cassandra.yaml進行叢集組建。主要涉及下面的幾個配置。

192.168.1.100:

seeds: 192.168.1.100
listen_address: 192.168.1.100
rpc_address: 192.168.1.100

192.168.1.101:

seeds: 192.168.1.100
listen_address: 192.168.1.101
rpc_address: 192.168.1.101

配置完之後重啟兩臺機器,叢集就配置完成了。

3.監控搭建

下面介紹下叢集監控系統的搭建,參考了國外的一篇文章,小夥伴也可以直接去看
監控系統由Graphite和Grafana組成,採用cassandra主動上報狀態資料給Graphite,然後Graphite作為Grafana的資料來源。因為Grafana的展現給漂亮。

1) 配置cassandra向graphite上報狀態統計

  1. jar包放入/usr/share/cassandra/lib/
  2. 在 /etc/cassandra/目錄下建立一個上報狀態的配置檔案metrics_reporter_graphite.yaml,檔名可以自己隨意指定
graphite:
  -    period: 30
    timeunit: 'SECONDS'
    prefix: 'cassandra-TestCluster-192.168.1.227'
    hosts:
     - host: 'localhost'
       port: 2003
    predicate:
      color: 'white'
      useQualifiedName: true
      patterns:
        - '^org.apache.cassandra.+'
        - '^jvm.+'
  1. 將下面的內容加入cassandra-env.sh
METRICS_REPORTER_CFG="metrics_reporter_graphite.yaml"
JVM_OPTS="$JVM_OPTS -Dcassandra.metricsReporterConfigFile=$METRICS_REPORTER_CFG"

2) 安裝配置Graphite

## Install Graphite-carbon and Graphite-web
sudo apt-get install graphite-web graphite-carbon

## Configure Graphite
sudo vi /etc/graphite/local_settings.py
   TIME_ZONE = 'Asia/Shanghai'

## Sync Graphite database
sudo graphite-manage syncdb

## Configure Carbon
sudo vi /etc/default/graphite-carbon
#-- CARBON_CACHE_ENABLED=true

sudo vi /etc/carbon/carbon.conf
#-- ENABLE_LOGROTATION = True

## Configure Carbon storage schema
sudo vi /etc/carbon/storage-schemas.conf
#-- Add a section called "cassandra" before the last default section "default_1min_for_1day"
    [cassandra]
        pattern = ^cassandra\.
        retentions = 10s:10m,1m:1h,10m:1d

## Configure metrics storage aggregation method
sudo cp /usr/share/doc/graphite-carbon/examples/storage-aggregation.conf.example /etc/carbon/storage-aggregation.conf
#-- Make any changes if needed

## Start carbon-cache service
sudo service carbon-cache start

上面的配置幾乎全copy自參考的那篇部落格,除了這裡沒有使用postgresql,而是使用django預設的資料庫(sqlite)

3) 安裝配置Grafana

grafana這裡使用postgresql資料庫,首先安裝postgresql

## Install Postgres SQL database server
sudo apt-get update
sudo apt-get install postgresql libpq-dev python-psycopg2
sudo -u postgres psql
CREATE USER cassmon WITH PASSWORD 'some_password';
CREATE DATABASE grafana WITH OWNER cassmon;

安裝配置grafana

## Install Grafana
sudo apt-get install grafana

## Configure Grafana
sudo vi /etc/grafana/grafana.ini
#-- Make the following changes
    [database]
    type = postgres
    host = 127.0.0.1:5432
    name = grafana
    user = cassmon
    password = cassmon

    [security]
    admin_user = admin
    admin_password = admin
    secret_key = [email protected]
sudo service grafana start

至此需要配的其實已經都配好了, 此時在8000埠就可以看到graphite的展示,然後在grafana裡配置data source,就可以在grafana裡看統計了。

相關推薦

Cassandra叢集搭建(包含監控)

cassandra是當下流行的nosql資料庫,基於google big table的理論。 這篇文章主要是記錄自己搭建cassandra叢集的過程,更重要的是監控系統的搭建過程,對這種基礎設施來說,沒有監控就是裸奔,裸奔就相當與定時炸彈。 1. 叢集搭

Cassandra叢集搭建配置

wechat:812716131 ------------------------------------------------------ 技術交流群請聯絡上面wechat ----------------------------------------------

cassandra叢集搭建實戰

node110.202.20.191 (seed1) node210.202.20.192 node310.202.20.193 node410.202.20.194 node510.202.20.195 node610.202.20.196 node710.202.2

Elasticsearch5.2.1叢集搭建,動態加入節點,並新增監控診斷外掛

寫在前邊的話 ES5.2.1 叢集部署參考:http://blog.csdn.net/gamer_gyt/article/details/59077189 對於叢集的監控和優化是很重要的一部分,如果想持久維護叢集,單單靠增加實體記憶體,cpu,硬碟是不夠的,必須通過一些方法來進行優化。 叢

Docker-swarm叢集搭建及visualize監控的相關配置

初識Swarm Swarm 是 Docker 公司在 2014 年 12 月初發布的一套較為簡單的工具,用來管理 Docker 集 群,它將一群 Docker 宿主機變成一個單一的,虛擬的主機。Swarm 使用標準的 Docker API 介

Cassandra 之多資料中心叢集搭建

1. 叢集架構如下: 準備5臺RHL 7.2 的VM servers 模擬4臺在資料中心TJPDC,一臺在資料中心WHDRC 此次安裝的cassandra 版本是 apache-cassandra-2.2.7 資料中心 機器列表

搭建 Cat 監控平臺叢集

1、Cat 簡介 Cat 是大眾點評開源出來的一個監控平臺,很多企業都在使用,比如官方提供的下面這些企業: 最近公司在使用 Cat 作為新的監控平臺,通過這個機會,我也嘗試去搭建 Cat 叢集,下面簡單介紹一下搭建的過程。   2、下載 Cat 程式碼 通過全球最

創業公司快速搭建立體化監控之路(WOT2016)

pwa 分享 下單 存在 哪裏 沒有 增加 str 做了 本文內容:創業型公司如何快速搭建可擴展,可落地的立體化監控平臺 一、需求緣起 創業型公司有系統監控麽?來看兩個case: case 1:CXO大群內貼了一張“用戶微信投訴”的截圖 (1)CXO大群內貼了一張“用戶

搭建Nagios監控服務器

su - 默認 plugin 信息 tin 2.3 -m name 狀態 Linux監控 IDC監控 監控的對象:服務器(運維崗位)監控什麽:(資源)1、硬件的使用率(cpu 內存 存儲)2、監控應用服務的狀態(運行 停止)3、操作系統的運行情況(進程數量 系統的用

Linux 搭建Cacti 監控服務器

chown php.ini sts image 3.2 multipart hold 信息 安裝 Cacti 監控服務器搭建Cacti監控服務器 192.168.4.21一, 部署運行環境 LAMP/LNMP二,安裝Cacti2.1 創建存儲信息的庫 cactidb# my

搭建Zabbix監控服務器

cut configure 5.1 start 回車 存儲 安裝目錄 conn str 搭建Zabbix監控服務器 192.168.4.88一、部署服務運行環境LAMP#rpm -q httpd mariadb-server php#yum -y install

Linux 搭建Zabbix監控

ctu passwd 命令 rem user 自動 使用 sender inpu 搭建Zabbix監控一,搭建Zabbix監控 服務器 192.168.4.211.1 部署服務運行環境 (LAMP/LNMP)1.2 安裝zabbix 軟件(源碼) 軟件包: zabbi

centos7手把手教你搭建zabbix監控

centos7手把手教你搭建zabbixCentos7安裝部署zabbix3.4centos系統版本: 1、安裝前需要先關閉selinux和firewall.1.1[root@zabbix ~]# vi /etc/selinux/config 將SELINUX=enforcing改為SELINUX=disa

Linux監控平臺——搭建zabbix監控平臺

搭建zabbix監控平臺19.1 Linux監控平臺介紹 常見開源監控軟件 cacti、nagios、zabbix、smokeping、open-falcon等等。cacti、smokeping偏向於基礎監控,成圖漂亮。cacti、nagios、zabbix服務端監控中心,需要php環境支持,其中zabbi

docker搭建zabbix監控

zabbix docker1、創建目錄[root@localhost script]# mkdir /usr/local/zabbix/etc/script 2、編輯容器發現腳本[root@localhost script]# vim docker_discovery.py#!/usr/bin/env pyt

CAT跨語言服務加拿大28平臺搭建監控(七)消息分析器與報表

active 進行 del 哪些 name 取出 服務監控 想要 微服務 CrossAnalyzer-調用鏈加拿大28平臺搭建論壇:haozbbs.com Q1446595067分析 在分布式環境中,應用是運行在獨立的進程中的,有可能是不同的機器,或者不同的服務器進程。那

mysql 數據庫搭建Zabbix 監控

led 文檔 cin swd bin star user con .so mysql安裝zabbix4.0一 準備環境 1. 關閉系統selinux[root@linux01 ~]#vi /etc/selinux/config #This file controls th

在LNMP架構中搭建zabbix監控服務!!!

必須 png zabb document 版本 請求 popu ram 成功 在上篇博客中我具體操作了在LAMP架構中搭建zabbix監控服務,在本篇中我將在LNMP中搭建一個zabbix服務,操作步驟相比於之前要稍微復雜一些,但也只是在細節上LNMP稍多一些,大體過程還是

Hadoop----叢集搭建指南(下卷)

前言 什麼是Hadoop? Apache Hadoop is a framework for running applications on large cluster built of commodity hardware. The Hadoop framewor

Hadoop----叢集搭建指南(中卷)

前言 本文的搭建基於上卷的配置,環境不再一一贅述。網路配置好的5臺節點均可相互ping通,對於節點hadoop1(192.168.20.2)可以ping同其餘四臺hadoop2(192.168.20.3)、hadoop3(192.168.20.4)、hadoop4(192.16