1. 程式人生 > >新功能- Collectd的Amazon CloudWatch外掛

新功能- Collectd的Amazon CloudWatch外掛

原文:https://aws.amazon.com/blogs/aws/new-cloudwatch-plugin-for-collectd/

作者:Jeff Barr

我在2011年已介紹過Cloud Watch的特性,“您可以在Cloud Watch中檢視圖表、設定告警、並根據這些指標啟動自動化操作,所使用的這些AWS資源指標會被儲存於Cloud Watch中 。”您目前已有能力在Amazon Cloud Watch中儲存一段時間範圍內的業務、應用及系統的指標資料(參閱“Amazon Cloud Watch定製新指標”瞭解更多資訊)。

今天我們將簡化系統統計資訊的採集過程,使用一個新的

CloudWatch plug for colletd將採集資料傳送至CloudWatch中 。並通過collectd 多種型別資訊的統計採集能力與cloudwatch儲存、展示、警報和告警的功能的整合,您可以更好地獲取EC2例項、本地硬體以及運行於其上應用程式的執行狀態及其效能資訊。該外掛已經作為一個開源專案釋出,我們期待您的反饋。

Collectd守護程序採用C語言編寫,具有高效能和可移植性。它支援上百個外掛 ,允許您收集有關ApacheNginx Web伺服器效能統計資料、memory usage uptime等資訊。

安裝與配置

為了演示這些功能,我在EC2例項上安裝並配置了Collectd服務及新Cloudwatch外掛。

首先我建立了一條IAM策略,它具備將指標資料寫入CloudWatch的許可權:

然後我建立了一個IAM角色,允許EC2(執行collectd程式的例項)使用上述所建的策略:

如果我計劃使用Collectd 外掛從本地伺服器或執行中的EC2例項收集統計資訊,那請跳過這些步驟,採用建立一個具有適當許可權的IAM使用者作為替代方法。在我完成上述工作後,會將該使用者的證書放在本地伺服器或EC2例項中。

在策略和角色配置完畢後,選擇該角色來啟動一個EC2例項

登入並安裝Collectd :

$ sudo yum -y install collectd

然後獲取外掛和安裝指令碼,設定指令碼為可執行,並執行該指令碼:

$ chmod a+x setup.py

$ sudo ./setup.py

回答一些互動問題確認安裝過程無誤,在完成配置之後就可啟動Collectd :

Installing dependencies ... OK

Installing python dependencies ... OK

Copying plugin tar file ... OK

Extracting plugin ... OK

Moving to collectd plugins directory ... OK

Copying CloudWatch plugin include file ... OK

Choose AWS region for published metrics:

1. Automatic [us-east-1]

2. Custom

Enter choice [1]: 1

Choose hostname for published metrics:

1. EC2 instance id [i-057d2ed2260c3e251]

2. Custom

Enter choice [1]: 1

Choose authentication method:

1. IAM Role [Collectd_PutMetricData]

2. IAM User

Enter choice [1]: 1

Choose how to install CloudWatch plugin in collectd:

1. Do not modify existing collectd configuration

2. Add plugin to the existing configuration

Enter choice [2]: 2

Plugin configuration written successfully.

Stopping collectd process ... NOT OK

Starting collectd process ... OK

$

在Collectd執行並且外掛安裝配置完成後,下一步是確定感興趣的統計資訊,並配置外掛將它們釋出至CloudWatch中(每個指標的採集成本也是一個需考慮因素)。

檔案/opt/collectd-plugins/cloudwatch/config/blocked_metrics包含已收集但尚未釋出到CloudWatch的指標列表:


$ cat /opt/collectd-plugins/cloudwatch/config/blocked_metrics

# This file is automatically generated - do not modify this file.

# Use this file to find metrics to be added to the whitelist file instead.

cpu-0-cpu-user

cpu-0-cpu-nice

cpu-0-cpu-system

cpu-0-cpu-idle

cpu-0-cpu-wait

cpu-0-cpu-interrupt

cpu-0-cpu-softirq

cpu-0-cpu-steal

interface-lo-if_octets-

interface-lo-if_packets-

interface-lo-if_errors-

interface-eth0-if_octets-

interface-eth0-if_packets-

interface-eth0-if_errors-

memory--memory-used

load--load-

memory--memory-buffered

memory--memory-cached

如您對記憶體消耗關注,可添加了一行到

/opt/collectd-plugins/cloudwatch/config/whitelist.conf

memory--memory-.*

Collectd配置檔案(/etc/collectd.conf)中包含Collectd附加設定及外掛設定。不需要做任何修改。

重新啟動Collectd,以便所做的調整生效:

$ sudo service collectd restart

為了模擬記憶體消耗,可執行了一些消耗記憶體的程式,然後開啟CloudWatch Console來查詢並顯示自定義指標:

該截圖包括了對CloudWatch控制檯即將推出增強功能的預覽;如果看起來不一致也不必擔心(請關注獲取更多資訊)。
如果監控一個生產例項,您還可以安裝更多Collectd外掛。以下是Amazon Linux AMI可用外掛列表:

$ sudo yum list | grep collectd
collectd.x86_64                        5.4.1-1.11.amzn1               @amzn-main

collectd-amqp.x86_64                   5.4.1-1.11.amzn1               amzn-main

collectd-apache.x86_64                 5.4.1-1.11.amzn1               amzn-main

collectd-bind.x86_64                   5.4.1-1.11.amzn1               amzn-main

collectd-curl.x86_64                   5.4.1-1.11.amzn1               amzn-main

collectd-curl_xml.x86_64               5.4.1-1.11.amzn1               amzn-main

collectd-dbi.x86_64                    5.4.1-1.11.amzn1               amzn-main

collectd-dns.x86_64                    5.4.1-1.11.amzn1               amzn-main

collectd-email.x86_64                  5.4.1-1.11.amzn1               amzn-main

collectd-generic-jmx.x86_64            5.4.1-1.11.amzn1               amzn-main

collectd-gmond.x86_64                  5.4.1-1.11.amzn1               amzn-main

collectd-ipmi.x86_64                   5.4.1-1.11.amzn1               amzn-main

collectd-iptables.x86_64               5.4.1-1.11.amzn1               amzn-main

collectd-ipvs.x86_64                   5.4.1-1.11.amzn1               amzn-main

collectd-java.x86_64                   5.4.1-1.11.amzn1               amzn-main

collectd-lvm.x86_64                    5.4.1-1.11.amzn1               amzn-main

collectd-memcachec.x86_64              5.4.1-1.11.amzn1               amzn-main

collectd-mysql.x86_64                  5.4.1-1.11.amzn1               amzn-main

collectd-netlink.x86_64                5.4.1-1.11.amzn1               amzn-main

collectd-nginx.x86_64                  5.4.1-1.11.amzn1               amzn-main

collectd-notify_email.x86_64           5.4.1-1.11.amzn1               amzn-main

collectd-postgresql.x86_64             5.4.1-1.11.amzn1               amzn-main

collectd-rrdcached.x86_64              5.4.1-1.11.amzn1               amzn-main

collectd-rrdtool.x86_64                5.4.1-1.11.amzn1               amzn-main

collectd-snmp.x86_64                   5.4.1-1.11.amzn1               amzn-main

collectd-varnish.x86_64                5.4.1-1.11.amzn1               amzn-main

collectd-web.x86_64                    5.4.1-1.11.amzn1               amzn-main

需瞭解事項

如果您使用的是5.5或更新版本的Collectd ,則會在預設情況下發布四個指標:

  • df-root-percent_bytes-used – disk utilization
  • memory–percent-used – memory utilization
  • swap–percent-used – swap utilization
  • cpu–percent-active – cpu utilization

如果您不希望釋出它們,您可以從whitelist.conf檔案中刪除這些指標。

在Amazon Linux AMI,Ubuntu,RHEL和CentOS的軟體倉庫中,目前提供了較舊版本的Collectd; 如果從原始碼或自定義repo進行構建安裝,請注意預設行為的變化。

更多

除了本次所展示的內容外, 您可以安裝更多的外掛,然後配置whitelist.conf來向CloudWatch釋出更多的指標。同時您可以建立CloudWatch警報 ,自定義儀表盤等。

譯者介紹

倪曉峻,AWS專業服務顧問,負責基於AWS雲端計算專案的諮詢和設計,具有超過十五年以上企業客戶服務經驗,致力於AWS服務在國內和全球的專案實施。在企業級解決方案,混合雲架構,運營整合等領域有著廣泛的設計與實踐經驗。在加入AWS之前曾任職VMware;HPE專業服務顧問,從事雲端計算/虛擬化架構設計及運維諮詢工作,兩次獲得省部級科技進步獎勵,參與OGC ITIL V3中文版的審定工作 。

相關推薦

功能- Collectd的Amazon CloudWatch外掛

原文:https://aws.amazon.com/blogs/aws/new-cloudwatch-plugin-for-collectd/ 作者:Jeff Barr 我在2011年已介紹過Cloud Watch的特性,“您可以在Cloud

九個令人興奮的功能將與Java 9 展示兩點

java googl pre api ogl body 特性 gen 大神 HTTP/2 Java 9 中有新的方式來處理 HTTP 調用。這個遲到的特性用於代替老舊的 `HttpURLConnection` API,並提供對 WebSocket 和 HTTP/2 的支持。

Kafka 0.11版本功能介紹 —— 空消費組延時rebalance

次數 新功能 ins 效果 可控 size style soft font   在0.11之前的版本中,多個consumer實例加入到一個空消費組將導致多次的rebalance,這是由於每個consumer instance啟動的時間不可控,很有可能超出coordinato

SYRefresh 一款簡潔易用的刷控件 支持tableview,collectionview水平垂直刷功能

thead res 技術分享 oot nvi ring ble .com tro SYRefresh 地址: https://github.com/shushaoyong/SYRefresh 一款簡潔易用的刷新控件 示例程序: 默認刷新控件使用方法: //添加頭部刷新控

即將到來的Autodesk 主要產品2015版 產品和API功能在線培訓(免費)

ont ref oca auto 即將 content span bsp 報名 一年一度的Autodesk主要產品和API在線培訓課程在5月份即將開始。我們呈獻給大家5個課程。1. Revit 2015 產品新功能及API 概覽2. Vault 2015產品新功能及API

Apache Flink 1.3.0正式發布及其功能介紹

space str either update sse ant 新功能 sid ask 下面文檔是今天早上翻譯的,因為要上班,時間比較倉促,有些部分沒有翻譯,請見諒。 2017年06月01日兒童節 Apache Flink 社區正式發布了 1.3.0 版本。此版本經歷了四個

RHEL/Centos7功能

rhel/centos7與之前系統的比較1.身份管理●kerberos的跨平臺信任機制:kerberos將完全兼容微軟活動目錄,實現完全使用目錄進行認證。●REALMD:該功能簡化了RHEL加入微軟活動目錄的配置,支持自動發現域信息。2.性能管理●性能輔助工具:RHEL7提供了一個新的框架和一個新的通用圖形界

Dynamics CRM2016 功能之從CRM APP通過電子郵件發送頁面鏈接

font track fill lin center lis alt app jsb 通過電子郵件發送頁面鏈接在PC端早就有了。但APP端卻始終沒有。這版加上了這個功能。這裏還是以case為例,發送頁面鏈接的方式有兩種 第一種在list界面,長按你要s

git stash封存分支 以及關於開發功能的處理

oca ash color 可能 top clean 代碼 desktop 單獨 有種情況,我們要修復項目的bug時,但別的分支有修改的代碼,要修復的bug可能會影響(所有分支共用一個暫存區)。可以單獨創建一個bug分支,用於修復和提交bug,在修改前可以先stash封存分

一號旺鋪微信小程序三大功能:可相互跳轉、批量管理門店

分享 使用 中介 合作 開發者工具 常用 消息 固定 打通 可相互跳轉、批量管理門店,小程序是抓住零售新機會的一把利器嗎?一號旺鋪專業、專註開發小程序,就微信小程序的三個功能與大家分享。 同一個公眾號下關聯的 10 個同主體小程序和 3 個非同主體小程序之間,可以調用接口直

Apache Kafka 0.11版本功能簡介

多個 spa 實現 cer true assign 線程 cto headers Apache Kafka近日推出0.11版本。這是一個裏程碑式的大版本,特別是Kafka從這個版本開始支持“exactly-once”語義(下稱EOS, exactly-once semant

docker1.13功能network關註點

推薦 html 建立 body ble red tcp 答案 保持 網絡 允許 docker run 連入指定的 swarm mode 的網絡 https://github.com/docker/docker/pull/25962 在 Docker 1.12 發布新的

功能測試

ora gre selection text ntc election 頁碼 -i tde @charset "utf-8"; body, ul,li { margin: 0; padding: 0; font-family: "微軟雅黑"; } #cnblogs_post

What's New In DevTools (Chrome 59)來看看最新Chrome 59的開發者工具又有哪些功能

來看 nbsp work 效果 linux 工作者 drawer 表示 cnblogs 原文:https://developers.google.com/web/updates/2017/04/devtools-release-notes#command-menu 參考:h

3大功能,9大升級,聯軟科技推出LV7000版本

數據防泄漏 信息安全 上周,聯軟科技推出LV7000一體化信息安全管理平臺的升級版,即LV7000-SP201707。這次的產品升級,是基於廣大用戶需求的反饋,在升級完善原有功能的基礎上,增加了3大新功能,使得這款LV7000 SP版本的網絡安全防護能力得到了增強,同時又簡化了操作,用戶體驗更好。 ·

sqlserver2016功能

ace ssi operator only 兼容性 任務 prop 平臺 sam SQL Server 2016中的新功能(數據庫引擎) 2017年1月13日 23分鐘閱讀時長 作者 本主題適用於: SQL Server(從2016開始) Azu

微信公號文章排版:微信公眾號新增4個功能

改變 完成 png 新增 基本配置 dfa 縮小 理想 經理 微信公眾號排版對於新媒體運營是一個必知的課題。 就像中國人必須會說國語一樣。 說起排版,現在的排版都流行簡潔風格,那麽這裏也延續簡潔風。 我給大家列出了公眾號排版的一些基本配置,如有雷同,那就對了! 字號 建議

Guitar Pro功能介紹-後面放大招!

Guitar Pro新功能 Guitar Pro下載 Guitar Pro是一款非常適合初學作曲又是吉他初學者的朋友們使用的編曲軟件,很多朋友使用Guitar Pro已經有很多年了,從GTP3、GTP4、GTP5、GTP6,一直到現在的GTP7,隨著Guitar Pro 7的來勢兇猛,不少小夥伴

Android Studio 3.0 下載 使用功能介紹

card offline sta 主目錄 index 執行 sources message tree 谷歌2017發布會更新了挺多內容的,而且也發布了AndroidStudio3.0預覽版,一些功能先睹為快。(英語一般,有些翻譯不太好) 下載地址 https://dev

淺析PHP7功能及語法變化總結

sign 歧義 int() rdquo cat 功能 關閉 rand reac 標量類型聲明 有兩種模式: 強制 (默認) 和 嚴格模式。 現在可以使用下列類型參數(無論用強制模式還是嚴格模式): 字符串(string), 整數 (int), 浮點數 (float),