Hadoop簡單監控指令碼開源

阿新 • • 發佈：2018-12-23

2013-01-06

用於監控hadoop系統各主機狀態，如記憶體佔用，硬碟佔用，程序是否存在。如果達到一定閾值或程序退出則傳送email告警。

特點：

很簡單的用於監控Hadoop各節點狀況，包括記憶體佔用情況，硬碟佔用情況，程序是否存在等。如果出問題將傳送email告警。
部署非常簡單。只需下載或解壓到一臺機器上，配置完畢，即可監控所有節點。不需到遠端去部署。
用Bash指令碼寫成，方便修改
用於監控Java(Hadoop相關的，如HBase，Thrift，ZooKeeper, Hive, Pig, Hadoop )程序。也可監控其他程序，需少量修改。

部署:

下載解壓到一臺機器上，遠端監控的機器不需要下載和配置
配置config.sh,設定好要監控哪些機器，哪些程序
修改loopcheck.sh, 設定好路徑，該檔案供crontab使用。
可以測試一下郵件傳送是否正常
新增到crontab，如5分鐘執行一次

0-59/5 $HOME/smr/loopcheck.sh

測試郵件傳送

編輯sendmail.sh
將EMAIL變數註釋去掉,修改成自己的email
編輯郵件正文，儲存到emailbody.txt
執行命令 ./sendmail.sh emailbody.txt

如非註明轉載, 均為原創. 本站遵循知識共享CC協議,轉載請註明來源

Hadoop簡單監控指令碼開源

2013-01-06 用於監控hadoop系統各主機狀態，如記憶體佔用，硬碟佔用，程序是否存在。如果達到一定閾值或程序退出則傳送email告警。特點：很簡單的用於監控Hadoop各節點狀況，包括記憶體

一次完成的簡單監控配置

一次完成的簡單監控配置一次完成的簡單監控配置：host group --> host --> [application] --> item --> trigger(Events) -->(Media Type,User Group,User) --> action(cond

python 簡單監控內存/硬盤空間/以及oracle表空間使用情況

paramico ssh 檢查系統情況由於使用的是內網環境，所以使用用戶名密碼驗證，建議使用密鑰認證check.py import paramiko #獲取ssh連接並執行shellcomand返回正確的結果 def doshell(hostname,port,username,password,shellc

keepalived主備簡單使用以及簡單監控腳本編輯

keepalived 主備腳本這幾天palived 這個博文後期還會編輯，現在只學了皮毛而已，特此記錄下！我用的是yum安裝的keepalived，用光盤搭建的yum源兩臺機器 ip地址分別是 10.91.10.173 和10.91.10.172 首先兩臺機器安裝yum install -y

【14】程序監控指令碼-getRSSMem.sh

# get size of java process RSS memory PName=$1 #echo $PName if [ "$PName" != "" ];then a=`ps aux | grep $PName | grep -v grep | grep -v z

【13】程序監控指令碼-getPID.sh

#!/bin/bash # get size of java process PID PName=$1 #echo $PName if [ "$PName" != "" ];then pid=`ps aux | grep $PName | grep -v grep

【11】程序監控指令碼-getHandle.sh

# get size of java process handles PName=$1 #echo $PName if [ "$PName" != "" ];then a=`ps aux | grep $PName | grep -v grep | grep -v zabb

【10】程序監控指令碼-getCPUPer.sh

#!/bin/bash # get size of java process CPU% PName=$1 #echo $PName if [ "$PName" != "" ];then a=`ps aux | grep $PName | grep -v grep |

大資料開發之Hive篇----初始hive及hadoop簡單回顧

我們先簡單回顧一下hadoop： a，Hadoop是什麼：海量資料分散式的儲存和計算框架。其中資料的儲存是hdfs(Hadoop Distributed File System)，而計算是yarn/mapreduce。 b，Hadoop的訪問方式：shell，Java API，Web UI(

linux inotifywait 簡單監控目錄與檔案

inotify-tools專案地址: https://github.com/rvoicilas/inotify-tools inotify-tools下載地址: http://github.com/downloads/rvoicilas/inotify-tools/inotify

kafka監控指令碼

#!/bin/bash#-*- coding: utf-8 -*-#Date： 2018/08/15#Author: Mr.yang ps -ef |grep kafka |grep -v grep |grep -v kafka.sh > /dev/null if [ $? -eq

Linux中的四個簡單shell指令碼

1.列印Hello World！ #!/bin/bash #Program: # This program shows "Hello World!" in your screen. #History: #2018/11/17 caiyuting First release P

大資料Hadoop的13個開源工具

Hadoop是由Apache基金會開發的一個大資料分散式系統基礎架構，最早版本是2003年原Yahoo!DougCutting根據Google釋出的學術論文研究而來。使用者可以在不瞭解分散式底層細節的情況下，輕鬆地在Hadoop上開發和執行處理海量資料的應用程式。低成本、高可靠、高擴充套件、高

系統資源監控指令碼

#!/bin/bash #統一寫下接收監控郵件的郵箱 mail_account="[email protected]" #監控系統負載與CPU、記憶體、硬碟、登入使用者數，超出警戒值則發郵件告警。 #提取本伺服器的IP地址資訊 IP=`/sbin/ifconfig eth0 | grep

ssh連線遠端主機執行指令碼的環境變數問題（編寫hadoop叢集啟動指令碼）

參考：https://blog.csdn.net/whitehack/article/details/51705889 如：遠端主機執行指令碼報錯：（因為這種方式是non-interactive + non-login shell，不會去載入/etc/profile系統環境變數，可以配置使

記centos7.2+上tomcat啟動成功的監控指令碼和nginx可配置多個域名

監控指令碼為: #!/bin/sh DATE=$(date +"%Y-%m-%d") tail -f /dir(你自己tomcat的位置)/catalina.out.$DATE|sed "/Server/{/startup/q}" echo '啟動成功'

cassandra服務監控指令碼

1. 指令碼如下： #!/bin/bash #/home/zx_wuzhan/monitor/tmp #獲取Cassandra叢集全部資訊 /usr/bin/ssh [email protected] "/home/im/apps/opt/cassandra/b

hadoop執行python指令碼出錯：subprocess failed with code 127

一開始在ubuntu上，用vim寫了兩個.py檔案：mapper.py 和 reducer.py ，並通過 # hadoop jar /usr/lib/hadoop-0.20-mapreduce/contrib/streaming/hadoop-streaming-2.6

python3，windows下的程序監控指令碼

1 安裝psutil，pip install psutil、 2 檢視程序id，可通過工作管理員檢視 3 cmd下進入指令碼所在路徑 4 執行指令碼（python monitor.py 30658） 5 指令碼所在路徑下，生成監控日誌檔案指令碼如下：

主機計劃任務監控指令碼

1. 188.54 [email protected]:[/data/shell]crontab -l */10 * * * * /usr/bin/bash /data/shell/monitor_scripts/ejabberd_msync_conn.sh &am

Hadoop簡單監控指令碼開源

特點：

部署:

測試郵件傳送

相關推薦