一直忙於工作，在平淡中時間慢慢流逝，想嘗試著寫點什麼，但不知道從何下手，  看到網上有很多文章寫的很不錯，很羨慕能把自己的想法寫出來然
    後分享給大家的那些技術達人，把書本上的知識從理解到應用實際工作中，不斷的學習、沉澱才能不斷的進步，努力成為你想要成為的那個人。
   從畢業到現在一直從事Java後臺開發工作，陰差陽錯的接觸到計算廣告這個佔網際網路大部分收入的行業，平時的工作主要是負責後臺業務的開發以及對
   廣告效果資料（廣告的曝光、點選、下載、活躍使用者等）、效能資料（SDK埋點資料）進行實時統計與報表展示。廣告效果資料是用Spark 
   Streaming進行準實時統計的，效能資料是利用Hadoop進行離線計算統計的（計算廣告涉及的知識面較為廣泛有興趣的同學可以拜讀一下劉鵬老師的
   計算廣告學）。因為Spark 叢集資源較為緊張導致Spark Streaming準時任務會出現計算延時，主備異常切換的時候導致Spark Streaming出現重啟失
   敗等，如果不能及時感知到這些因素，那麼將會給使用者帶來不好的體驗，給公司帶來不必要的損失。為了能自動監控到這些變化，並能及時感知進行
   相應的處理，在工作之餘利用python寫了一個任務監控指令碼。該指令碼根據任務名稱監控任務是否正常執行，以及是否出現計算延時，如果不正常的時
   候自動傳送郵件進行通知。哈哈、第一次寫部落格廢話較多，下面就直接上指令碼：
 

 #!/usr/bin/env python
#-*- coding:utf-8 -*-
import re
import datetime
import urllib2
import traceback
from bs4 import BeautifulSoup
from email.mime.text import MIMEText 
import smtplib
from email.header import Header


mail_to_list=["[email protected]"] #郵件收件人，多個用逗號隔開
mail_host="192.31.15.117"
 
 #郵件伺服器
mail_user="[email protected]"    #郵箱賬戶名（建議用公司內部郵箱，以免其他郵箱洩露伺服器機器資訊）

#線上環境spark頁面
spark_url_master_1 = "http://192.168.141.145:8090/"  #spark叢集主服務地址
spark_url_master_2 = "http://192.168.141.144:8090/" #spark叢集備服務地址
task_names = ["AD_SSP_STAT_OLAP","AD_SDK_DISTRIBUTE_STAT_OLAP"] # 任務名稱，多個任務用逗號分隔
time_delayed = 60
 
*30


#傳送郵件

def send_mail(content):
    text = ''+content
    message = MIMEText(text,'html','utf-8')
    message['From'] = Header(mail_user,'utf-8')   
    message['To'] = Header(";".join(mail_to_list),'utf-8') 
    message['Subject'] = Header("Spark Streaming 統計監控",'utf-8')

    try:
        server = smtplib.SMTP()
        server.connect(mail_host)
        server.sendmail(mail_user,mail_to_list,message.as_string())
        server.quit()
        print '傳送成功'
    except Exception,e:
        print "Error:無法傳送郵件",str(e)

#根據任務名稱獲取任務跳轉地址href

def getHref(url,task_name):
    html = ''
    href = ''
    try:
        html = urllib2.urlopen(url)
    except Exception , e:
         print "開啟url出錯",str(e),str(url)
    try:
        bsObj = BeautifulSoup(html.read())
        href  = bsObj.findAll("a",{"href":re.compile("^http:.*")},text=task_name)[0].attrs["href"]
    except Exception ,e :
        print "解析標籤出錯",str(e)
    return href

#獲取任務執行地址任務執行時間狀態
def getTaskStatus(url):
    url = url +"/streaming/"
    html = ''
    time = ''
    try:
        html = urllib2.urlopen(url)
    except Exception , e:
         print "開啟url出錯",str(e),str(url)
    try:
        bsObj = BeautifulSoup(html.read())
        time  = bsObj.findAll("table",{"id":"completed-batches-table"})[0].find("tbody").findAll("tr")[0].findAll("td")[0].findAll("a")[0].get_text() 
    except Exception ,e :
        print "解析標籤出錯",str(e)
    return time

#指定的時間與當前時間差
def get_time_diff(t_str):
    starttime = datetime.datetime.now()
    endtime = datetime.datetime.strptime(t_str, '%Y/%m/%d %H:%M:%S') 
    return dateDiffInSeconds(starttime,endtime)時間相差的秒數

def dateDiffInSeconds(date1, date2):
    timedelta = abs(date2 - date1)
    return timedelta.days*24*3600 + timedelta.seconds

#檢測是否延時過長,超過了指定的閥值
def checkDelayed(time,url,task_name):
    #延時一個小時則傳送報警郵件
    if time != '':
        delayed = get_time_diff(time.strip())
        if(delayed>time_delayed ):
            url = url+"/streaming/"
            content = "任務延時:"+str(delayed)+str("秒,任務url：")+str(url)
            send_mail(content)
        else:
           print "任務:"+str(task_name)+"檢測正常"
    else:
        passtaks url

#根據任務名稱獲取任務地址 
def getTaskUrl(task_name):
    url = ''
    if getHref(spark_url_master_1,task_name) != '':
        url = getHref(spark_url_master_1,task_name)
    else:
        url = getHref(spark_url_master_2,task_name)
    return url

#執行主方法
if __name__ == '__main__':

    for task_name in task_names:
        taskUrl = getTaskUrl(task_name)
        if taskUrl == '':
            content = "spark  master任務中沒有找到執行的任務："+str("master 地址1：")+spark_url_master_1+str(" , master 地址2：")+spark_url_master_2
            send_mail(content)
        else:
            runTime = getTaskStatus(taskUrl)
            checkDelayed(runTime,taskUrl,task_name) 

“`
上面是完整的指令碼，只要在Linux中加個定時任務就可以進行監控了，這裡面用了python提供的爬蟲庫BeautifulSoup，BeautifulSoup提供了find、
findAll等方法可以和正則表示式進行結合使用，讓我們方便的對html文件中的標籤進行查詢定位獲取，之所以用任務名稱進行查詢任務執行地址，是應
為，spark 叢集會進行主備切換，如果寫hard code，當主備切換的時候，地址發生了變化，指令碼會找不到任務，或者任務重新啟動的時候，任務執行
的節點地址也會隨機變化的，這樣我們就不得不每次啟動一次就修改一次監控指令碼很繁瑣，所以使用任務名稱進行查詢任務執行地址，我們只要通過配置
spark 叢集的訪問地址，然後通過爬蟲自動查詢任務執行的節點地址，找到任務地址進行後做相應的延時等監控處理就可以了，這大大增加了指令碼的靈活
性，當然指令碼也有很多的不足之處，例如：我們把spark 叢集主備地址、任務名稱、收件人都hard code程式碼裡，這些度可以進行相應的改進，如通過
web頁面進行配置上面的hard code，並通過任務名稱進行分組，不同的任務名稱傳送給不同的收件人，這樣就能各負其職呢。

當能力不能匹配你的野心的時候，那就安靜下來進行學習