執行過程持續返回

簡要

1. 挑用外掛：
    django-celery  jenkins
2. 基於Python版本：
    Python2.7
3. 基於django版本：
    django1.8.18

主要問題：

需要把jenkins程式碼釋出的執行過程持續輸出，後臺執行完成後訊息資料返回到前臺。

解決方案：

使用django-celery的非同步執行操作，把非同步執行的資料返回到rabbitmq，從rabbitmq讀取資料寫入資料庫，頁面中返回資料庫的資訊，頁面使用定時器，當返回結果不為失敗或者成功時，5秒重新整理頁面，讀取最新的操作內容。

具體程式碼如下：

1. django setting.py配置：

    djcelery.setup_loader()
    BROKER_URL = 'amqp://guest:[email protected]:5672//'
    BROKER_POOL_LIMIT = 0
    #CELERY_TASK_SERIALIZER = 'json'                    （由於設定Json以後輸入也必須要使用Json格式，暫時未啟用）
    #CELERY_RESULT_SERIALIZER = 'json'
    CELERY_ENABLE_UTC = True
    CELERY_RESULT_BACKEND= 'amqp'

    INSTALLED_APPS = (
    'djcelery',
    'app',
    ）

2. django celery.py配置：

    #!/usr/bin/env python
    # -*- coding:utf-8 -*-

    from __future__ import absolute_import
    import os
    from celery import Celery
    from django.conf import settings
    from app.backend.tasks import *
    os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'CMDB.settings')

    app = Celery('CMDB')

    app.config_from_object('django.conf:settings')
    app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)

3. app view配置：

    def job_release(request):
        if request.method == 'GET':
            try:
                global job_enable                                 （執行開關，防止多次執行）
                id = request.GET.get('id')                        （獲取指定的ID）
                name =  request.GET.get('name')                    (執行會帶name,返回到執行頁面不會帶name,防止返回被執行)
                all_result = jenkins_return.objects.filter(id=id) （獲取當前執行的專案資訊）
                job_name = all_result[0]                          （執行的專案名稱）
                full_name = all_result.values()[0]['full_name']   （執行的專案全稱，jenkins需要指定到子目錄才能build）
            except:
                all_result = job_release_return.objects.filter(id=id)    （返回，或者重新整理，還是獲取到當前的內容）
                return render_to_response("job_release.html",locals())
            else:
                if job_enable == 1:                                     （執行開關，為1的時候開啟執行功能）
                    res = goto_html.delay(full_name,job_name)           （非同步執行第一步，準備執行）
                    import_goto_html.delay(res.get())                   （匯入到資料庫）
                    ret_in = get_job_runinng_in.delay(full_name,res.get()) （非同步執行第二步，獲取執行中狀態內容）
                    ret_end =get_job_runinng_end.delay(full_name,res.get()) （非同步執行第三部，取得執行結果）
                    job_enable = 0                                          （執行完成後功能取消，當返回到執行頁面時復位）
                time.sleep(0.5)                                             （返回內容）
                all_result = job_release_return.objects.all()
                return render_to_response("job_release.html",locals())    

4. js配置（很簡單，不是執行成功或者執行失敗時重新整理頁面）：

    <script language="JavaScript">
    function myrefresh(){
        window.location.reload();
        }
    function show(){
        var mytable = document.getElementById("dataTables-example").rows[1].cells[7].innerHTML;
        if(mytable == "執行成功" || mytable == "執行失敗"){
        return true;}
        else{
        myrefresh();}
    }
    setTimeout('show()',5000);
    </script>       

5. app task.py配置：
    #!/usr/bin/env python
    # -*- coding:utf-8 -*-
    from __future__ import absolute_import
    from celery import task
    from app.backend.fb_jenkins import *
    import urllib
    import jenkins
    import time
    from datetime import datetime
    import sys

    jenkins_server_url=""                         （jenkins地址）
    host=""                                       （主機IP）
    user_id = ""                                  （jenkins使用者）
    api_token = ""                                （jenkins token）
    #server=jenkins.Jenkins(jenkins_server_url, username=user_id, password=api_token)   （這裡兩種方式，一直使用oken,另一種使用passwd）
    server=jenkins.Jenkins(jenkins_server_url, username=user_id, password="*****")    
    joblist=[]

    #（jenkins的方法，獲取專案構建過程）
    @task
    def get_job_output(jobName):
        last = server.get_job_info(jobName)['lastBuild']['number']
        return server.get_build_console_output(jobName,last)

    # (進入執行頁面，並執行job任務)
    @task
    def goto_html(full_name,jobName):
        result = get_job_output(full_name)
        start_time = datetime.now().strftime('%Y-%m-%d %H:%M:%S')
        result_log = " {0} {1} 程式開始構建".format(start_time, full_name)
        parameters = {}
        parameters['project0001'] = 'test001'
        server.build_job(full_name,parameters)
        results = []
        workspace = result.split('Building in workspace')[1].strip().split('\n')[0]
        next_build_number = server.get_job_info(full_name)['nextBuildNumber']
        results.extend([jobName,host,workspace,start_time,"end_time",next_build_number,next_build_number,"執行開始","result",result_log])
        return results

    # （寫入資料庫）
    @task
    def import_goto_html(ret):
        import_release_sql(ret)
        return True

    # (執行中狀態)
    @task
    def get_job_runinng_in(full_name,ret):
        result = get_job_output(full_name)
        results = []
        jobName = ret[0]
        start_time = ret[3]
        workspace = ret[2]
        next_build_number = ret[5]
        time_now = datetime.now().strftime('%Y-%m-%d %H:%M:%S')
        for i in range(20):
            builds = server.get_running_builds()
            if len(builds)!=0:break
            time.sleep(0.2)
        result_log = ret[9] + "\n {0} {1} 程式構建中".format(time_now, full_name)
        results.extend(
            [jobName, host, workspace, start_time, "end_time", next_build_number, next_build_number, "執行中", "result",
             result_log])
        import_goto_html(results)
        return results

    # （執行完成狀態）
    @task
    def get_job_runinng_end(full_name,ret):
        results = []
        jobName = ret[0]
        start_time = ret[3]
        workspace = ret[2]
        next_build_number = ret[5]
        time_now = datetime.now().strftime('%Y-%m-%d %H:%M:%S')
        time.sleep(3)
        while True:
            try:
                build_info = server.get_build_info(full_name, next_build_number)
            except:
                continue
            else:
               if build_info[u'building'] == False:
                    break
               time.sleep(1)

        end_time = datetime.now().strftime('%Y-%m-%d %H:%M:%S')
        result = get_job_output(full_name)
        result_log = ret[9] + "\n {0} {1} 程式構建中".format(time_now, full_name) + "\n {0} {1} 程式構建完成".format(end_time,full_name)
        results.extend(
            [jobName, host, workspace, start_time, end_time, next_build_number, next_build_number, "執行成功", result,
             result_log])
        import_goto_html(results)
        return results