雲效自建測試自動化最佳實踐，對於現代軟體研發來說，持續、快速、高質量、低風險地交付需求特性，是業務對研發的主要訴求。而要做到這一點，除了要有良好的架構設計、卓越的工程能力，快速可靠的測試反饋也是其非常重要的一環，達到這一點，需要依靠測試自動化。

1.測試自動化用例儲存在雲效程式碼平臺的git倉庫中

2.用於執行測試自動化的測試步驟，基於雲效的自定義step能力建立

3.觸發和串聯程式碼、構建和自動化測試的雲效流水線、

1.選擇或編寫對應開源測試自動化工具的flow step

雲效內建了主流開源測試自動化工具的支援（TODO），同時提供flow cli工具，幫助企業定製化地實現符合自己要求的測試自動化元件。如何通過flow cli實現併發佈一個flow step，請參見參考資料。

# ...
image: registry.cn-hangzhou.aliyuncs.com/feiyuw/flow-robotframework:1.0
items:
  - label: 執行命令
    name: STEP_COMMAND
    type: shell
    value: |
      # NOTE: output directory should be robot_logs
      robot -L Trace -d robot_logs .
# ...

 items:
    - label: 紅線資訊
      name: CHECK_REDLINES
      type: addable_group
      rules:
        - require: false
      add_button:
        type: icon
        icon: plus
        text: 增加紅線
        tip:
          icon: question-circle
          description: 紅線校驗失敗步驟標記為失敗
      template:
        items:
          - name: redline
            label: 紅線
            position: flat
            type: custom_redline_dropdown
            datamap: '[{"key": "PassRate", "type":"GE"}]'
            rules:
              -requires: false

另外在step.sh的最後新增紅線檢查部分，如：

redline Passed:成功:$STEP_ROBOT_PASS:Success Failed:失敗:$STEP_ROBOT_FAILED:Error PassRate:成功率:$STEP_ROBOT_PASSRATE:Default

flow step編寫及除錯完畢後，publish到當前企業中。

2. 在程式碼庫中新增測試自動化用例

對於針對整個產品或一個子系統的自動化測試，我們建議自動化測試用例儲存在單獨的程式碼倉庫中；而對於針對某個特定應用的自動化測試，我們建議其測試用例儲存在該應用的程式碼倉庫中，並與開發使用同一個分支（推薦）。

將自動化測試用例與應用程式碼在同一個程式碼庫中管理，有許多好處：

1.測試用例與程式碼互相匹配且是最新的，讓自動化測試在開發階段就可以及時介入

2.直接複用開發的分支模式，不用考慮自動化用例的版本管理

3.開發和測試基於git程式碼庫緊密協作，方便落地ATDD這樣的優秀實踐

4.容易整合到流水線中，當測試程式碼或者開發程式碼變更後都能快速被執行和反饋，加速問題的定位和修復

示例：alpd-bot-ssh的測試自動化用例。

alpd-bot-ssh是一個SSH的服務，提供IP歸屬地查詢和天氣查詢能力，該測試自動化用例基於RobotFramework框架實現。

3. 新增測試自動化節點到流水線

開啟持續整合流水線，如果沒有，在flow上建立一個。

說明

立即體驗：雲效流水線Flow

3.1 編輯流水線，新增一個空白任務

3.2 新增自定義步驟，“RobotFramework測試”

3.3 配置執行命令和紅線

4. 上傳測試報告到雲效，以在雲效流水線執行結果中展示

4.1 編輯第三步的測試自動化節點，新增一個步驟

4.2 配置測試報告目錄（這裡是robot_logs）和測試報告入口檔案（這裡是report.html）

5. 同步測試結果到自建的報表系統

有些時候，我們需要對測試結果進行進一步的統計分析，此時，僅靠測試自動化工具提供的報告就無法滿足了。通常，我們會自建一個報表系統。那麼，雲效中執行的測試自動化結果如何上傳到我們自建的報表系統呢？

5.1 確保報表系統能夠被雲效訪問到

由於網路問題，雲效無法訪問我們建在私有網路環境中的報表系統，要求報表系統開放公網訪問介面。為了安全，我們建議僅開放必要的介面，同時做好IP白名單防護。

5.2 在flow step中新增上傳報告步驟

開啟步驟1的flow step，編輯step.sh，新增上傳報告步驟。

注意：該步驟需要放在redline檢查之前，同時建議傳遞的資訊包括：測試結果、程式碼分支、程式碼版本、提交者、流水線名字等。

# ...
# sh -ex $WORK_SPACE/user_command.sh
bash -c "$STEP_COMMAND"

output=`python3 /root/parse_output.py $OUTPUT_XML`

STEP_ROBOT_PASS=`echo $output | awk -F, '{print $1}'`
STEP_ROBOT_FAILED=`echo $output | awk -F, '{print $2}'`
STEP_ROBOT_PASSRATE=`echo $output | awk -F, '{print $3}'`

# upload test result to report server
python3 /root/upload_to_report_server.py $OUTPUT_XML $CI_COMMIT_REF_NAME $CI_COMMIT_SHA $EMPLOYEE_ID $PIPELINE_NAME $BUILD_NUMBER

redline Passed:成功:$STEP_ROBOT_PASS:Success Failed:失敗:$STEP_ROBOT_FAILED:Error PassRate:成功率:$STEP_ROBOT_PASSRATE:Default

最後的流水線大致是下面這個樣子：

形式二：測試自動化自建Jenkins

對於已經自建Jenkins等工具用於測試自動化排程執行，甚至在Jenkins上進行了二次開發和定製的團隊，或者對於像ioT開發這樣有特殊環境要求的應用，複用現有的工具資源更為經濟。為此，雲效提供了與客戶現有Jenkins服務無縫對接的能力，幫助企業通過串聯起研發測試。

1. 確保自建Jenkins能夠被雲效訪問到

自建Jenkins服務需要支援公網訪問，以便雲效能夠訪問並觸發對應的任務。同樣，為了安全考慮，建議僅開放必要的介面，並開啟IP白名單防護。

2. 新增Jenkins任務節點到流水線中

編輯雲效流水線，新增一個任務節點，選擇Jenkins任務。

接下來，配置Jenkins地址、認證方式、對應的Job名稱，以及觸發引數（上游的構建映象）。

3. 檢視結果和統計報表

流水線被執行後，結果資訊會同步到Jenkins任務元件上，使用者可以在雲效流水線執行結果上直接跳轉到Jenkins Job日誌。

對於統計報表，由於這種方式下，雲效不會儲存執行任務的任何資料，建議在Jenkins任務中完成資料的上傳等工作。

形式三：自建測試自動化平臺

flowip地址

如果開源測試自動化工具無法滿足測試訴求，又有定製化的排程、觸發、管控等要求，部分企業會選擇自建測試自動化平臺。對於這種情況，如何與雲效有機整合起來，做到研發一站式呢？

解決的方法和整合開源測試自動化工具類似，所不同的是，我們的自建測試自動化平臺需要對雲效暴露兩個介面：

1.觸發測試執行

2.獲取測試結果

這裡我們假設自建測試自動化平臺的地址為：http://taplatform.my.corp，兩個介面為：

POST /api/v1/runs
request：{"ref_name":"feature/limit_1", "trigger_by": "yunxiao","suites": "all"}
response：{"code": 0, "run_id":123}

GET /api/v1/runs/<run_id>
response: {"code": 0,"status": "RUNNING|PASS|...", "report_link":"http://taplatform.my.corp/reports/1234", "summary":{"total": 1000, "pass": 1000, "duration": 1200},...}

1、編寫flow step用於觸發測試自動化平臺和設定紅線

實現方式與整合開源測試自動化工具的方法類似，主要是配置好step.yaml和step.sh。

step.yaml中配置自建測試平臺的地址，以及測試用例的篩選引數，如：

items:
  - label: 測試平臺地址
    name: TEST_PLATFORM_HOST
    type: input
    value: http://taplatform.my.corp
  - label: 用例
    name: SUITES
    type: input
    value: all # 用例篩選條件

step.sh中主要完成：

1.觸發測試平臺執行對應測試用例

2.等待測試完成

3.獲取測試結果

4.驗證紅線卡點

如：

# sh -ex $WORK_SPACE/user_command.sh
output=`python3 /root/run_and_wait_until_finish.py $TEST_PLATFORM_HOST $SUITES $EMPLOYEE_ID`

STEP_ROBOT_PASS=`echo $output | awk -F, '{print $1}'`
STEP_ROBOT_FAILED=`echo $output | awk -F, '{print $2}'`
STEP_ROBOT_PASSRATE=`echo $output | awk -F, '{print $3}'`

redline Passed:成功:$STEP_ROBOT_PASS:Success Failed:失敗:$STEP_ROBOT_FAILED:Error PassRate:成功率:$STEP_ROBOT_PASSRATE:Default

其中run_and_wait_until_finish.py的實現步驟大致如下：

import os
import time
import sys
import requests


def start_test_task(ta_host, suites, trigger_by):
    resp = requests.post(f'{ta_host}/api/v1/runs', json={'trigger_by': trigger_by, 'suites': suites})
    if not resp.ok or resp.json()['code'] != 0:
        raise RuntimeError(f'create test task error: {resp.content}')
    return resp.json()['run_id']


def generate_report(ta_host, report_link):
    if not os.path.exists('report'):
        os.mkdir('report')
    with open('index.html', 'w') as fp:
        fp.write(f'''<html>
<head>
<title>Test Report</title>
<meta http-equiv="refresh" content="0;URL={ta_host}/reports/{report_link}" />
</head>
<body>
<p>forwarding...</p>
</body>
</html>''')


def wait_until_task_done(ta_host, run_id):
    while True:
        resp = requests.get(f'{ta_host}/api/v1/runs/{run_id}')
        if not resp.ok:
            raise RuntimeError(f'task error: {resp.content}')
        data = resp.json()
        if data.get('code') != 0:
            raise RuntimeError(f'task error: {data}')
        if data['status'] in ('PASS', 'FAILED'):
            generate_report(ta_host, data['report_link'])
            return data
        time.sleep(5)


if __name__ == '__main__':
    if len(sys.argv) != 4:
        raise RuntimeError('invalid arguments')
    ta_host, suites, employee_id = sys.argv[1:]
    run_id = start_test_task(ta_host, suites, employee_id)
    run_info = wait_until_task_done(ta_host, run_id)
    summary = run_info['summary']
    pass_cnt = summary['pass']
    total_cnt = summary['total']
    pass_rate = pass_cnt * 100 / total_cnt
    print('%d,%d,%d' % (pass_cnt, total_cnt-pass_cnt, pass_rate))

其中呼叫了測試平臺的兩個介面，並且生成了一個index.html的測試報告檔案。注意：該測試報告只是將請求轉發到了自建測試平臺的對應頁面上。

2. 新增測試自動化節點到流水線

在流水線上新增空白任務節點，在其中新增一個步驟，選擇前面我們自定義的flow step（記得publish到對應的企業中）。在步驟中配置好測試平臺地址和測試用例，並設定好紅線資訊。

3. 檢視測試報告

在測試節點新增報告上傳步驟，測試報告目錄填“report”，測試報告入口檔案為“index.html”。

4. 資料統計與報表

在流水線執行結果中可以看到通過率等summary資訊，詳細的統計與報表建議在自建測試自動化平臺內實現。

參考資料

•flowstep程式碼示例：RobotFramework測試step

雲效自建測試自動化最佳實踐對於現代軟體研發來說，持續、快速、高質量、低風險地交付需求特性，是業務對研發的主要訴求。而要做到這一點，除了要有良好的架構設計、卓越的工程能力，快速可靠的測試反饋也是其非常重要的一環，達到這一點，需要依靠測試自動化。