本文翻譯自Android官方的CTS手冊android-cts-manual-r4.pdf

Android相容性測試框架手冊

1、為什麼需要相容性測試（以下稱CTS）？

1.1、讓APP提供更好的使用者體驗。使用者可以選擇更多的適合自己裝置的APP。讓APP更穩定。

1.2、讓開發者設計更高質量的APP。

1.3、通過CTS的裝置可以執行Androidmarket。

另外，CTS是免費的，而且很簡單。

2、怎麼樣才能讓我的裝置變成相容的。

2.1、與AndroidCompatibility Definition文件（以下簡稱ACD）匹配

先看一下與你的系統版本相匹配的ACD，文件中描述了你需要具備的軟體和硬體引數。

2.2、通過CTS測試

CTS是開源的測試框架，使用它來測試你的裝置是否具備相容性。

2.3、提交報告

你可以把測試結果傳送給[email protected]。當你提交了一個CTS報告時，你還可以要求訪問AndroidMarket.

我們正在準備專門用途測試和認證的網站和相應服務，好了之後會通知大家的。

3、CTS的工作原理

CTS主要包含兩個元件：

執行在PC上的測試框架元件。主要用來管理測試用例（testcase）的執行。

執行在裝置或模擬器上的測試用例。這些用例用JAVA寫成的APK檔案。

3.1、工作流程

1、可以從原始碼編譯CTS，也可以從網站下載編譯好的CTS

2、安裝配置CTS。

3、把裝置連線到

4、執行CTS。CTS會把相應的測試用例（也就是一個APK檔案）傳送到裝置上並通過instrumentation執行，然後記錄執行結果，最後刪除測試用例。

所有的測試用例執行完畢後，可以參照測試結果重新調整或優化系統。然後繼續執行CTS測試。

5、測試通過以後，你可以把CTS生成的結果（就是result下面那個以測試時間命名的.zip檔案）提交給[email protected]。

1.  

   1. 測試用例的型別

CTS包含下面三種級別：

1、單元級。測試Android平臺上的程式碼單元。比如，一個java.util.HashMap這樣的類。

2、功能級。多個API組合而成的一個更高階的功能。

3、程式級。通過執行一個簡單的

未來版本還會包含下面的型別：

1、強度測試。測試系統在高CPU運算之下的穩定性。

2、效率測試。比如每秒渲染的幀數。

3.3、目前的測試覆蓋面

目前，為了確保相容，測試用例覆蓋了下面的這些範圍

1、Signature

對每個Android產品，都有一些XML檔案來描述所有的公開API。CTS包含了一個工具來檢測這些API簽名中包含的API是否都在系統中被支援。

2、Platform

測試SDK文件中描述的平臺API，比如corelibraries,Android Application Framework等。要求這些API可以提供：

正確的類、屬性、方法簽名、方法行為、錯誤引數處理方式

3、DalvikVM

專門針對DalvikVm的測試。

4、PlatformData Model

平臺通過ContentProvider提供給開發者使用的資料，比如：Contacts,Browser,Settings等。

5、PlatformIntents

平臺提供的用於核心功能的Intent。

6、Platformpermission

平臺提供的一些重要APP許可權

7、PlatformResources

simplevalues,drawables,nine-patch,animations,layouts,styles andthemes，loading alternate resources等

4、配置和使用CTS

4.1、配置CTS

1.6及以上版本才能執行CTS。

解壓ZIP包，編輯android-cts/tools/startcts指令碼，修改變數SDK_ROOT來與環境相匹配。

例如：

SDK_ROOT=/home/myuser/android-sdk-linux_x86-1.6_r1

即，指向SDK的根目錄。

4.2、配置裝置

下面的這些說明很重要，配置不當的話可能導致測試超時或測試失敗：

1、下載SDK到機器上。

2、你要測試的裝置應該執行的是一個userbuild。

4、執行CTS之前，確保你的裝置已經燒入了一個userbuild

5、在執行CTS測試之前還需要通過Settings->SpeechSynthesis->Install voice data來下載TTS檔案。如果沒有安裝AndroidMarket的話，需要手動安裝。

6、建議你使用一個專門用來測試的Google賬戶來登入裝置。

7、確保裝置有一個SD卡，並且SD卡是空的。因為CTS可能修改／刪除SD卡上的資料。

8、在裝置上做一次恢復出廠設定（Settings->SDCard & phone Storage->Factory data reset）。注意：這會刪除裝置上的所有使用者資料。

9、確保裝置沒有處在任何lockpattern之下（取消Settings->Security&location->RequirePattern這個選項）

10、確保“ScreenTimeout”被設定為“NeverTimeout”（Settings->Sound&Display->ScreenTimeout應該被設定為“NeverTimeout”）

11、確保“StayAwake”被選中（Settings->Applications->Development->Stayawake）

12、確保Settings->Application->Development->Allowmock locations被設定為true。

13、在執行CTS時，裝置停留在桌面上。

14、當設定正在進行測試時，絕不能執行其它任務。

15、CTS執行時不要按任何鍵或觸控式螢幕幕。

4.3、使用CTS

執行一個testplan需要：

1、至少有一個裝置或模擬器連線到PC上。然後執行指令碼android-cts/tools/startcts

2、你可以通過執行start–plan CTS來執行預設的testplan。這個test plan包含所有的測試用例。

使用ls-p可以檢視repository

中包含的測試用例的列表。

使用ls–plan可以檢視repository

包含的testplan列表。

3、還可以執行startctsstart –plan <plan_name>來執行一個指定的testplan。

4.4、選擇CTSPlan

當前CTS版本中，一共包含下面7個testplan。

1、CTS

包含所有的測試用例，大約會在裝置上執行121000個測試。

2、Signature

包含對所有公開API的簽名認證。

3、Android

包含對Android平臺API的測試。

4、Java

包含對Java核心庫API的測試。

5、VM

包含對DalvikVm的測試。

6、RefApp

包含對相關應用程式的測試

7、Performance

包含對系統性能的測試。

5、解釋一下測試結果

測試結果被放在$CTS_ROOT/repository/results/<starttime>.zip

。在這個ZIP檔案中，testResult.xml檔案包含了真正的測試結果，用瀏覽器開啟這個檔案可以看到下面這樣的效果

其中，“deviceinformation”部分提供了裝置和韌體的細節（如make,model,firmwarebuild,platform等）和裝置的硬體配置（螢幕引數、鍵盤、螢幕型別等）。

另外，“testsummary”部分提供了testplan的執行細節描述，包含CTSplan name和執行的開始、結束時間。還有測試結果的統計，包含測試通過、失敗、超時、不能執行的個數。

下面的這個表格統計了一個包中的測試用例有多少測試通過。

這個表格的後面還跟著對執行結果更具體的描述。

這個報告列出了testpackage,test suite,testcase和執行的測試，還有測試執行的結果：通過、失敗、超時、未執行。當測試失敗時，可以在XML檔案中找到stacktrace，為了讓執行結果更簡潔，這些stacktrace沒有被包含進來。用文字編輯器檢視XML檔案，在裡面搜尋一下<Test>標籤和<StackTrace>標籤就可以了。

6、注意事項

CTS在測試時會重啟裝置，這是正常現象。

CTS一次只能在一個裝置上執行。

執行CTS時可能會出現彈出強制關閉對話方塊，要求使用者選擇關閉或者等待。重新執行這個測試一般就會好的。

以下有幾篇文章，講得比較簡潔，可以先看一下這幾篇再閱讀本文，那樣理解起來會容易一些

http://chenhuawei1234567.blog.163.com/blog/static/194526712010629111638224/

http://blog.csdn.net/zjujoe/archive/2010/06/01/5640461.aspx