Gartner魔力象限報告，DevOps時代自動化測試比以往更加重要
作者：Joe Colantonio（TestTalks）
翻譯：汪亞斌（南京大學）
測試工程師在開始一個新專案之前問的一個最基本的問題是他們應該使用什麼工具來幫助完成自動化測試。幸運的是，Gartner的年度報告可以幫助開發團隊回答這個問題：Gartner魔力象限自動化軟體測試報告。
Gartner魔力象限自動化軟體測試報告主要分為四個象限：領導者、挑戰者、遠見者和特定領域者。你可以在實際報告中詳細閱讀每個象限的詳細描述。但市場領導者由對Gartner所認為的三個關鍵用例的支援與否來決定，這三個用例是：
- 1.工具必須支援移動應用。
- 2.他們必須有自適應設計。
- 3.他們必須支援諸如ERP（企業資源規劃系統）和SAP（企業系統應用產品管理軟體）這樣的應用
今年Gartner魔力象限報告提到的廠商
在今年的Gartner魔力象限自動化軟體測試報告中，Gartner觀察了以下12個主流廠商：
HewlettPackard Enterprise
IBM
Tricentis
Worksoft
Oracle
SmartBear
Ranonex
Progress
AutomationAnywhere
Bordland
TestPlanet
OriginalSoftware
我認為值得一提的是Gartner不偏向任何一家他所評論的廠商並在他的研究中保持了中立的態度。因此在理論上廠商的排名會盡可能保持無偏頗。
領導者
以下為Gartner在其研究中選擇的自動化測試領域的領導者的公司：
- Hewlett Packards企業
在Gartner評估的12個測試工具供應商中，Hewlett Packards企業（HPE）在領導者象限中被排在第1位。Gartner評估一個公司的執行力和其視野的完整性並以此選擇領導者。（檢視報告中的評估標準定義部分以瞭解更多領導者選擇的過程）在今年評審的所有公司中，HPE對於該標準擁有最高的匹配度。
有諸多因素導致HPE排在第1。其中的主要原因是它可以應對敏捷實踐和移動應用交付中面臨的大部分問題，並且它的服務網路和技術提供夥伴覆蓋面很廣。
Gartner還提到一些根據客戶反饋調查而得到的注意事項，例如HPE缺乏Linux技術支援並且其定價和許可機制需要簡化。
作為一個HPE的多年老使用者，我完全贊同Gartner對於HPE的缺點的評估。好訊息是，似乎HPE聽取了客戶的批評意見，並已開始在多個方面進行精簡，例如新的定價策略和簡潔功能測試的靈活消費許可模式。
- IBM
IBM在領導者中排在第2位。（值得注意的是，這些排名每年都在變化；例如，在2014年IBM排在第一位。）
與大多數公司一樣，IBM的測試工具集隨著諸如Rational和Green Hat的開發成功不斷壯大。它的功能測試工具的大部分優勢來自於對包括windows，Mac和移動平臺在內的多種平臺和技術的支援。一些使用者的調查結果表明IBM的缺點之一是產品的更新和支援較為緩慢。
- Tricentis
Tricentis自我標榜為“持續測試公司”。Gartner發現Tricentis的優勢之一是對於敏捷測試和持續改進過程的廣泛支援。這與其自我標榜也保持一致。也有人指出，Tricentis的定價模型複雜並且測試專案較龐大，這使得采用Tricentis的過程較為困難。
- Worksoft
Worksoft以ERP業務和端到端解決方案而被廣泛認知。Gartner在其使用者調查中提到易用性和客戶支援是Worksoft的優勢。使用者也同時發現和其它工具糟糕的整合效果是worksoft的一大弱點。
領導者的總結到此結束。其他公司被放在其餘象限，具體內容如下：
挑戰者
挑戰者也是重點的備選方案。但它們只支援2個定義的用例。今年只有一個公司在這個象限中。
- Oracle
Oracle的應用程式測試套件可以支援許多事情。但其最知名的可能是和測試Oracle SOA與打包的應用程式的緊密整合。客戶高度評價它的測試管理解決方案，但同時也抱怨維護Oracle的測試指令碼有時過於具有挑戰性。
遠見者
遠見者，顧名思義，是那些可以為市場帶來革新或快速支援新技術的公司。
- Borland
我已經瞭解Borland這家公司相當長的時間了，所以我很驚訝於它被列在遠見者這一類。但之後我發現它幾年前收購了Segue軟體。老派的自動化工程師會告訴你以前segue的SilkTest是更復雜的同時開發者友好的自動化解決方案之一。所以，Gartner把Borland對於許多技術和平臺的大力支援作為其優勢之一也就不奇怪了。
主要的問題是，Borland通過收購和併購保持公司的成長。所以其產品介紹資訊具有相當大的混亂性，這可能是為什麼我沒意識到它仍然涉足測試自動化領域的原因。
- Testplanet
TestPlanet是為數不多的Gartner列出的強烈支援Apple平臺的自動化測試廠商。由於其獨特的、基於影象的識別方法，它有能力測試難以自動化的應用程式，特別是那些具有物件識別問題的應用。這一方面被人們廣為了解。不幸的是，任何從事過以影象為基礎的功能測試自動化業務的人都知道這些測試有多難維護。因此一些客戶指出了難以維護這一問題。
- Original Software
功能測試工具TestDrive的製造商豐富了遠見者之一類別中的廠商。TestDrive可以處理自動化或瀏覽器和基於遺留系統的應用。雖然我不是“無需編碼”的測試自動化解決方案的愛好者，但TestDrive確實受到了客戶的高度評價。客戶認為它易於使用並且使得從手動到自動化測試的遷移變得更簡單。
特定領域者
特定領域者通常指那些為特定的場景提供獨特的測試解決方案或是新進入市場的公司。
- SmartBear
我首先承認我對基於Boston的公司有偏愛。SmartBear就是其中之一。據我所知，SmartBear有一些比所有列出的測試廠商更讓人能負擔起的測試工具。它也有更受歡迎的API測試工具之一，SoapUI。Gartner提到SmartBear的優勢包括對於測試的堅定支援和吸引人的價格。Gartner提到SmartBear像許多其他公司一樣通過收購壯大公司。因此與它的其他工具的整合有時會成為一個挑戰。例如，在使用它的TestComplete功能測試工具時我不能通過API呼叫ReadyAPi產品的功能。 但這種情況不會出現在HPE的統一功能測試工具UFT GUI和UFT API上。
- Ranorex
這是Ranorex第一次出現在年度的魔力象限報告上。Ranorex除了擁有我認為最酷的一些解釋風格的視訊外，它支援很多跨越各種平臺的技術-都來自一種工具。Gartner把它列為Ranorex的優勢之一。Gartner提到的一個警告是Ranorex把注意力主要集中在功能測試自動化上，缺乏一個完整的，端到端的解決方案。但是這個警告可能並不是所有公司的問題。
- Progress
對於那些可能不太熟悉這家公司的人，一件事可能引起了你的注意。Progress最近收購了Telerik，Telerik是流行的免費除錯工具Fiddler的生產廠商。我認識一些測試工程師，他們確實在使用Progress的測試工具作為他們Selenium
自動化測試的前端。Progress的優勢在於它與VisualStudio和VisualStudio所支援語言的整合。但Gartner認為，當你把Progress工具與非微軟技術整合時應該保持謹慎。
- Automation Anywhere
我並沒有試過Automation Anywhere，但Gartner列出了它的優勢之一，即為非技術的測試人員和團隊提供瞭解決方案。使用者也為其產品提供了使用者報告並做出了強烈的支援。Automation Anywhere不支援測試諸如SAP一樣的打包應用，也不支援本地移動應用程式測試。
Selenium在哪裡？
以上就是今年所評估的象限測試工具生產商。
有些人可能會想知道為什麼你最喜歡的測試自動化工具（如Selenium）沒有列出。原因是本報告只側重於支援Gartner認為的“關鍵領域”的工具，並且選擇的工具至少擁有上文提到的三個具體的用例的兩個。這可能是你沒有看到你最喜歡的工具的原因。
我的重要結論
報告所作出的一個有趣的戰略規劃設想是“到2020年，Selenium WebDriver將成為功能測試執行的標準，這將削弱哪些不能提供強大的高層測試功能的供應商。”
我完全同意這種說法，我認為生產商確實會採用Selenium WebDriver的其中一個主要因素是：W3C標準的產生。
W3C WebDriver標準
目前已經有W3C的WebDriver標準的草案；一旦它被批准併成為官方的標準，瀏覽器廠商將需要負責建立自己的基於瀏覽器的Selenium WebDriver的實現。一旦出現這種情況，所有的工具供應商將不得不支援Selenium。因為它將不再僅僅是一個開源工具，它實際上將是一個W3C標準。
這就是為什麼Gartner的話真的引起了我的共鳴。 我相信大多數廠商都開始更好地與Selenium進行整合。例如，在一年多前SmartBear開始在他的功能測試工具TestComplete中增加Selenium的整合。今天，在TestComplete的IDE中，你可以在TestComplete的測試專案中包含你的Selenium WebDriver測試，執行它們，並分析測試結果。
一個更加戲劇化的例子是HPE近期宣佈的leanFT。leanFT通過使用UFT中的新功能改變Selenium的方法，結合了供應商工具和開源工具兩者中最好的部分。它基本上可以讓你用與開發者相同的IDE和語言建立自動化指令碼。此外，你不需要只侷限於leanFT SDK開發自動化工具。你可以在同樣的專案中把Selenium和leanFT結合在一起。我想我們會看到越來越多的廠商採用這種方法。
未來是開放創新的
同時，在去年的兩個我參加的HP探索會議中，你真的可以感覺到HPE已經完成了180度的轉變，開始全心全意擁抱開源技術。這已經不再是那種以前客戶感覺到的把我們和他們進行區別的態度了。
我認為越來越多的廠商會遵循這種開放式的創新模式。
因為Selenium本質上只是一個API，而不是一個測試工具，所以測試團隊理所當然的需要為基於供應商的測試工具建立大量的功能。因此，我可以看到未來供應商會加緊把各種增強的功能和Selenium無縫整合，例如報告機制，以使你的自動化工作更容易。
這種開放式創新將真正幫助企業組織，因為他們將不再需要選擇。他們將能夠為他們的每一個專案選擇最好的工具/解決方案。
在DevOps時代的自動化測試
技術變化很快，Gartner魔力象限自動化軟體測試報告確實能幫助我們把握未來測試趨勢的脈搏並且瞭解哪些工具會支援哪些技術。 當涉及到最終使用到專案中的工具和技術時它確實能幫助我做出更好的計劃和選擇。
也感覺到，隨著越來越多的企業以更快的速度開發軟體並且遷移動到一個更具有DevOps/持續部署特點的開發模式上時，測試自動化比以往更為重要。
我認為沒有某種程度上的自動化，你不可能在今天的軟體開發世界中取得成功。Gartner魔力象限是重要的值得每年閱讀的報告的原因有很多。這只是其中之一。
文章來自微信公眾號：DevOps社群