2. 程式人生 > >伺服器效能測試實戰總結

伺服器效能測試實戰總結

阿新 • • 發佈：2018-11-10

Table of Contents

伺服器背景介紹

效能測試方法

測試結果和分析

第一個問題:service crash重啟的問題

第二個問題：Tomcat JDBC Connection not enough的問題

第三個問題: Postgresql too many clients 的問題

伺服器背景介紹

整個service架構如下

資料庫: postgresql

後端框架: spring boot + embbed tomcat + java

部署環境：某一個知名的雲平臺

效能測試方法

測試工具：jemeter

測試思路：使用jemeter測試，分別針對不同的需要測試的api建立test plan。有兩個變數

  • 執行緒數
  • 資料量

每一個test plan分別起10,20,50,100,200個執行緒同時執行.分別在資料庫資料量大致為一萬，五萬，十萬，二十萬，五十萬時候執行。一共會產生25組結果，表格如下

資料量(單位:萬) 執行緒數(單位:個) 併發執行時間(單位:分鐘)
1 10 5
5 20 5
10 50 5
20 100 5
50 200 5

在jemeter當中，我們可以填寫啟動的執行緒數，執行的時間,測試資料等。介面如下:

下面是一個一個test plan的例項

<?xml version="1.0" encoding="UTF-8"?>
<jmeterTestPlan version="1.2" properties="3.2" jmeter="3.3 r1808647">
  <hashTree>
    <TestPlan guiclass="TestPlanGui" testclass="TestPlan" testname="Get by customerNumber with markets defaultAddress" enabled="true">
      <stringProp name="TestPlan.comments"></stringProp>
      <boolProp name="TestPlan.functional_mode">false</boolProp>
      <boolProp name="TestPlan.serialize_threadgroups">true</boolProp>
      <elementProp name="TestPlan.user_defined_variables" elementType="Arguments" guiclass="ArgumentsPanel" testclass="Arguments" testname="User Defined Variables" enabled="true">
        <collectionProp name="Arguments.arguments"/>
      </elementProp>
      <stringProp name="TestPlan.user_define_classpath"></stringProp>
    </TestPlan>
    <hashTree>
      <ThreadGroup guiclass="ThreadGroupGui" testclass="ThreadGroup" testname="Get by customerNumber with markets defaultAddress" enabled="true">
        <stringProp name="ThreadGroup.on_sample_error">continue</stringProp>
        <elementProp name="ThreadGroup.main_controller" elementType="LoopController" guiclass="LoopControlPanel" testclass="LoopController" testname="Loop Controller" enabled="true">
          <boolProp name="LoopController.continue_forever">false</boolProp>
          <intProp name="LoopController.loops">-1</intProp>
        </elementProp>
        <stringProp name="ThreadGroup.num_threads">100</stringProp>
        <stringProp name="ThreadGroup.ramp_time">1</stringProp>
        <longProp name="ThreadGroup.start_time">1515376034000</longProp>
        <longProp name="ThreadGroup.end_time">1515376034000</longProp>
        <boolProp name="ThreadGroup.scheduler">true</boolProp>
        <stringProp name="ThreadGroup.duration">300</stringProp>
        <stringProp name="ThreadGroup.delay"></stringProp>
      </ThreadGroup>
      <hashTree>
        <HeaderManager guiclass="HeaderPanel" testclass="HeaderManager" testname="HTTP Header Manager" enabled="true">
          <collectionProp name="HeaderManager.headers">
            <elementProp name="" elementType="Header">
              <stringProp name="Header.name">hybris-tenant</stringProp>
              <stringProp name="Header.value">tenantIT</stringProp>
            </elementProp>
            <elementProp name="" elementType="Header">
              <stringProp name="Header.name">hybris-user</stringProp>
              <stringProp name="Header.value">jmeter</stringProp>
            </elementProp>
            <elementProp name="" elementType="Header">
              <stringProp name="Header.name">Content-Type</stringProp>
              <stringProp name="Header.value">application/json</stringProp>
            </elementProp>
          </collectionProp>
        </HeaderManager>
        <hashTree/>
        <HTTPSamplerProxy guiclass="HttpTestSampleGui" testclass="HTTPSamplerProxy" testname="Get by customerNumber with markets defaultAddress" enabled="true">
          <elementProp name="HTTPsampler.Arguments" elementType="Arguments" guiclass="HTTPArgumentsPanel" testclass="Arguments" testname="User Defined Variables" enabled="true">
            <collectionProp name="Arguments.arguments"/>
          </elementProp>
          <stringProp name="HTTPSampler.domain"></stringProp>
          <stringProp name="HTTPSampler.port"></stringProp>
          <stringProp name="HTTPSampler.protocol"></stringProp>
          <stringProp name="HTTPSampler.contentEncoding"></stringProp>
          <stringProp name="HTTPSampler.path">requesturl</stringProp>
          <stringProp name="HTTPSampler.method">GET</stringProp>
          <boolProp name="HTTPSampler.follow_redirects">false</boolProp>
          <boolProp name="HTTPSampler.auto_redirects">false</boolProp>
          <boolProp name="HTTPSampler.use_keepalive">false</boolProp>
          <boolProp name="HTTPSampler.DO_MULTIPART_POST">false</boolProp>
          <stringProp name="HTTPSampler.embedded_url_re"></stringProp>
          <stringProp name="HTTPSampler.connect_timeout"></stringProp>
          <stringProp name="HTTPSampler.response_timeout"></stringProp>
        </HTTPSamplerProxy>
        <hashTree>
          <ResultCollector guiclass="ObsoleteGui" testclass="ResultCollector" testname="Monitor Results" enabled="true">
            <boolProp name="ResultCollector.error_logging">false</boolProp>
            <objProp>
              <name>saveConfig</name>
              <value class="SampleSaveConfiguration">
                <time>true</time>
                <latency>true</latency>
                <timestamp>true</timestamp>
                <success>true</success>
                <label>true</label>
                <code>true</code>
                <message>true</message>
                <threadName>true</threadName>
                <dataType>true</dataType>
                <encoding>false</encoding>
                <assertions>true</assertions>
                <subresults>true</subresults>
                <responseData>false</responseData>
                <samplerData>false</samplerData>
                <xml>false</xml>
                <fieldNames>false</fieldNames>
                <responseHeaders>false</responseHeaders>
                <requestHeaders>false</requestHeaders>
                <responseDataOnError>false</responseDataOnError>
                <saveAssertionResultsFailureMessage>false</saveAssertionResultsFailureMessage>
                <assertionsResultsToSave>0</assertionsResultsToSave>
                <bytes>true</bytes>
                <threadCounts>true</threadCounts>
              </value>
            </objProp>
            <stringProp name="filename"></stringProp>
          </ResultCollector>
          <hashTree/>
        </hashTree>
        <ResultCollector guiclass="ViewResultsFullVisualizer" testclass="ResultCollector" testname="View Results Tree" enabled="true">
          <boolProp name="ResultCollector.error_logging">true</boolProp>
          <objProp>
            <name>saveConfig</name>
            <value class="SampleSaveConfiguration">
              <time>true</time>
              <latency>true</latency>
              <timestamp>true</timestamp>
              <success>true</success>
              <label>true</label>
              <code>true</code>
              <message>true</message>
              <threadName>true</threadName>
              <dataType>true</dataType>
              <encoding>false</encoding>
              <assertions>true</assertions>
              <subresults>true</subresults>
              <responseData>false</responseData>
              <samplerData>false</samplerData>
              <xml>false</xml>
              <fieldNames>false</fieldNames>
              <responseHeaders>false</responseHeaders>
              <requestHeaders>false</requestHeaders>
              <responseDataOnError>false</responseDataOnError>
              <saveAssertionResultsFailureMessage>false</saveAssertionResultsFailureMessage>
              <assertionsResultsToSave>0</assertionsResultsToSave>
              <bytes>true</bytes>
              <threadCounts>true</threadCounts>
            </value>
          </objProp>
          <stringProp name="filename"></stringProp>
        </ResultCollector>
        <hashTree/>
        <ResultCollector guiclass="StatVisualizer" testclass="ResultCollector" testname="Aggregate Report" enabled="true">
          <boolProp name="ResultCollector.error_logging">false</boolProp>
          <objProp>
            <name>saveConfig</name>
            <value class="SampleSaveConfiguration">
              <time>true</time>
              <latency>true</latency>
              <timestamp>true</timestamp>
              <success>true</success>
              <label>true</label>
              <code>true</code>
              <message>true</message>
              <threadName>true</threadName>
              <dataType>true</dataType>
              <encoding>false</encoding>
              <assertions>true</assertions>
              <subresults>true</subresults>
              <responseData>false</responseData>
              <samplerData>false</samplerData>
              <xml>false</xml>
              <fieldNames>false</fieldNames>
              <responseHeaders>false</responseHeaders>
              <requestHeaders>false</requestHeaders>
              <responseDataOnError>false</responseDataOnError>
              <saveAssertionResultsFailureMessage>false</saveAssertionResultsFailureMessage>
              <assertionsResultsToSave>0</assertionsResultsToSave>
              <bytes>true</bytes>
              <threadCounts>true</threadCounts>
            </value>
          </objProp>
          <stringProp name="filename"></stringProp>
        </ResultCollector>
        <hashTree/>
      </hashTree>
      <ResultCollector guiclass="ObsoleteGui" testclass="ResultCollector" testname="Monitor Results" enabled="true">
        <boolProp name="ResultCollector.error_logging">false</boolProp>
        <objProp>
          <name>saveConfig</name>
          <value class="SampleSaveConfiguration">
            <time>true</time>
            <latency>true</latency>
            <timestamp>true</timestamp>
            <success>true</success>
            <label>true</label>
            <code>true</code>
            <message>true</message>
            <threadName>true</threadName>
            <dataType>true</dataType>
            <encoding>false</encoding>
            <assertions>true</assertions>
            <subresults>true</subresults>
            <responseData>false</responseData>
            <samplerData>false</samplerData>
            <xml>false</xml>
            <fieldNames>false</fieldNames>
            <responseHeaders>false</responseHeaders>
            <requestHeaders>false</requestHeaders>
            <responseDataOnError>false</responseDataOnError>
            <saveAssertionResultsFailureMessage>false</saveAssertionResultsFailureMessage>
            <assertionsResultsToSave>0</assertionsResultsToSave>
            <bytes>true</bytes>
            <threadCounts>true</threadCounts>
          </value>
        </objProp>
        <stringProp name="filename"></stringProp>
      </ResultCollector>
      <hashTree/>
    </hashTree>
    <WorkBench guiclass="WorkBenchGui" testclass="WorkBench" testname="WorkBench" enabled="true">
      <boolProp name="WorkBench.save">true</boolProp>
    </WorkBench>
    <hashTree/>
  </hashTree>
</jmeterTestPlan>

測試結果會議excel文件的形式生成出來，下面是一個測試結果的例項：

測試結果和分析

原本的預想是想發現程式碼和實現邏輯潛在的問題，但事實證明還沒有到那個時候就已經先卡在了框架和環境的效能瓶頸或者問題上面。發現的主要問題有下面三個，其中前面兩個問題在部署的雲環境是發現，第三個問題在本地環境發現，以一張圖說明:

上圖示紅色的地方就是出現的問題。

第一個問題:service crash重啟的問題

錯誤資訊如下：

 Failed to make HTTP request to '/admin/health' on port 8080

這個問題的原因和部署的雲環境密不可分，這個伺服器部署的環境，預設提供了一個檢測伺服器狀態的功能,即上圖的monitor process，它提供了一個功能稱之為:health check。所謂health check就是這個雲平臺，通過和你的伺服器建立一個連線(可配置為TCP，HTTP)，來檢測這個伺服器的狀態是否是可用的，是不是down掉了。

實現的基礎在於spring boot提供的actuator在一個spring boot服務啟動的時候會預設開啟一個/admin/health結尾的api，用以檢測這個服務的狀態是否可用。雲平臺的health check功能就是去訪問這個介面，來判斷service是否正常，如下：

雲平臺的機制是若超出一定的時間沒有響應，則認為伺服器出現了問題，就會啟用crash重啟機制, 即強制停止這個service，然後重新啟動。

 

第二個問題：Tomcat JDBC Connection not enough的問題

錯誤資訊如下

[EL Info]: query: 2018-01-22 10:20:52.064--UnitOfWork(269647005)--Communication failure detected when attempting to perform read query outside of a transaction. Attempting to retry query. Error was: Exception [EclipseLink-4002] (Eclipse Persistence Services - 2.6.4.v20160829-44060b6): org.eclipse.persistence.exceptions.DatabaseException
Internal Exception: org.apache.tomcat.jdbc.pool.PoolExhaustedException: [http-nio-8080-exec-1505] Timeout: Pool empty. Unable to fetch a connection in 30 seconds, none available[size:4; busy:4; idle:0; lastwait:30000].

這是一個web容器tomcat產生的問題，spring boot內建了tomcat容器，同時也提供了預設的資料庫連線池配置，當部署在雲平臺上的時候，它的預設配置是最大的連線數和最小的連線數都是4個，我們可以從錯誤資訊看到: Unable to fetch a connection in 30 seconds, none available[size:4; busy:4; idle:0; lastwait:30000].

在spring的原始碼裡，我們也可以找到如下程式碼:

public class DataSourceConfigurer extends PooledServiceConnectorConfigurer<DataSource, DataSourceConfig> {
    private MapServiceConnectionConfigurer<DataSource, MapServiceConnectorConfig> mapServiceConnectionConfigurer = new MapServiceConnectionConfigurer();

    public DataSourceConfigurer() {
    }

    public DataSource configure(DataSource dataSource, DataSourceConfig config) {
        if (config == null) {
            config = new DataSourceConfig(new PoolConfig(4, 30000), (ConnectionConfig)null);
        }

        this.configureConnection(dataSource, config);
        this.configureConnectionProperties(dataSource, config);
        return (DataSource)super.configure(dataSource, config);
    }

   ...
}

The code tells everything.

第三個問題: Postgresql too many clients 的問題

這個錯誤是在本地發現的，因為本地的web容器資料庫連線池限制不再是4。錯誤資訊如下

[EL Info]: query: 2018-01-22 16:30:41.721--UnitOfWork(222405369)--Communication failure detected when attempting to perform read query outside of a transaction. Attempting to retry query. Error was: Exception [EclipseLink-4002] (Eclipse Persistence Services - 2.6.4.v20160829-44060b6): org.eclipse.persistence.exceptions.DatabaseException
Internal Exception: org.postgresql.util.PSQLException: FATAL: sorry, too many clients already

這是一個postgresql資料庫返回的一個錯誤，錯誤資訊很明顯了：資料庫的連線不夠用了，Clients客戶端已經滿了。

postgresql預設的資料庫連線數量是100，在其官方文件，有如下說明:

而預設情況下，tomcat的請求連線數是200(更多資訊參考），因此當併發數小於請求連線數又大於資料庫連線數的時候，就會出現這個問題，對我們的啟示是，我們在配置伺服器的時候應該協調好各個部分的最大支援的併發量，在這裡應該設定：

連線池大小 * 伺服器instance數量 <= database連線限制

相關推薦

伺服器效能測試實戰總結

Table of Contents 伺服器背景介紹 效能測試方法 測試結果和分析 第一個問題:service crash重啟的問題 第二個問題：Tomcat JDBC Connection not enough的問題 第三個問題: Postgresql too many

最新LoadRunner 工具使用 企業級效能測試實戰

課程目錄： 第1章 LoadRunner簡介原理及前期準備 不同作業系統安裝不同版本；每個版本特點；LR的組成及原理。網站的架構；確定壓力業務、指標。沒有明確的說明時應該怎麼做？需要準備哪些資料；通過哪些方法可以實現資料新增。 1-1 課程內容整體介紹 1-2 LR原理和簡介 1-3 效能測試前期準

JMeter全程實戰、效能測試實戰、分散式效能測試、真實案例分析

測試需求描述 1、 本次測試的介面為http服務端介面 2、 介面的主要分成兩類，一類提供給查詢功能介面，一類提供儲存資料功能介面，這裡我們舉例2個儲存資料的介面，因為這兩個介面有關聯 性，比較有代表性； 儲存信用卡賬戶資訊介面： 傳入引數： args={ "clientNo":"43434

效能測試實戰--計劃測試（一）

  一、效能測試流程 計劃測試->建立指令碼->建立場景->執行場景->分析效能資料->生成x效能測試報告，如下圖所示： 1.1 計劃測試 在任何型別的測試中，編寫測試計劃都是必要的步驟。有條不紊、計劃周密的計劃，可以確保在執行中能夠有章

wrk伺服器效能測試

轉載地址：http://zjumty.iteye.com/blog/2221040 測試先行是軟體系統質量保證的有效手段. 在單元測試方面, 我們有非常成熟的 xUnit 方案. 在整合測試方面, 我們 selenium 等自動化方案. 在效能測試方面也有很多成熟的工具,

【資料庫效能測試實戰】測試不同分頁儲存過程在10w，100w以及1000w資料量下面的表現

前言 資料庫的效能與每一行程式碼息息相關，所以，每次寫程式碼可以考慮一下在不同級別的資料量下面測試一下效能。 本文參考了： Postgresql生成大量測試資料 以及 準備測試用資料 此次測試我們將分別用10w，100w以及1000w級別的表來測試，下面先建立

Linux VPS/伺服器效能測試工具之二

無論我們選擇國內、國外VPS、伺服器，我們都希望價效比高，都凸顯在哪些方面呢？價格成本、速度、穩定性，以及各種支援的功能。其中最為關鍵的我們在選擇便宜VPS主機的時候可能會用於國內的建站等專案，其實最為直接的測試速度就是我們架設網站之後看看實際的使用者開啟速度，這樣其實是最好

LoadRunner 工具使用 企業級效能測試實戰

課程目錄： 第1章 LoadRunner簡介原理及前期準備 不同作業系統安裝不同版本；每個版本特點；LR的組成及原理。網站的架構；確定壓力業務、指標。沒有明確的說明時應該怎麼做？需要準備哪些資料；通過哪些方法可以實現資料新增。 1-1 課程內容整體介紹 1-2 LR原理和簡介

LoadRunner效能測試實戰訓練營

第1章 課程介紹 本章講解課程整體介紹，課程安排及重難點以及揭祕一線網際網路效能測試崗位的現狀。 1-1 課程介紹 1-2 BAT薪酬體系及軟體測試職業規劃 第2章 效能測試基礎理論知識 本章講解效能測試的的基礎理論知識、讓大家對效能測試有個初步的認識。 2-1 認識效能測試 2-2 效能測

使用Gaps做手遊伺服器效能測試的一點心得

原文連結： 如果你想做一個很多人蔘與的遊戲，那麼無論你是專案負責人、產品、開發或者測試，伺服器效能就是你需要直面的關鍵問題。開服後大量玩家的湧入本是件好事，但若是伺服器效能出現問題，導致玩家掉線、卡頓、crash，往往樂極生悲，好事變壞事，甚至不少大作都因此落馬。  

伺服器效能測試工具 ---- nmon

一、下載nmon 根據CPU的型別選擇下載相應的版本： http://nmon.sourceforge.net/pmwiki.php?n=Site.Downloadwget http://sourceforge.net/projects/nmon/files/download/nmon_x86_

Linux伺服器效能測試工具介紹

前言 作為伺服器開發人員，對效能應該非常的敏感，在伺服器設計和編碼時就應該充分考慮到效能問題，但如果寫出來的程式，或者已經存在的程式在執行中出現了效能問題，我們又如何下手去找出問題並解決呢？這不僅靠的是經驗，還需要藉助一些工具來輔助分析。 本文將以一個例項為樣本，介紹幾款

Locust效能測試學習總結

Locust學習總結分享 簡介：    Locust是一個用於可擴充套件的，分散式的，效能測試的，開源的，用Python編寫框架/工具，它非常容易使用，也非常好學。它的主要思想就是模擬一群使用者將訪問你的網站。每個使用者的行為由你編寫的python程式碼定義，同時可以從We

web伺服器效能測試之利器—apache的ab

最近對效能測試產生了莫名其妙極其深厚的興趣，在這裡我想把我的學習過程記錄下來，希望能給未來的我後者現在的你提供一些幫助，如果有志同道合的人&不嫌棄我初出茅廬，和我聯絡，我非常願意和你交流關於伺服器效能方面的知識 測試工具選擇 在做所有優化之前，我們得有一個測試工具

2015年最新LoadRunner效能測試實戰視訊教程

LoadRunner效能測試實戰視訊教程 課程觀看地址：http://www.xuetuwuyou.com/course/32 課程出自學途無憂網：http://www.xuetuwuyou.com/ 課程包括LoadRunner的重要知識，以公司實用為主，無廢話，接地氣，

web伺服器效能測試---伺服器效能測試例項

WEB效能測試--伺服器 目錄 WEB 服務中，對於不同的請求，響應速度（效能）是不一樣的。對於靜態檔案的響應一般會很快，尤其是使用了前端快取技術的（例如 nginx 快取、varnish快取、CDN 快取等）。 下面將以靜態頁面的測試為例，詳細講解

Jmeter從下載到完成效能測試實戰教程（Windows平臺）

前言 本教程內容龐大，所以儘量寫的精簡，沒有寫出指令碼的具體編寫步驟，有興趣的朋友可以下載Demo後和教程對照著看。 請求的服務端，是通過服務端模擬器來生成的。可以下載Mock服務端模擬器，設定與教程相同的請求地址來學習。 Demo下載地址：點選下載 Moc

伺服器效能測試典型工具介紹

眾所周知，伺服器是整個網路系統和計算平臺的核心，許多重要的資料都儲存在伺服器上，很多網路服務都在伺服器上執行，因此伺服器效能的好壞決定了整個應用系統的效能。 現在市面上不同品牌、不同種類的伺服器有很多種，使用者在選購時，怎樣從紛繁的型號中選擇出所需要的，適合於自己應用的伺服器產品，僅僅從配置上判別是不夠

雲伺服器 效能測試之web壓力測試

前言：現在雲伺服器是主流，成了許多中小型公司的首選伺服器，但是雲伺服器都是虛擬機器，所以效能是一大疑問，這裡就開始簡單介紹雲伺服器的效能測試，雲端web伺服器的壓力測試。 Linux下常用的四款Web伺服器壓力測試工具（http_load、webbench、a

LR效能測試經驗總結（持續跟新中）

情況1： 在Vuser中迭代跑指令碼，更新客戶資訊，結束後驗證更新成功。但在controller中場景跑指令碼，發現200多個使用者並沒有更新資訊（客戶資訊頁面） 解決辦法: 在Vuser中沒有關聯，然後從新執行場景，就發現資訊更新了。原因是在指令碼中的一個request中