2. 程式人生 > 實用技巧 >使用JMH微基準測試

使用JMH微基準測試

阿新 • • 發佈：2020-10-13

概述

JMH只適合細粒度的方法測試，並不適用於系統之間的鏈路測試

使用Maven搭建基準測試專案骨架

JMH官方推薦使用Maven來搭建基準測試的骨架,使用也很簡單，使用如下命令來生成maven專案:

mvn archetype:generate -DinteractiveMode=false -DarchetypeGroupId=org.openjdk.jmh -DarchetypeArtifactId=jmh-java-benchmark-archetype -DgroupId=org.sample -DartifactId=jmh-benchmark -Dversion=1.0

上面的maven命令使用了jmh-java-benchmark-archetype來生成java語言的基準測試骨架，如果使用其他語言可以將這個引數對應替換,所有可選引數參考

jmh,生成的專案groupId是org.sample,artifaceId是test，執行完之後會在當前目錄下生成一個test目錄，切換到test目錄下執行mvn clean install就會生成benchmarks.jar,再使用java -jar benchmarks.jar就可以執行基準測試了。

JMH引數配置

如果你想直接在已有maven專案中整合JMH，那也很簡單,手動在POM檔案中新增以下兩個依賴就行了,

      <dependency>
        <groupId>org.openjdk.jmh</groupId>
        <artifactId>jmh-core</artifactId>
        <version>1.26</version>
      </dependency>

      <dependency>
        <groupId>org.openjdk.jmh</groupId>
        <artifactId>jmh-generator-annprocess</artifactId>
        <version>1.26</version>
        <scope>provided</scope>
      </dependency>

從maven archetype外掛生成的pom檔案來看，這個工程使用了maven-shade-plugin來將所有的依賴打包到同一個jar包中,並在Manifest檔案中配置了Main-Class屬性，這樣就能直接通過java -jar命令來執行了。

註解說明

@Benchmark

@Benchmark標籤是用來標記測試方法的，只有被這個註解標記的話，該方法才會參與基準測試，但是有一個基本的原則就是被@Benchmark標記的方法必須是public的。

@Warmup

@Warmup用來配置預熱的內容，可用於類或者方法上，越靠近執行方法的地方越準確。一般配置warmup的引數有這些：

  • iterations：預熱的次數。
  • time：每次預熱的時間。
  • timeUnit：時間單位，預設是s。
  • batchSize：批處理大小，每次操作呼叫幾次方法。（後面用到）

@Measurement

用來控制實際執行的內容，配置的選項本warmup一樣。

@BenchmarkMode

@BenchmarkMode主要是表示測量的緯度，有以下這些緯度可供選擇：

  • Mode.Throughput 吞吐量緯度
  • Mode.AverageTime 平均時間
  • Mode.SampleTime 抽樣檢測
  • Mode.SingleShotTime 檢測一次呼叫
  • Mode.All 運用所有的檢測模式 在方法級別指定@BenchmarkMode的時候可以一定指定多個緯度，例如： @BenchmarkMode({Mode.Throughput, Mode.AverageTime, Mode.SampleTime, Mode.SingleShotTime})，代表同時在多個緯度對目標方法進行測量。

@OutputTimeUnit

@OutputTimeUnit代表測量的單位，比如秒級別，毫秒級別，微妙級別等等。一般都使用微妙和毫秒級別的稍微多一點。該註解可以用在方法級別和類級別，當用在類級別的時候會被更加精確的方法級別的註解覆蓋，原則就是離目標更近的註解更容易生效。

@State

在很多時候我們需要維護一些狀態內容，比如在多執行緒的時候我們會維護一個共享的狀態，這個狀態值可能會在每隔執行緒中都一樣，也有可能是每個執行緒都有自己的狀態，JMH為我們提供了狀態的支援。該註解只能用來標註在類上，因為類作為一個屬性的載體。 @State的狀態值主要有以下幾種：

  • Scope.Benchmark 該狀態的意思是會在所有的Benchmark的工作執行緒中共享變數內容。
  • Scope.Group 同一個Group的執行緒可以享有同樣的變數
  • Scope.Thread 每隔執行緒都享有一份變數的副本，執行緒之間對於變數的修改不會相互影響。 下面看兩個常見的@State的寫法：

容器測試

import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.TimeUnit;
import org.openjdk.jmh.annotations.Benchmark;
import org.openjdk.jmh.annotations.BenchmarkMode;
import org.openjdk.jmh.annotations.Measurement;
import org.openjdk.jmh.annotations.Mode;
import org.openjdk.jmh.annotations.OutputTimeUnit;
import org.openjdk.jmh.annotations.Warmup;
import org.openjdk.jmh.runner.Runner;
import org.openjdk.jmh.runner.RunnerException;
import org.openjdk.jmh.runner.options.Options;
import org.openjdk.jmh.runner.options.OptionsBuilder;

/**
 * @copyright: Copyright (c) 2020
 * @company: 上海匯石數字科技有限公司
 * @description:
 * @author: Qi.Hong
 * @create: 2020-10-13 12:15
 */

@Warmup(iterations = 5, time = 1, timeUnit = TimeUnit.SECONDS)
@Measurement(iterations = 5, time = 1, timeUnit = TimeUnit.SECONDS)
public class CollectionsTest {
	private static final int TEN_MILLION = 10000000;
	@Benchmark
	@BenchmarkMode(Mode.AverageTime)
	@OutputTimeUnit(TimeUnit.MICROSECONDS)
	public void arrayList() {
		List<String> array = new ArrayList<>();
		for (int i = 0; i < TEN_MILLION; i++) {
			array.add("123");
		}
	}
	@Benchmark
	@BenchmarkMode(Mode.AverageTime)
	@OutputTimeUnit(TimeUnit.MICROSECONDS)
	public void arrayListSize() {
		List<String> array = new ArrayList<>(TEN_MILLION);
		for (int i = 0; i < TEN_MILLION; i++) {
			array.add("123");
		}
	}
	public static void main(String[] args) throws RunnerException {
		Options opt = new OptionsBuilder()
				.include(CollectionsTest.class.getSimpleName())
				.forks(1)
				.build();
		new Runner(opt).run();
	}
}

輸出：

# JMH version: 1.26
# VM version: JDK 1.8.0_261, Java HotSpot(TM) 64-Bit Server VM, 25.261-b12
# VM invoker: D:\Scoop\apps\oraclejdk8\current\jre\bin\java.exe
# VM options: -javaagent:D:\Program Files (x86)\JetBrains\IntelliJ IDEA\lib\idea_rt.jar=2510:D:\Program Files (x86)\JetBrains\IntelliJ IDEA\bin -Dfile.encoding=UTF-8
# Warmup: 5 iterations, 1 s each
# Measurement: 5 iterations, 1 s each
# Timeout: 10 min per iteration
# Threads: 1 thread, will synchronize iterations
# Benchmark mode: Average time, time/op
# Benchmark: org.sample.CollectionsTest.arrayList

# Run progress: 0.00% complete, ETA 00:00:20
# Fork: 1 of 1
# Warmup Iteration   1: 98276.345 us/op
# Warmup Iteration   2: 78334.454 us/op
# Warmup Iteration   3: 60003.018 us/op
# Warmup Iteration   4: 69836.653 us/op
# Warmup Iteration   5: 56462.906 us/op
Iteration   1: 55989.247 us/op
Iteration   2: 57849.294 us/op
Iteration   3: 54504.816 us/op
Iteration   4: 55541.316 us/op
Iteration   5: 56276.563 us/op


Result "org.sample.CollectionsTest.arrayList":
  56032.247 ±(99.9%) 4691.335 us/op [Average]
  (min, avg, max) = (54504.816, 56032.247, 57849.294), stdev = 1218.325
  CI (99.9%): [51340.913, 60723.582] (assumes normal distribution)


# JMH version: 1.26
# VM version: JDK 1.8.0_261, Java HotSpot(TM) 64-Bit Server VM, 25.261-b12
# VM invoker: D:\Scoop\apps\oraclejdk8\current\jre\bin\java.exe
# VM options: -javaagent:D:\Program Files (x86)\JetBrains\IntelliJ IDEA\lib\idea_rt.jar=2510:D:\Program Files (x86)\JetBrains\IntelliJ IDEA\bin -Dfile.encoding=UTF-8
# Warmup: 5 iterations, 1 s each
# Measurement: 5 iterations, 1 s each
# Timeout: 10 min per iteration
# Threads: 1 thread, will synchronize iterations
# Benchmark mode: Average time, time/op
# Benchmark: org.sample.CollectionsTest.arrayListSize

# Run progress: 50.00% complete, ETA 00:00:13
# Fork: 1 of 1
# Warmup Iteration   1: 37526.226 us/op
# Warmup Iteration   2: 36804.161 us/op
# Warmup Iteration   3: 91434.682 us/op
# Warmup Iteration   4: 465368.225 us/op
# Warmup Iteration   5: 206318.400 us/op
Iteration   1: 207185.940 us/op
Iteration   2: 168980.250 us/op
Iteration   3: 103344.225 us/op
Iteration   4: 34195.040 us/op
Iteration   5: 34570.855 us/op


Result "org.sample.CollectionsTest.arrayListSize":
  109655.262 ±(99.9%) 300766.041 us/op [Average]
  (min, avg, max) = (34195.040, 109655.262, 207185.940), stdev = 78107.986
  CI (99.9%): [≈ 0, 410421.303] (assumes normal distribution)


# Run complete. Total time: 00:00:27

REMEMBER: The numbers below are just data. To gain reusable insights, you need to follow up on
why the numbers are the way they are. Use profilers (see -prof, -lprof), design factorial
experiments, perform baseline and negative tests that provide experimental control, make sure
the benchmarking environment is safe on JVM/OS/HW level, ask for reviews from the domain experts.
Do not assume the numbers tell you what you want them to tell.

Benchmark                      Mode  Cnt       Score        Error  Units
CollectionsTest.arrayList      avgt    5   56032.247 ±   4691.335  us/op
CollectionsTest.arrayListSize  avgt    5  109655.262 ± 300766.041  us/op

Process finished with exit code 0

參考

使用JMH微基準測試一切

基於Maven的JMH的搭建和使用

常見的集合容器應當避免的坑

JMH官方案例

基準測試神器-JMH

相關推薦

使用JMH微基準測試

概述 JMH只適合細粒度的方法測試，並不適用於系統之間的鏈路測試 使用Maven搭建基準測試專案骨架

JMH -- JAVA 微基準測試工具套件

技術標籤：javajava 文章目錄 1、概覽2、jmh 簡介3、jmh 使用demo4、jmh 常用設定介紹5、注意事項

使用微基準測試框架JMH對ReentrantLock的公平與非公平鎖進行效能測試

目錄前言Benchmark效能測試程式碼效能測試結果結論 前言 最近在閱讀ReentrantLock原始碼的時候, 發現了Lock有公平和不公平兩種鎖, 查閱相關資料與部落格後得知公平鎖和非公平鎖的效能是不一樣的, 非公平鎖的效能會優

JMH--一款由OpenJDK開發的基準測試工具

什麼是JMH JMH 是 OpenJDK 團隊開發的一款基準測試工具，一般用於程式碼的效能調優，精度甚至可以達到納秒級別，適用於 java 以及其他基於 JVM 的語言。和 Apache JMeter 不同，JMH 測試的物件可以是任一方法，顆粒度

更準確的測試Java程式效能——JMH基準測試

什麼是JMH ​ JMH，即Java Microbenchmark Harness，Java平臺下的一套微基準測試工具。如果我們需要測試API效能的話，就可以用上這個工具，所以它並不是取代單元測試的。它可以在開發階段提供效能參考標準，不過這並

JMH-Java微基準線束

一 工具簡介 官方定義：JMH is a Java harness for building, running, and analysing nano/micro/milli/macro benchmarks written in Java and other languages targeting the JVM

JMH:基準測試工具套件-應用

1.背景 多執行緒效能測試 JMH:簡介 JMH is a Java harness for building, running, and analysing nano/micro/milli/macro benchmarks written in Java and other languages targetting the JVM，

基準測試JMH的demo

整合到idea需要這些 <dependencies> <dependency> <groupId>org.openjdk.jmh</groupId>

在spring boot中使用jmh進行效能測試

序 長期處於CRUD工作中的我突然有一天關心起自己專案的qps了.便用jmeter測試了訪問量最大的介面,發現只有可憐的17r/s左右......看到網路上比比皆是的幾百萬qps,我無地自容啊.

探索ElasticSearch-基準測試BenchMark（五）

前言 之前介紹了探索ES-物件和巢狀物件（三）和探索ES-巢狀物件和父子物件（四）,今天想來巨集觀的把握一下ElasticSearch的效能到底是怎麼樣的？

Mysql常用基準測試命令總結

mysqlslap 常用引數說明 –auto-generate-sql 由系統自動生成sql指令碼進行測試 –auto-generate-sql-add-autoincrement 在生成的表中增加自增ID

MySQL基準測試

基準測試是一種測量和評估軟體效能指標的活動用於建立某個時刻的效能基準,以便當系統發生軟硬體變化時重新進行基準測試以評估變化對效能的影響,是針對系統設定的一種壓力測試。

CODING DevOps 系列第五課：微服務測試——微服務下展開體系化的微服務測試

微服務測試的痛點與挑戰 這張圖可以形象地展示單體服務和微服務的對比，單體應用就像左邊巨大的集裝箱，軟體模組和應用都包括其中；而微服務就像是由一個小集裝箱組成，微小的服務組成一個龐大、完整的系統。單體服務

springboot 使用微信測試號 給使用者傳送模板訊息

1. 首先獲得微信的tokenID package com.txj.bwbd.common.wechat.task; import com.txj.bwbd.constraint.WeixinConstants;

HPL 平行計算基準測試

一、HPL介紹 高效能運算--HPC(High performance computing)， 通常指使用很多處理器或叢集中的幾臺計算機的系統。高效能叢集上執行的程式一般使用並行演算法，把一個大的問題根據一定的規則切分為許多小的子問題，在

Linux系統IO基準測試方法

Linux系統IO基準測試方法 fio 測試 命令: fio -directory=/home/wangzhen/fiotest -name=tempfile.dat -direct=1 -rw=randrw -rwmixwrite=30 -bs=8k -size=4M -numjobs=16 -time_based -runtime=100 -group_report

基於GPU的HPL基準測試

1、配置GCC編譯器 # yum install gcc gcc-c++ gcc-gfortran glibc glibc-devel make -y 2、安裝Intel MKL

AMD R9 5950X 零售版基準測試： IPC 提升收益極大

10月17日訊息本月 9 日，AMD 釋出了全新的銳龍 5000 系列處理器，知名爆料者 @Tum_Apisak 再次挖掘出一些 Ryzen9 5950X 的基準測試結果。從提交的時間判斷，這批處理器應該是零售版本。

AMD 銳龍 5900X/5800X 基準測試曝光：對比 3900X/3800X 近 20% 的提升

10月18日訊息本月 9 日，AMD 釋出了全新的銳龍 5000 系列處理器，知名爆料者 @Tum_Apisak 昨日挖掘出一些 Ryzen9 5950X 的SiSoftware基準測試結果。隨後又挖出了R9 5900X/R7 5800X 的基準測試資訊。

影象註釋，AI比人類更精確？微軟新演算法重新整理影象註釋基準測試紀錄-1

今年 9 月，微軟在一篇論文中描述了一種新的圖片註釋演算法。微軟表示，其開發的新演算法在某些特定的測試中，精確度超過了人類。目前，該 AI 系統已被用於更新微軟為視障人士設計的助手應用程式“Seeing