2. 程式人生 > 其它 >記錄一次敏感詞過濾演算法DFA的應用案例

記錄一次敏感詞過濾演算法DFA的應用案例

阿新 • • 發佈：2020-12-25

技術標籤：Java基礎DFA關鍵字過濾

目錄

0、 DFA是什麼？

1、為什麼要用DFA

2、DFA工具類實現

3、效能對比效果

3.1 普通關鍵字過濾

3.2 DFA關鍵字過濾

0、 DFA是什麼？

在實現文字過濾的演算法中，DFA是唯一比較好的實現演算法。DFA即Deterministic Finite Automaton，也就是確定有窮自動機，它是是通過event和當前的state得到下一個state，即event+state=nextstate。下圖展示了其狀態的轉換

在這幅圖中大寫字母（S、U、V、Q）都是狀態，小寫字母a、b為動作。
在實現敏感詞過濾的演算法中，我們必須要減少運算，而DFA在DFA演算法中幾乎沒有什麼計算，有的只是狀態的轉換。

1、為什麼要用DFA

DFA（Deterministic Finite Automaton 確定有窮自動機）常用於在某大段文字中快速查詢某幾個關鍵詞是否存在。因為它的高效率，所以在這種場景中應用比較廣泛。

2、DFA工具類實現

cn.hutool.dfa.SensitiveUtil

	/**
	 * 初始化敏感詞樹
	 * @param sensitiveWords 敏感詞列表
	 */
	public static void init(Collection<String> sensitiveWords){
		sensitiveTree.clear();
		sensitiveTree.addWords(sensitiveWords);
//		log.debug("Sensitive init finished, sensitives: {}", sensitiveWords);
	}

/**
	 * 查詢敏感詞，返回找到的所有敏感詞<br>
	 * 密集匹配原則：假如關鍵詞有 ab,b，文字是abab，將匹配 [ab,b,ab]<br>
	 * 貪婪匹配（最長匹配）原則：假如關鍵字a,ab，最長匹配將匹配[a, ab]
	 * 
	 * @param text 文字
	 * @param isDensityMatch 是否使用密集匹配原則
	 * @param isGreedMatch 是否使用貪婪匹配（最長匹配）原則
	 * @return 敏感詞
	 */
	public static List<String> getFindedAllSensitive(String text, boolean isDensityMatch, boolean isGreedMatch){
		return sensitiveTree.matchAll(text, -1, isDensityMatch, isGreedMatch);
	}

3、效能對比效果

3.1 普通關鍵字過濾

JMH程式碼如下：

package com.autocoding.hutool;

import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.TimeUnit;

import org.junit.Test;
import org.openjdk.jmh.annotations.Benchmark;
import org.openjdk.jmh.annotations.BenchmarkMode;
import org.openjdk.jmh.annotations.Mode;
import org.openjdk.jmh.annotations.OutputTimeUnit;
import org.openjdk.jmh.annotations.Scope;
import org.openjdk.jmh.annotations.State;
import org.openjdk.jmh.runner.Runner;
import org.openjdk.jmh.runner.options.Options;
import org.openjdk.jmh.runner.options.OptionsBuilder;

@BenchmarkMode(value = { Mode.All })
@OutputTimeUnit(TimeUnit.MILLISECONDS)
@State(Scope.Thread)
public class 普通關鍵字過濾Test {
	 
	private static List<String> keywords = new ArrayList<String>();
	static {
		keywords.add("大");
		keywords.add("大土豆");
		keywords.add("土豆");
		keywords.add("剛出鍋");
		keywords.add("出鍋");
	}

	public static void main(String[] args) throws Exception {
		String name = 普通關鍵字過濾Test.class.getName();
		Options options = new OptionsBuilder().include(name).forks(1).measurementIterations(10).warmupIterations(3)
				.build();
		new Runner(options).run();
	}

	@Benchmark
	@Test
	public void 普通測試() {
		String text = "我有一顆大土豆，剛出鍋的";
	    List<String> hitList=new ArrayList<>();
	    for(String keyword:keywords){
	    	if(text.contains(keyword)){
	    		hitList.add(keyword);
	    	}
	    }
		System.err.println(hitList);

	}

	 
}

JMH測試結果如下：

Result "com.autocoding.hutool.普通關鍵字過濾Test.普通測試":
  N = 10
  mean =      0.562 ±(99.9%) 0.309 ms/op

  Histogram, ms/op:
    [0.300, 0.350) = 0 
    [0.350, 0.400) = 3 
    [0.400, 0.450) = 1 
    [0.450, 0.500) = 1 
    [0.500, 0.550) = 0 
    [0.550, 0.600) = 2 
    [0.600, 0.650) = 0 
    [0.650, 0.700) = 0 
    [0.700, 0.750) = 2 
    [0.750, 0.800) = 0 
    [0.800, 0.850) = 0 
    [0.850, 0.900) = 0 
    [0.900, 0.950) = 0 

  Percentiles, ms/op:
      p(0.0000) =      0.371 ms/op
     p(50.0000) =      0.518 ms/op
     p(90.0000) =      0.958 ms/op
     p(95.0000) =      0.981 ms/op
     p(99.0000) =      0.981 ms/op
     p(99.9000) =      0.981 ms/op
     p(99.9900) =      0.981 ms/op
     p(99.9990) =      0.981 ms/op
     p(99.9999) =      0.981 ms/op
    p(100.0000) =      0.981 ms/op


# Run complete. Total time: 00:00:44

Benchmark                                Mode    Cnt   Score   Error   Units
普通關鍵字過濾Test.普通測試                thrpt     10   5.787 ± 0.936  ops/ms
普通關鍵字過濾Test.普通測試                 avgt     10   0.178 ± 0.025   ms/op
普通關鍵字過濾Test.普通測試               sample  54550   0.183 ± 0.003   ms/op
普通關鍵字過濾Test.普通測試:普通測試·p0.00    sample          0.057           ms/op
普通關鍵字過濾Test.普通測試:普通測試·p0.50    sample          0.173           ms/op
普通關鍵字過濾Test.普通測試:普通測試·p0.90    sample          0.216           ms/op
普通關鍵字過濾Test.普通測試:普通測試·p0.95    sample          0.253           ms/op
普通關鍵字過濾Test.普通測試:普通測試·p0.99    sample          0.426           ms/op
普通關鍵字過濾Test.普通測試:普通測試·p0.999   sample          2.303           ms/op
普通關鍵字過濾Test.普通測試:普通測試·p0.9999  sample          7.570           ms/op
普通關鍵字過濾Test.普通測試:普通測試·p1.00    sample         20.185           ms/op
普通關鍵字過濾Test.普通測試                   ss     10   0.562 ± 0.309   ms/op

3.2 DFA關鍵字過濾

JMH程式碼如下：

package com.autocoding.hutool;

import java.util.List;
import java.util.concurrent.TimeUnit;

import org.junit.Test;
import org.openjdk.jmh.annotations.Benchmark;
import org.openjdk.jmh.annotations.BenchmarkMode;
import org.openjdk.jmh.annotations.Mode;
import org.openjdk.jmh.annotations.OutputTimeUnit;
import org.openjdk.jmh.annotations.Scope;
import org.openjdk.jmh.annotations.State;
import org.openjdk.jmh.runner.Runner;
import org.openjdk.jmh.runner.options.Options;
import org.openjdk.jmh.runner.options.OptionsBuilder;

import cn.hutool.dfa.WordTree;

@BenchmarkMode(value = { Mode.All })
@OutputTimeUnit(TimeUnit.MILLISECONDS)
@State(Scope.Thread)
public class DFA關鍵字過濾Test {
	private static WordTree tree = new WordTree();
	static {
		tree.addWord("大");
		tree.addWord("大土豆");
		tree.addWord("土豆");
		tree.addWord("剛出鍋");
		tree.addWord("出鍋");
	}

	public static void main(String[] args) throws Exception {
		String name = DFA關鍵字過濾Test.class.getName();
		Options options = new OptionsBuilder().include(name).forks(1).measurementIterations(10).warmupIterations(3)
				.build();
		new Runner(options).run();
	}

 

	@Benchmark
	@Test
	public void DFA測試() {
		String text = "我有一顆大土豆，剛出鍋的";
		List<String> matchAll = tree.matchAll(text, -1, false, false);
		System.err.println(matchAll);

	}

}

JMH測試結果如下：

Result "com.autocoding.hutool.DFA關鍵字過濾Test.DFA測試":
  N = 10
  mean =      0.465 ±(99.9%) 0.255 ms/op

  Histogram, ms/op:
    [0.200, 0.250) = 0 
    [0.250, 0.300) = 1 
    [0.300, 0.350) = 2 
    [0.350, 0.400) = 1 
    [0.400, 0.450) = 1 
    [0.450, 0.500) = 2 
    [0.500, 0.550) = 0 
    [0.550, 0.600) = 0 
    [0.600, 0.650) = 1 
    [0.650, 0.700) = 0 
    [0.700, 0.750) = 2 
    [0.750, 0.800) = 0 

  Percentiles, ms/op:
      p(0.0000) =      0.275 ms/op
     p(50.0000) =      0.435 ms/op
     p(90.0000) =      0.731 ms/op
     p(95.0000) =      0.731 ms/op
     p(99.0000) =      0.731 ms/op
     p(99.9000) =      0.731 ms/op
     p(99.9900) =      0.731 ms/op
     p(99.9990) =      0.731 ms/op
     p(99.9999) =      0.731 ms/op
    p(100.0000) =      0.731 ms/op


# Run complete. Total time: 00:00:44

Benchmark                                Mode    Cnt   Score   Error   Units
DFA關鍵字過濾Test.DFA測試                 thrpt     10   6.372 ± 0.267  ops/ms
DFA關鍵字過濾Test.DFA測試                  avgt     10   0.156 ± 0.018   ms/op
DFA關鍵字過濾Test.DFA測試                sample  64804   0.154 ± 0.002   ms/op
DFA關鍵字過濾Test.DFA測試:DFA測試·p0.00    sample          0.088           ms/op
DFA關鍵字過濾Test.DFA測試:DFA測試·p0.50    sample          0.144           ms/op
DFA關鍵字過濾Test.DFA測試:DFA測試·p0.90    sample          0.180           ms/op
DFA關鍵字過濾Test.DFA測試:DFA測試·p0.95    sample          0.209           ms/op
DFA關鍵字過濾Test.DFA測試:DFA測試·p0.99    sample          0.324           ms/op
DFA關鍵字過濾Test.DFA測試:DFA測試·p0.999   sample          1.000           ms/op
DFA關鍵字過濾Test.DFA測試:DFA測試·p0.9999  sample          4.551           ms/op
DFA關鍵字過濾Test.DFA測試:DFA測試·p1.00    sample         30.933           ms/op
DFA關鍵字過濾Test.DFA測試                    ss     10   0.465 ± 0.255   ms/op

相關推薦

記錄一次敏感詞過濾演算法DFA的應用案例

技術標籤：Java基礎DFA關鍵字過濾 目錄 0、 DFA是什麼？ 1、為什麼要用DFA 2、DFA工具類實現

DFA演算法之內容敏感詞過濾

DFA 演算法是通過提前構造出一個 樹狀查詢結構，之後根據輸入在該樹狀結構中就可以進行非常高效的查詢。

記錄一次實踐 MySQL 主從資料庫

前言 之前一直在研究 MySQL 複製問題，所以最近就想動動手將 MySQL 的主從伺服器搭一下。MySQL 主從複製是指資料可以從一個MySQL資料庫伺服器主節點複製到一個或多個從節點。MySQL 預設採用非同步複製方式，這樣從節

記錄一次由於執行緒使用不當引發的血案

背景 最近給第三方做了一個介面，介面的作用是接收資料對資料進行驗證之後通過kafka推送到模型進行資料處理，最終通過kafka接收模型的資料，開始只做了一個非同步的介面，由於對方業務原因需要一個同步的介面傳輸資料

記錄一次網站快照被劫持排查血淚史

背景 網站是 discuz 搭建的論壇；運營反饋近期網站百度收錄異常，有類似博**彩內容收錄。

記錄一次系統效能調優過程

問題回顧 線上上環境，由於業務場景需要，要求程式能夠在普通的4G機器中依然正常執行。

記錄一次資料庫驅動配置引發的慘案

最近，在我們專案中，有個服務在前臺辦理業務的時候，一直報：Transation does not exist，由於這塊業務的程式碼已經好久沒有改動，所以初步推測可能是配置的問題，但是經過核查也沒有人改動過配置，而且改了配置以後

記錄一次dns引發的執行緒池故障

# 問題描述公司做的是一個支付系統，會對接很多第三方公司。突然有一天,有一家第三方（簡稱金花平臺）反應收不到我們的通知訊息。

記錄一次併發測試的bug

大概具體業務邏輯：建立訂單時，通過手機號查詢使用者，如果找到了直接建立訂單，未找到使用者就去註冊新使用者。

記錄一次全網掃描找真實ip

安裝工具 zmap安裝 yum install zmap go安裝 go環境我這裡已經有了，不再安裝。可以自己搜尋怎麼安裝

記錄一次報 Bogus input colorspace 錯誤（GDAL、libjpeg-turbo）

目錄問題簡述查詢原因解決辦法相關程式碼等 問題簡述 這個問題的具體現象大概是這麼回事。我們的程式使用了libjpeg-turbo實現了一個編碼影象資料為 jpeg 格式的函式，只要呼叫這個函式就會報錯 Bogus input colorspa

記錄一次 Arthas 使用

【Arthas 官方社群正在舉行徵文活動，參加即有獎品拿~點選投稿】 前言 疫情期間，在家辦公，每天都是 007，感覺自己已經升級為熊貓特工了，心累，身體疲憊！！！

記錄一次HTTPS的配置

預設情況下在nginx進行配置證書後，在第三方進行測試，安全性為B。我們可以進行一些配置來進行安全優化。

記錄一次Oracle 11.2.0.4 RAC異地恢復到單例項 參考學習

記錄一次Oracle 11.2.0.4 RAC異地恢復到單例項 --原文：http://blog.itpub.net/30484956/viewspace-2688280/

記錄一次線上實施snmp

公司要實施一個部級的專案，我們公司的提供的產品要對接下客戶的一個平臺監控平臺，該監控平臺使用snmp，我們公司的產品不支援snmp，所以由我負責在現網實施snmp，記錄這次現網

記錄一次Spring註解式事務無法回滾問題

遇到問題：使用Spring註解式事務時，在事務中呼叫了兩個方法，在方法二中出現了異常，方法一未回滾

AC自動機：如何用多模式串匹配實現敏感詞過濾功能？

  我們前面幾節講了好幾種字串匹配演算法，有 BF 演算法、RK 演算法、BM 演算法、KMP 演算法，還有 Trie 樹。前面四種演算法都是單模式串匹配演算法，只有 Trie 樹是多模式串匹配演算法。

記錄一次線上環境執行緒池使用後未關閉的記錄

下午時候運維的同學給我說 某個服務，執行緒池達到了2000 但是一直未回收，他們那邊開始頻繁報警了。然後用jstat匯出了一份檔案：

記錄一次基於Echart的資料視覺化平臺開發

最近公司有需求開發一個用於生產車間的資料視覺化平臺的專案，基於公司目前的WEB平臺。

記錄一次mybatis快取和事務傳播行為導致ut掛的排查過程

起因 rhea專案有兩個ut一直都是掛的，之前也經過幾個同事排查過，但是都沒有找到解決辦法，慢慢的這個問題就擱置了。因為之前負責rhea專案的同事離職，我臨時接手了這個專案，剛好最近來了一個新同事在做新的功能開發