URL 去重的 6 種方案！(附詳細實現程式碼)
阿新 • • 發佈：2020-09-10
URL 去重在我們日常工作中和麵試中很常遇到，比如這些：
可以看出，包括阿里，網易雲、優酷、作業幫等知名網際網路公司都出現過類似的面試題，而且和 URL 去重比較類似的，如 IP 黑/白名單判斷等也經常出現在我們的工作中，所以我們本文就來“盤一盤”URL 去重的問題。
### URL 去重思路
在不考慮業務場景和資料量的情況下，我們可以使用以下方案來實現 URL 的重複判斷：
1. 使用 Java 的 Set 集合，根據新增時的結果來判斷 URL 是否重複（新增成功表示 URL 不重複）；
1. 使用 Redis 中的 Set 集合，根據新增時的結果來判斷 URL 是否重複；
1. 將 URL 都儲存在資料庫中，再通過 SQL 語句判斷是否有重複的 URL；
1. 把資料庫中的 URL 一列設定為唯一索引，根據新增時的結果來判斷 URL 是否重複；
1. 使用 Guava 的布隆過濾器來實現 URL 判重；
1. 使用 Redis 的布隆過濾器來實現 URL 判重。
以上方案的具體實現如下。
### URL 去重實現方案
#### 1.使用 Java 的 Set 集合判重
Set 集合天生具備不可重複性，使用它只能儲存值不相同的元素，如果值相同新增就會失敗，因此我們可以通過新增 Set 集合時的結果來判定 URL 是否重複，實現程式碼如下：
```java
public class URLRepeat {
// 待去重 URL
public static final String[] URLS = {
"www.apigo.cn",
"www.baidu.com",
"www.apigo.cn"
};
public static void main(String[] args) {
Set set = new HashSet();
for (int i = 0; i < URLS.length; i++) {
String url = URLS[i];
boolean result = set.add(url);
if (!result) {
// 重複的 URL
System.out.println("URL 已存在了：" + url);
}
}
}
}
```
程式的執行結果為：
> URL 已存在了：www.apigo.cn
從上述結果可以看出，使用 Set 集合可以實現 URL 的判重功能。
#### 2.Redis Set 集合去重
使用 Redis 的 Set 集合的實現思路和 Java 中的 Set 集合思想思路是一致的，都是利用 Set 的不可重複性實現的，我們先使用 Redis 的客戶端 redis-cli 來實現一下 URL 判重的示例：
從上述結果可以看出，當新增成功時表示 URL 沒有重複，但新增失敗時（結果為 0）表示此 URL 已經存在了。
我們再用程式碼的方式來實現一下 Redis 的 Set 去重，實現程式碼如下：
```java
// 待去重 URL
public static final String[] URLS = {
"www.apigo.cn",
"www.baidu.com",
"www.apigo.cn"
};
@Autowired
RedisTemplate redisTemplate;
@RequestMapping("/url")
public void urlRepeat() {
for (int i = 0; i < URLS.length; i++) {
String url = URLS[i];
Long result = redisTemplate.opsForSet().add("urlrepeat", url);
if (result == 0) {
// 重複的 URL
System.out.println("URL 已存在了：" + url);
}
}
}
```
以上程式的執行結果為：
>
org.springframework.boot
spring-boot-starter-data-redis
```
然後需要再專案中配置 Redis 的連線資訊，在 application.properties 中配置如下內容：
```xml
spring.redis.host=127.0.0.1
spring.redis.port=6379
#spring.redis.password=123456 # Redis 伺服器密碼，有密碼的話需要配置此項
```
經過以上兩個步驟之後，我們就可以在 Spring Boot 的專案中正常的使用 `RedisTemplate` 物件來操作 Redis 了。
#### 3.資料庫去重
我們也可以藉助資料庫實現 URL 的重複判斷，首先我們先來設計一張 URL 的儲存表，如下圖所示：
此表對應的 SQL 如下：
```sql
/*==============================================================*/
/* Table: urlinfo */
/*==============================================================*/
create table urlinfo
(
id int not null auto_increment,
url varchar(1000),
ctime date,
del boolean,
primary key (id)
);
/*==============================================================*/
/* Index: Index_url */
/*==============================================================*/
create index Index_url on urlinfo
(
url
);
```
其中 `id` 為自增的主鍵，而 `url` 欄位設定為索引，設定索引可以加快查詢的速度。
我們先在資料庫中新增兩條測試資料，如下圖所示：
我們使用 SQL 語句查詢，如下圖所示：
如果結果大於 0 則表明已經有重複的 URL 了，否則表示沒有重複的 URL。
#### 4.唯一索引去重
我們也可以使用資料庫的唯一索引來防止 URL 重複，它的實現思路和前面 Set 集合的思想思路非常像。
首先我們先為欄位 URL 設定了唯一索引，然後再新增 URL 資料，如果能新增成功則表明 URL 不重複，反之則表示重複。
建立唯一索引的 SQL 實現如下：
```sql
create unique index Index_url on urlinfo
(
url
);
```
#### 5.Guava 布隆過濾器去重
布隆過濾器（Bloom Filter）是1970年由布隆提出的。它實際上是一個很長的二進位制向量和一系列隨機對映函式。布隆過濾器可以用於檢索一個元素是否在一個集合中。它的優點是空間效率和查詢時間都遠遠超過一般的演算法，缺點是有一定的誤識別率和刪除困難。
布隆過濾器的核心實現是一個超大的位陣列和幾個雜湊函式，假設位陣列的長度為 m，雜湊函式的個數為 k。
以上圖為例，具體的操作流程：假設集合裡面有 3 個元素 {x, y, z}，雜湊函式的個數為 3。首先將位陣列進行初始化，將裡面每個位都設定位 0。對於集合裡面的每一個元素，將元素依次通過 3 個雜湊函式進行對映，每次對映都會產生一個雜湊值，這個值對應位陣列上面的一個點，然後將位陣列對應的位置標記為 1，查詢 W 元素是否存在集合中的時候，同樣的方法將 W 通過雜湊對映到位陣列上的 3 個點。如果 3 個點的其中有一個點不為 1，則可以判斷該元素一定不存在集合中。反之，如果 3 個點都為 1，則該元素可能存在集合中。注意：此處不能判斷該元素是否一定存在集合中，可能存在一定的誤判率。可以從圖中可以看到：假設某個元素通過對映對應下標為 4、5、6 這 3 個點。雖然這 3 個點都為 1，但是很明顯這 3 個點是不同元素經過雜湊得到的位置，因此這種情況說明元素雖然不在集合中，也可能對應的都是 1，這是誤判率存在的原因。
我們可以藉助 Google 提供的 Guava 框架來操作布隆過濾器，實現我們先在 pom.xml 中新增 Guava 的引用，配置如下：
```xml
com.google.guava
guava
28.2-jre
```
URL 判重的實現程式碼：
```java
public class URLRepeat {
// 待去重 URL
public static final String[] URLS = {
"www.apigo.cn",
"www.baidu.com",
"www.apigo.cn"
};
public static void main(String[] args) {
// 建立一個布隆過濾器
BloomFilter filter = BloomFilter.create(
Funnels.stringFunnel(Charset.defaultCharset()),
10, // 期望處理的元素數量
0.01); // 期望的誤報概率
for (int i = 0; i < URLS.length; i++) {
String url = URLS[i];
if (filter.mightContain(url)) {
// 用重複的 URL
System.out.println("URL 已存在了：" + url);
} else {
// 將 URL 儲存在布隆過濾器中
filter.put(url);
}
}
}
}
```
以上程式的執行結果為：
>