C#短網址壓縮演算法與短網址原理入門
C#如何實現url短地址?
c# url
短地址壓縮演算法與短網址原理的例子,詳細介紹了短網址的對映演算法,將長網址md5
生成32
位簽名串,分為4段,每段8個位元組,然後生成短網址,具體見文字例項。
短網址對映演算法:
將長網址md5
生成32位簽名串,分為4段,每段8個位元組;
對這四段迴圈處理,取8個位元組,將他看成16進位制串與0x3fffffff
(30位1)與操作,即超過30位的忽略處理;
這30位分成6段,每5位的數字作為字母表的索引取得特定字元,依次進行獲得6位字串;
總的md5
串可以獲得4個6位串;取裡面的任意一個就可作為這個長url
的短url
地址;
並不一定說得到的URL
是唯一的,但能夠取出4組URL
完整程式碼:
using System;
namespace ShortUrlDemo
{
class Program
{
static void Main(string[] args)
{
Random rd = new Random();
for (int i = 0; i < 100; i++)
{
int index = rd.Next(0, 4);
var stortUrls = ShortUrl("http://www.freemud.cn" );
Console.WriteLine(string.Concat("http://www.freemud.cn/", stortUrls[index]));
}
Console.Read();
}
public static string[] ShortUrl(string url)
{
//可以自定義生成MD5加密字元傳前的混合KEY
string key = "Freemud";
//要使用生成URL的字元
string[] chars = new string[]
{
"a", "b", "c", "d", "e", "f", "g", "h",
"i", "j", "k", "l", "m", "n", "o", "p",
"q", "r", "s", "t", "u", "v", "w", "x",
"y", "z", "0", "1", "2", "3", "4", "5",
"6", "7", "8", "9", "A", "B", "C", "D",
"E", "F", "G", "H", "I", "J", "K", "L",
"M", "N", "O", "P", "Q", "R", "S", "T",
"U", "V", "W", "X", "Y", "Z"
};
//對傳入網址進行MD5加密
string hex = System.Web.Security.FormsAuthentication.HashPasswordForStoringInConfigFile(key + url, "md5");
string[] resUrl = new string[4];
for (int i = 0; i < 4; i++)
{
//把加密字元按照8位一組16進位制與0x3FFFFFFF進行位與運算
int hexint = 0x3FFFFFFF & Convert.ToInt32("0x" + hex.Substring(i * 8, 8), 16);
string outChars = string.Empty;
for (int j = 0; j < 6; j++)
{
//把得到的值與0x0000003D進行位與運算,取得字元陣列chars索引
int index = 0x0000003D & hexint;
//把取得的字元相加
outChars += chars[index];
//每次迴圈按位右移5位
hexint = hexint >> 5;
}
//把字串存入對應索引的輸出陣列
resUrl[i] = outChars;
}
return resUrl;
}
}
}
結果:
在存放這個URL
的資料方面,推薦TTServer
。
TTServer
資料庫:
Tokyo Cabinet
是日本人 Mikio Hirabayashi
(平林幹雄)のページ 開發的一款DBM資料庫(注:大名鼎鼎的DBM資料庫qdbm
就是他開發的),該資料庫讀寫非常快。
insert:0.4sec/1000000 recordes(2500000qps),寫入100萬資料只需要0.4秒。
search:0.33sec/1000000 recordes (3000000 qps),讀取100萬資料只需要0.33秒。
可以看到對於字典型別的資料Key/Value
的查詢,這個資料庫可以說是我目前見過效率非常高的,況且他如此的小巧,用來對short url/long url
的配對再好不過。
該系統使用6個短碼字元來表示任何長度的網址。
有效的字元程式碼是ASCII ‘A’到’Z’和’0′的’5′,其中每個字元包含2 ^ 5(32)狀態。6短碼字元可用於繪製32 ^ 6(1073741824)的網址
首先,需要一個數據庫表來儲存和檢索你對映的網址。
CREATE TABLE mappedURL (CREATE TABLE mappedURL(
shortCode char (6) not null ,
lognURL text not null ,
PRIMARY KEY shortCodeInd (shortCode),
);
其次,需要定義一個演算法將長的URL
對映到短的URL
。 演算法上面已經介紹過了。
第三,需要建立一個網頁,從資料庫的短網址的對映找到原始的URL
,並重定向之。
MD5
已經被破解了,因此不排除攻擊者偽造相同 MD5
的 url
實現惡意目的的可能性。如果不考慮這種情況,md5 collision
的可能性應該是及其低的,估計你我有生之年都看不到。
另外偶不明白“相同的URL每次算出來的鍵值必須都是一樣的”的實際用途會是什麼。就算相同的 URL 對應不同的鍵值,一般也不會造成太大的浪費吧?只有 6 位的字母數字組合都可以容納幾十億種變化。
我正是有md5 collision
的擔心才問這個問題的。相同的URL
要對應相同的鍵值是因為每一個URL
地址都需要唯一的對應到資料庫中的一條表資料,但直接用URL
來查詢會比較慢,因為:
將要儲存的URL
和相關的記錄資料量非常大。
而且有些URL
會很長,所以要用text
欄位。
而如果雜湊出唯一的鍵值用varchar
來儲存,再根據這個鍵值去查詢就會非常方便快捷。
就像git
裡面的object hash
, 目前基本上不用考慮衝突吧。
bit.ly
等url shorter
服務是怎麼實現的?
需不需要從hash
鍵值反向查詢url
? 如果有這樣的要求, url
肯定需要存一個地方, 這樣就可以在衝突的時候進行再雜湊
MD5
是128位hash
碼(4個整數,每個整數4個位元組)。因此,一個url
的MD5
碼,有2的128次方(即2e128)個可能。隨意找出來的兩個url
的MD5
碼相等的可能性,是2e128分之一,即r=2e-128
假如url經MD5後插入資料庫,第一個url插入的不會發生重複,第二個MD5插入時,它跟第一條重複的概率是r。第三條url插入時,重複概率 是2×r,以此類推,第n條插入時發生重複的概率是(n-1)×r。n個MD5碼,其中有兩個重複的概率是這些概率加和。(1+2+3+…+(n- 1))×r = (1/2)×n×(n-1)×r
對於n個MD5碼的集合,存在重複的概率是(1/2)*(n/2e64)e2
因此,只有n大到可以與2e64
比擬,才需要考慮它的衝突問題。而2的64次方還是很大的。
所以,只要不是惡意攻擊,一般應用是不太會有collision
的。