1. 程式人生 > >C#短網址壓縮演算法與短網址原理入門

C#短網址壓縮演算法與短網址原理入門

C#如何實現url短地址?

c# url短地址壓縮演算法與短網址原理的例子,詳細介紹了短網址的對映演算法,將長網址md5生成32位簽名串,分為4段,每段8個位元組,然後生成短網址,具體見文字例項。

短網址對映演算法:

將長網址md5生成32位簽名串,分為4段,每段8個位元組;
對這四段迴圈處理,取8個位元組,將他看成16進位制串與0x3fffffff(30位1)與操作,即超過30位的忽略處理;
這30位分成6段,每5位的數字作為字母表的索引取得特定字元,依次進行獲得6位字串;

總的md5串可以獲得4個6位串;取裡面的任意一個就可作為這個長url的短url地址;

並不一定說得到的URL是唯一的,但能夠取出4組URL

,不會出現太大的重複。

完整程式碼:

using System;
namespace ShortUrlDemo
{
    class Program
    {
        static void Main(string[] args)
        {
            Random rd = new Random();

            for (int i = 0; i < 100; i++)
            {
                int index = rd.Next(0, 4);
                var stortUrls = ShortUrl("http://www.freemud.cn"
); Console.WriteLine(string.Concat("http://www.freemud.cn/", stortUrls[index])); } Console.Read(); } public static string[] ShortUrl(string url) { //可以自定義生成MD5加密字元傳前的混合KEY string key = "Freemud"; //要使用生成URL的字元
string[] chars = new string[] { "a", "b", "c", "d", "e", "f", "g", "h", "i", "j", "k", "l", "m", "n", "o", "p", "q", "r", "s", "t", "u", "v", "w", "x", "y", "z", "0", "1", "2", "3", "4", "5", "6", "7", "8", "9", "A", "B", "C", "D", "E", "F", "G", "H", "I", "J", "K", "L", "M", "N", "O", "P", "Q", "R", "S", "T", "U", "V", "W", "X", "Y", "Z" }; //對傳入網址進行MD5加密 string hex = System.Web.Security.FormsAuthentication.HashPasswordForStoringInConfigFile(key + url, "md5"); string[] resUrl = new string[4]; for (int i = 0; i < 4; i++) { //把加密字元按照8位一組16進位制與0x3FFFFFFF進行位與運算 int hexint = 0x3FFFFFFF & Convert.ToInt32("0x" + hex.Substring(i * 8, 8), 16); string outChars = string.Empty; for (int j = 0; j < 6; j++) { //把得到的值與0x0000003D進行位與運算,取得字元陣列chars索引 int index = 0x0000003D & hexint; //把取得的字元相加 outChars += chars[index]; //每次迴圈按位右移5位 hexint = hexint >> 5; } //把字串存入對應索引的輸出陣列 resUrl[i] = outChars; } return resUrl; } } }

結果:
這裡寫圖片描述

在存放這個URL的資料方面,推薦TTServer

TTServer資料庫

Tokyo Cabinet 是日本人 Mikio Hirabayashi(平林幹雄)のページ 開發的一款DBM資料庫(注:大名鼎鼎的DBM資料庫qdbm就是他開發的),該資料庫讀寫非常快。

insert:0.4sec/1000000 recordes(2500000qps),寫入100萬資料只需要0.4秒。
search:0.33sec/1000000 recordes (3000000 qps),讀取100萬資料只需要0.33秒。

可以看到對於字典型別的資料Key/Value的查詢,這個資料庫可以說是我目前見過效率非常高的,況且他如此的小巧,用來對short url/long url的配對再好不過。

該系統使用6個短碼字元來表示任何長度的網址。

有效的字元程式碼是ASCII ‘A’到’Z’和’0′的’5′,其中每個字元包含2 ^ 5(32)狀態。6短碼字元可用於繪製32 ^ 6(1073741824)的網址

首先,需要一個數據庫表來儲存和檢索你對映的網址。

CREATE TABLE mappedURL (CREATE TABLE mappedURL(
     shortCode char (6) not  null ,
     lognURL  text not null ,
     PRIMARY KEY  shortCodeInd (shortCode),
 );

其次,需要定義一個演算法將長的URL對映到短的URL。 演算法上面已經介紹過了。

第三,需要建立一個網頁,從資料庫的短網址的對映找到原始的URL,並重定向之。

MD5 已經被破解了,因此不排除攻擊者偽造相同 MD5url 實現惡意目的的可能性。如果不考慮這種情況,md5 collision 的可能性應該是及其低的,估計你我有生之年都看不到。
另外偶不明白“相同的URL每次算出來的鍵值必須都是一樣的”的實際用途會是什麼。就算相同的 URL 對應不同的鍵值,一般也不會造成太大的浪費吧?只有 6 位的字母數字組合都可以容納幾十億種變化。

我正是有md5 collision的擔心才問這個問題的。相同的URL要對應相同的鍵值是因為每一個URL地址都需要唯一的對應到資料庫中的一條表資料,但直接用URL來查詢會比較慢,因為:
將要儲存的URL和相關的記錄資料量非常大。
而且有些URL會很長,所以要用text欄位。
而如果雜湊出唯一的鍵值用varchar來儲存,再根據這個鍵值去查詢就會非常方便快捷。
就像git裡面的object hash, 目前基本上不用考慮衝突吧。

bit.lyurl shorter服務是怎麼實現的?

需不需要從hash鍵值反向查詢url? 如果有這樣的要求, url肯定需要存一個地方, 這樣就可以在衝突的時候進行再雜湊
MD5是128位hash碼(4個整數,每個整數4個位元組)。因此,一個urlMD5碼,有2的128次方(即2e128)個可能。隨意找出來的兩個urlMD5碼相等的可能性,是2e128分之一,即r=2e-128
假如url經MD5後插入資料庫,第一個url插入的不會發生重複,第二個MD5插入時,它跟第一條重複的概率是r。第三條url插入時,重複概率 是2×r,以此類推,第n條插入時發生重複的概率是(n-1)×r。n個MD5碼,其中有兩個重複的概率是這些概率加和。(1+2+3+…+(n- 1))×r = (1/2)×n×(n-1)×r
對於n個MD5碼的集合,存在重複的概率是(1/2)*(n/2e64)e2
因此,只有n大到可以與2e64比擬,才需要考慮它的衝突問題。而2的64次方還是很大的。
所以,只要不是惡意攻擊,一般應用是不太會有collision的。