Java之大數據位圖法(無重復排序,重復排序,去重復排序,數據壓縮)
大數據位圖法(無重復排序,重復排序,去重復排序,數據壓縮)之Java實現
位圖法介紹
位圖的基本概念是用一個位(bit)來標記某個數據的存放狀態,由於采用了位為單位來存放數據,所以節省了大量的空間。舉個具體的例子,在Java中一般一個int數字要占用32位,如果能用一位就表示這個數,就可以縮減大量的存儲空間。一般把這種方法稱為位圖法,即Bitmap。
位圖法比較適合於判斷是否存在這樣的問題,元素的狀態比較少,元素的個數比較多的情況之下。那麽具體咋麽做呢,這樣,非常簡單明了就是,2.5億個整數裏面,我維護一個長度等於最大整數值得字符串,每個整數是否存在我就在該整數對應的位置置為1,比如,有{2, 4, 5, 6, 67, 5}這麽幾個整數,我維護一個 00…0000 67位的字符串。但是,如果你不知道整數的最大值,你至少需要一個長度2^32的字符串,因為整數的最大值就是2^32,(int占4個字節,因此是32位),那這就最少是512M內存,從char的長度算內存會算吧,直接、最大整數/8*2^20 就是M的單位。那這麽說來就可以理解位圖法了。
BitSet
正因為位圖運算在空間方面的優越性,很多語言都有直接對它的支持。如在C++的STL庫中就有一個bitset容器。而在Java中,在java.util包下也有一個BitSet類用來實現位圖運算。此類實現了一個按需增長的位向量。BitSet的每一位都由一個boolean值來表示。用非負的整數將BitSet的位編入索引,可以對每個編入索引的位進行測試、設置或者清除。通過邏輯與、邏輯或和邏輯異或操作,可以使用一個BitSet修改另一個BitSet的內容。
需要註意的是BitSet底層實現是通過一個long數組來保存數據的,也就是說它增長的最小單位是一個long所占的邏輯位,即64位。但如果不是對存儲區空間有極致的要求,而且對自己的基本功非常有信心,不建議自己去實現一個跟BitSet類似的類來實現相關的功能。因為jdk中的類都是極精簡並做過合理優化的,BitSet類比較長。
無重復排序
java JDK裏面容器類的排序算法使用的主要是插入排序和歸並排序,可能不同版本的實現有所不同,關鍵代碼如下:
1 /**
2 * Performs a sort on the section of the array between the given indices
3 * using a mergesort with exponential search algorithm (in which the merge
4 * is performed by exponential search). n*log(n) performance is guaranteed
5 * and in the average case it will be faster then any mergesort in which the
6 * merge is performed by linear search.
7 *
8 * @param in -
9 * the array for sorting.
10 * @param out -
11 * the result, sorted array.
12 * @param start
13 * the start index
14 * @param end
15 * the end index + 1
16 */
17 @SuppressWarnings("unchecked")
18 private static void mergeSort(Object[] in, Object[] out, int start,
19 int end) {
20 int len = end - start;
21 // use insertion sort for small arrays
22 if (len <= SIMPLE_LENGTH) {
23 for (int i = start + 1; i < end; i++) {
24 Comparable<Object> current = (Comparable<Object>) out[i];
25 Object prev = out[i - 1];
26 if (current.compareTo(prev) < 0) {
27 int j = i;
28 do {
29 out[j--] = prev;
30 } while (j > start
31 && current.compareTo(prev = out[j - 1]) < 0);
32 out[j] = current;
33 }
34 }
35 return;
36 }
37 int med = (end + start) >>> 1;
38 mergeSort(out, in, start, med);
39 mergeSort(out, in, med, end);
40
41 // merging
42
43 // if arrays are already sorted - no merge
44 if (((Comparable<Object>) in[med - 1]).compareTo(in[med]) <= 0) {
45 System.arraycopy(in, start, out, start, len);
46 return;
47 }
48 int r = med, i = start;
49
50 // use merging with exponential search
51 do {
52 Comparable<Object> fromVal = (Comparable<Object>) in[start];
53 Comparable<Object> rVal = (Comparable<Object>) in[r];
54 if (fromVal.compareTo(rVal) <= 0) {
55 int l_1 = find(in, rVal, -1, start + 1, med - 1);
56 int toCopy = l_1 - start + 1;
57 System.arraycopy(in, start, out, i, toCopy);
58 i += toCopy;
59 out[i++] = rVal;
60 r++;
61 start = l_1 + 1;
62 } else {
63 int r_1 = find(in, fromVal, 0, r + 1, end - 1);
64 int toCopy = r_1 - r + 1;
65 System.arraycopy(in, r, out, i, toCopy);
66 i += toCopy;
67 out[i++] = fromVal;
68 start++;
69 r = r_1 + 1;
70 }
71 } while ((end - r) > 0 && (med - start) > 0);
72
73 // copy rest of array
74 if ((end - r) <= 0) {
75 System.arraycopy(in, start, out, i, med - start);
76 } else {
77 System.arraycopy(in, r, out, i, end - r);
78 }
79 }
下面我們說下位圖法排序的思路:其實思路開篇已經交代,為了讓大家更容易理解,我將通過舉例的方式進一步闡明,假設我們有一個不重復的整型序
Java之大數據位圖法(無重復排序,重復排序,去重復排序,數據壓縮)