海量資料排序總結資料
阿新 • • 發佈：2019-01-29
一般解題思路:
1 、將資料匯入到記憶體中
2 、將資料進行排序 （比如插入排序、快速排序）
3 、將排序好的資料存入檔案難題:
一個整數為4 個位元組即使使用陣列也需要900,000,000 * 4byte = 3.4G 記憶體對於32 位系統，訪問2G 以上的記憶體非常困難，而且一般裝置也沒有這麼多的實體記憶體將資料完全匯入到記憶體中的做法不現實其他解決辦法:
1 、匯入資料庫運算
2 、分段排序運算
3 、使用bit 位運算解決方案一: 資料庫排序將文字檔案匯入到資料庫，讓資料庫進行索引排序操作後提取資料到檔案優點：操作簡單缺點：運算速度慢，而且需要資料庫裝置。解決方案二: 分段排序操作方式：規定一個記憶體大小，比如200M
關鍵步驟：先將整個9 位整數進行分段，億條資料進行分成20 段，每段5000 萬條在檔案中依次搜尋0~5000 萬，50000001~1 億……
將排序的結果存入檔案解決方案三:bit 位操作 思考下面的問題:
一個最大的9 位整數為999999999
這9 億條資料是不重複的可不可以把這些資料組成一個佇列或陣列，讓它有0~999999999(10 億個) 元素陣列下標表示數值，節點中用0 表示這個數沒有，1
bool CompareBit (unsigned char first, int second)
{
const static int mark_buf[] = {0x1, 0x2, 0x4, 0x8, 0x10, 0x20, 0x40, 0x80};
if (second > .8)
return false;
return (first & mark_buf[second]) == mark_buf[second];
}
1 、將資料匯入到記憶體中
2 、將資料進行排序 （比如插入排序、快速排序）
3 、將排序好的資料存入檔案難題:
一個整數為4 個位元組即使使用陣列也需要900,000,000 * 4byte = 3.4G 記憶體對於32 位系統，訪問2G 以上的記憶體非常困難，而且一般裝置也沒有這麼多的實體記憶體將資料完全匯入到記憶體中的做法不現實其他解決辦法:
1 、匯入資料庫運算
2 、分段排序運算
3 、使用bit 位運算解決方案一: 資料庫排序將文字檔案匯入到資料庫，讓資料庫進行索引排序操作後提取資料到檔案優點：操作簡單缺點：運算速度慢，而且需要資料庫裝置。解決方案二: 分段排序操作方式：規定一個記憶體大小，比如200M
關鍵步驟：先將整個9 位整數進行分段，億條資料進行分成20 段，每段5000 萬條在檔案中依次搜尋0~5000 萬，50000001~1 億……
將排序的結果存入檔案解決方案三:bit 位操作 思考下面的問題:
一個最大的9 位整數為999999999
這9 億條資料是不重複的可不可以把這些資料組成一個佇列或陣列，讓它有0~999999999(10 億個) 元素陣列下標表示數值，節點中用0 表示這個數沒有，1
bool CompareBit (unsigned char first, int second)
{
const static int mark_buf[] = {0x1, 0x2, 0x4, 0x8, 0x10, 0x20, 0x40, 0x80};
if (second > .8)
return false;
return (first & mark_buf[second]) == mark_buf[second];
}