在進行大規模資料處理時，讀檔案很有可能成為速度瓶頸。不管你的CPU有4個核還是8個核，主頻有2G還是3G，硬碟IO速度總是有個上限的。在本人最近的一次經歷中，對一個11G的文字進行資料處理，一共耗時34.8秒，其中竟然有30.2秒用在訪問IO上，佔了所有時間的87%左右。
        雖然說硬碟IO是有上限的，那麼C++為我們提供的各函式，是否都能讓我們達到這個上限呢？為了求得真相，我對這個11G的文字用fread函式讀取，在linux下用iostat檢查硬碟的訪問速度，發現讀的速度大約在380M/s。然後用dd指令測了一下讀文字的訪問速度，發現速度可以達到460M/s。可見單執行緒fread訪問並沒有達到硬碟的讀取上限。第一次考慮會不會是fread訪問硬碟的時候有一些固定開銷，用多執行緒可以達到流水訪問IO的效果提高讀文字的效率，結果發現多執行緒也只有380M/s的讀取速率。

        為什麼fread的效率達不到最大呢？查閱一些資料才知，用fread/fwrite方式訪問硬碟，使用者須向核心指定要讀多少，核心再把得到的內容從核心緩衝池拷向用戶空間；寫也須要有一個大致如此的過程。這樣在訪問IO的時候就多經歷了這麼一個核心的buffer，造成速度的限制。一個解決的辦法是mmap。mmap就是通過把檔案的某一塊內容直接對映到使用者空間上，使用者可以直接向核心緩衝池讀寫這一塊內容，這樣一來就少了核心與使用者空間的來回拷貝所以通常更快。

        mmap的使用方法如下：

1. char *data = NULL;

2. int fd=open(“file.txt”,O_RDONLY);

3. long size = lseek(fd, 0, SEEK_END);

4. data = (char *) mmap( NULL, size ,PROT_READ, MAP_PRIVATE, fd, 0 );

        這時file.txt檔案中的資料就可以從data指標指向的首地址開始訪問了。

        為了從資料說明這個問題，我引用一位網友的結論，希望對大家有所啟發。

作者：jiang1st