2018.5.28

今天查看了關於flashdb中關於快取演算法的資料結構，發現了3dsim的資料結構是不一樣的，然後又去看了一遍3Dsim的資料結構，發現flashdb的資料結構實際是可以優化的。下面對這個點簡單的分析下。

首先來看下flashdb的資料結構

ftop是模擬記憶體的順序儲存
ptop是雜湊表
LRU連結串列是快取替換演算法
其中引入的frame_id可以看做是資料在記憶體中的地址。

首先資料通過pageid，通過雜湊索引判斷是否在記憶體中存在，然後通過雜湊索引找到記憶體的地址，然後記憶體的地址通過LRU連結串列維護替換演算法。這樣做是沒問題的，問題在於LRU維護的時候沒有必要用記憶體地址去在維護，因為如果通過額外的記憶體地址去維護，那麼實際在LRU連結串列中還得再遍歷一遍，這樣開銷很大，雜湊索引的目的也沒有實現。

3Dsim則只用兩個資料結構，記憶體中資料的存放除了資料之外，還有LRU連結串列維護的指標，然後通過一個平衡樹索引資料的地址，通過這個平衡樹則找到了資料節點所在的地址，通過這個地址則可以找到LRU連結串列的位置。不需要再次遍歷LRU連結串列的過程。

那麼flashdb這種資料結構可以修改嗎，應該如何修改？

答案是肯定的，修改也比較簡單，在陣列中存放的除了pageid，還可以存放LRU的前後指標即可。

那麼當雜湊索引到資料的地址時，就可以訪問資料的LRU的前後指標。
ok，
1、明天在看完整個flashdb的程式碼之後，對這個資料結構進行修改。
2、快取的讀寫流程很奇怪
3、看下CCF-LRU和AD-LRU演算法的原始碼

2018.5.29

1、開始著手修改快取的讀寫流程

對於快取來說，讀請求命中則直接讀資料，未命中，則發生替換演算法，從快取替換出一個空位，然後從快閃記憶體上讀一個數據到快取中。
對於寫請求來說，寫請求命中快取並直接合並資料，並置為髒，未命中則直接替換，首先從快閃記憶體上讀資料，然後合併髒頁寫回快閃記憶體，然後將新的資料頁寫入到快閃記憶體上。

2、在flashdb上實現CCF-LRU的演算法

現在具體的CCF-LRU演算法進行一個修改
ok
接下倆，主要是CCCF-LRU和AD-LRU演算法在flashdb和開源資料庫中修改

2018.5.11

1、修改完成，經過trace測試，效能確實有提升

效能對比

2、對於PostgreSQL的學習

首先學習PostgreSQL 的基礎知識，和mysql相同的另外一種資料庫
瞭解PostgreSQL 資料庫的儲存引擎
看PostgreSQL 的原始碼，對原始碼進行修改

2018.6.5
本週任務：
首先學習PostgreSQL 的基礎知識，和mysql相同的另外一種資料庫
瞭解PostgreSQL 資料庫的儲存引擎
看PostgreSQL 的原始碼，對原始碼進行修改

2018.6.6
目前資料庫已經搭建完成，接下來的任務：
看pgsql的原始碼，修改其中的LRU部分。

2018.6.7
1、將pgsql資料庫的安裝測試寫成一個指令碼進行
主要是4個指令碼，一個是建立pgsql的資料庫，一個是用benchmark進行測試，一個是移除benchmark的測試資料，一個是停止刪除資料庫

2018.6.8
開始進行pgsql中快取這一部分原始碼的閱讀，首先了解快取的主要思想，然後將CF-LRU和CCF-LRU進行實現，希望最後對MySQL和PGsql進行一個分析對比，重點應該在快閃記憶體資料庫的優化上，資料庫和快閃記憶體的結合。

2018.6.11
完成了對pgsql部分快取程式碼的閱讀。
下面要進行的工作：

1、修改pgsql緩衝的替換演算法
2、測試修改後替換演算法的效能（主要是測試快取命中率的不同）
3、分析並比較MySQl和PgSQL的區別
4、寫簡歷並說明這個專案（快閃記憶體資料庫的研究）

修改pgsql緩衝的替換演算法，按照之前文件上寫的，修改緩衝區的LRU成為CF-LRU，CF-LRU的思想就是減少快閃記憶體的寫，儘可能的替換乾淨頁。
那麼就是在之前連結串列中，按照以下的法則尋找髒頁即可
1、設定乾淨頁區域，在乾淨頁區域中尋找乾淨頁，替換，如果整個區域都是髒頁，則替換LRU端的髒頁
2、如果在乾淨頁區域找到了乾淨頁，則直接替換乾淨頁即可。

修改的程式碼如下：

進行測試：
修改之後用benchmark的測試結果：

修改之前用benchmark的測試結果：

結果的分析

由於CFLRU考慮的是快閃記憶體讀寫代價不一致的問題，儘量去將髒資料儲存在緩衝中，這樣會導致一部分熱資料被當成乾淨頁替換下去，所以這種方法會在一定程度上降低緩衝命中率，但是同時大量減少了寫操作的次數，即降低了代價高的寫，快取區為命中就要去快閃記憶體上讀，增加了讀操作

所以這是一種以讀換寫的思想，整體的效果如下：

1.首先是最後的響應時間

相比LRU，300和450s，提升的效能為20%~33.3%。

2.從替換下去的寫操作

CCFLRU顯然是最少的

從快取的命中率看

快取命中率有所下降。