什麼是BookKeeper

BookKeeper是一個提供日誌條目流儲存持久化的服務框架。特別適合日誌流儲存，一個比較經典的應用是作為訊息佇列Pulsar的持久框架。

那麼BookKeeper是怎樣產生的呢？

這個靈感來源於Hadoop生態系統。我們知道，Haddop生態系統的檔案儲存是HDFS，HDFS包含一種節點叫做NameNode，用於記錄所有的操作，在宕機的時候可以通過這些記錄進行恢復。
基於NameNode，BookKeeper拓展了其功能，設計成了一個基於遞增儲存的儲存系統，主要用於：

• 高效寫
• 基於複製的高容錯（訊息在ensembles之間複製，這個概念之後會講）
• 高吞吐量寫

快速部署

我們這裡只為了部署一個除錯環境，並不是生產環境：
首先，拉下來BookKeeper的程式碼：

git clone https://github.com/apache/bookkeeper.git

之後，我們在conf目錄下可以看到：

conf
└─bk_cli_env.sh
└─bk_server.conf
└─bkenv.sh
└─jaas_example.conf
└─log4j.properties
└─log4j.cli.properties
└─log4j.shell.properties
└─nettyenv.sh
└─standalone.conf
└─zookeeper.conf
└─zookeeper.conf.dynamic
 

Bookeeper提供了本地啟動測試的類org.apache.bookkeeper.util.LocalBookKeeper，但是這個不太好除錯，我們想搞清楚實際BookKeeper的工作模式還有部署，最好做一個相對完整的本地環境出來

編譯程式碼，之後先在本地啟用一個ZooKeeper，這個直接下載最新版的，直接預設配置啟動即可（預設埠是2181）

之後，我們編寫三個不同Bookie（就是一個BookKeeper Server）的配置檔案，用於之後啟動：
Bookie1：

#############################################################################
## Server parameters
#############################################################################

bookiePort=3181
extraServerComponents=

#############################################################################
##  server settings
#############################################################################

httpServerEnabled=false
httpServerPort=8080
httpServerClass=org.apache.bookkeeper.http.vertx.VertxHttpServer

############################################## Bookie Storage ##############################################


#############################################################################
## Journal settings
#############################################################################

journalDirectories=d:/tmp1/bk-txn

#############################################################################
## Ledger storage settings
#############################################################################

ledgerDirectories=d:/tmp1/bk-data
indexDirectories=d:/tmp1/bk-data

############################################## Metadata Services ##############################################


#############################################################################
## Metadata Service settings
#############################################################################

metadataServiceUri=zk+hierarchical://localhost:2181/ledgers

#############################################################################
## ZooKeeper Metadata Service settings
#############################################################################

zkServers=localhost:2181
zkTimeout=10000
zkEnableSecurity=false

##################################################################
##################################################################
# Settings below are used by stream/table service
##################################################################
##################################################################

### Grpc Server ###
storageserver.grpc.port=4181

### Dlog Settings for table service ###

#### Replication Settings
dlog.bkcEnsembleSize=3
dlog.bkcWriteQuorumSize=2
dlog.bkcAckQuorumSize=2

### Storage ###

# local storage directories for storing table ranges data (e.g. rocksdb sst files)
storage.range.store.dirs=d:/tmp1/bookkeeper/ranges

# whether the storage server capable of serving readonly tables. default is false.
storage.serve.readonly.tables=false

# the cluster controller schedule interval, in milliseconds. default is 30 seconds.
storage.cluster.controller.schedule.interval.ms=30000

 

Bookie2：

#############################################################################
## Server parameters
#############################################################################

bookiePort=3182
extraServerComponents=

#############################################################################
##  server settings
#############################################################################

httpServerEnabled=false
httpServerPort=8081
httpServerClass=org.apache.bookkeeper.http.vertx.VertxHttpServer

############################################## Bookie Storage ##############################################


#############################################################################
## Journal settings
#############################################################################

journalDirectories=d:/tmp2/bk-txn

#############################################################################
## Ledger storage settings
#############################################################################

ledgerDirectories=d:/tmp2/bk-data
indexDirectories=d:/tmp2/bk-data

############################################## Metadata Services ##############################################


#############################################################################
## Metadata Service settings
#############################################################################

metadataServiceUri=zk+hierarchical://localhost:2181/ledgers

#############################################################################
## ZooKeeper Metadata Service settings
#############################################################################

zkServers=localhost:2181
zkTimeout=10000
zkEnableSecurity=false

##################################################################
##################################################################
# Settings below are used by stream/table service
##################################################################
##################################################################

### Grpc Server ###
storageserver.grpc.port=4182

### Dlog Settings for table service ###

#### Replication Settings
dlog.bkcEnsembleSize=3
dlog.bkcWriteQuorumSize=2
dlog.bkcAckQuorumSize=2

### Storage ###

# local storage directories for storing table ranges data (e.g. rocksdb sst files)
storage.range.store.dirs=d:/tmp2/bookkeeper/ranges

# whether the storage server capable of serving readonly tables. default is false.
storage.serve.readonly.tables=false

# the cluster controller schedule interval, in milliseconds. default is 30 seconds.
storage.cluster.controller.schedule.interval.ms=30000

Bookie3：

#############################################################################
## Server parameters
#############################################################################

bookiePort=3183
extraServerComponents=

#############################################################################
##  server settings
#############################################################################

httpServerEnabled=false
httpServerPort=8082
httpServerClass=org.apache.bookkeeper.http.vertx.VertxHttpServer

############################################## Bookie Storage ##############################################


#############################################################################
## Journal settings
#############################################################################

journalDirectories=d:/tmp3/bk-txn

#############################################################################
## Ledger storage settings
#############################################################################

ledgerDirectories=d:/tmp3/bk-data
indexDirectories=d:/tmp3/bk-data

############################################## Metadata Services ##############################################


#############################################################################
## Metadata Service settings
#############################################################################

metadataServiceUri=zk+hierarchical://localhost:2181/ledgers

#############################################################################
## ZooKeeper Metadata Service settings
#############################################################################

zkServers=localhost:2181
zkTimeout=10000
zkEnableSecurity=false

##################################################################
##################################################################
# Settings below are used by stream/table service
##################################################################
##################################################################

### Grpc Server ###
storageserver.grpc.port=4182

### Dlog Settings for table service ###

#### Replication Settings
dlog.bkcEnsembleSize=3
dlog.bkcWriteQuorumSize=2
dlog.bkcAckQuorumSize=2

### Storage ###

# local storage directories for storing table ranges data (e.g. rocksdb sst files)
storage.range.store.dirs=d:/tmp3/bookkeeper/ranges

# whether the storage server capable of serving readonly tables. default is false.
storage.serve.readonly.tables=false

# the cluster controller schedule interval, in milliseconds. default is 30 seconds.
storage.cluster.controller.schedule.interval.ms=30000

可以看到，這三個例項用的是同一個ZK，這樣他們就形成了叢集。
但是ZK中的原始元資料，需要手工初始化，這就用到了一個類：org.apache.bookkeeper.bookie.BookieShell
我們用任意一個配置檔案作為引數，即可完成初始化

我用的IDE是IDEA，這裡配置BookieShell執行初始化：

• 主類選擇org.apache.bookkeeper.bookie.BookieShell
• VM options填寫：-DentryFormatterClass=${ENTRY_FORMATTER_CLASS:-org.apache.bookkeeper.util.StringEntryFormatter}
• Program aruguments填寫：--conf ./conf/bk_server_1.conf metaformat
  

之後啟動，可以看到日誌：

2018-10-16 15:43:14,766 - INFO  - [main:[email protected]] - BookKeeper metadata driver manager initialized

然後，開始配置三個Bookie的啟動：

• 主類選擇org.apache.bookkeeper.server.Main
• Program aruguments填寫：--conf ./conf/bk_server_1.conf, 另外兩個分別填寫--conf ./conf/bk_server_2.conf和--conf ./conf/bk_server_3.conf

編寫配置好後，啟動三個Bookie（為何啟動三個，預設配置情況下，一個ledger至少要寫到兩個Bokkie中，Bookies需要選舉出最合適的，這個選舉演算法至少需要三個Bookie）：

2018-10-16 16:00:01,923 - INFO  - [main:[email protected]] - Using configuration file ./conf/bk_server_1.conf
2018-10-16 16:00:01,935 - INFO  - [main:[email protected]] - Hello, I'm your bookie, listening on port 3181. Metadata service uri is zk+hierarchical://localhost:2181/ledgers. Journals are in [d:/tmp1/bk-txn]. Ledgers are stored in d:/tmp1/bk-data.
2018-10-16 16:00:02,045 - INFO  - [main:[email protected]] - Load lifecycle component : org.apache.bookkeeper.server.service.StatsProviderService
2018-10-16 16:00:02,304 - INFO  - [main:[email protected]] - {
  "storage.cluster.controller.schedule.interval.ms" : "30000",
  "zkEnableSecurity" : "false",
  "dlog.bkcAckQuorumSize" : "2",
  "indexDirectories" : "d:/tmp1/bk-data",
  "zkServers" : "localhost:2181",
  "storage.range.store.dirs" : "d:/tmp1/bookkeeper/ranges",
  "httpServerPort" : "8080",
  "dlog.bkcWriteQuorumSize" : "2",
  "bookiePort" : "3181",
  "storage.serve.readonly.tables" : "false",
  "ledgerDirectories" : "d:/tmp1/bk-data",
  "zkTimeout" : "10000",
  "httpServerClass" : "org.apache.bookkeeper.http.vertx.VertxHttpServer",
  "httpServerEnabled" : "false",
  "metadataServiceUri" : "zk+hierarchical://localhost:2181/ledgers",
  "dlog.bkcEnsembleSize" : "3",
  "journalDirectories" : "d:/tmp1/bk-txn",
  "storageserver.grpc.port" : "4181",
  "extraServerComponents" : ""
}
2018-10-16 16:00:03,032 - INFO  - [main:[email protected]] - BookKeeper metadata driver manager initialized
2018-10-16 16:00:03,033 - INFO  - [main:[email protected]] - BookKeeper metadata driver manager initialized
2018-10-16 16:00:03,033 - INFO  - [main:[email protected]] - BookKeeper metadata driver manager initialized
2018-10-16 16:00:03,167 - INFO  - [main:[email protected]] - Stamping new cookies on all dirs [d:\tmp1\bk-txn\current] [d:\tmp1\bk-data\current, d:\tmp1\bk-data\current]
2018-10-16 16:00:03,368 - WARN  - [main:[email protected]] - Dirs: [d:\tmp1\bk-data\current, d:\tmp1\bk-data\current] are in same DiskPartition/FileSystem: (d:)
2018-10-16 16:00:03,373 - INFO  - [main:[email protected]] - instantiate ledger manager org.apache.bookkeeper.meta.HierarchicalLedgerManagerFactory
2018-10-16 16:00:03,415 - ERROR - [main:[email protected]] - Problems reading from d:\tmp1\bk-data\current\lastMark (this is okay if it is the first time starting this bookie
2018-10-16 16:00:03,420 - INFO  - [main:[email protected]] - Using ledger storage: org.apache.bookkeeper.bookie.SortedLedgerStorage
2018-10-16 16:00:03,500 - INFO  - [main:[email protected]] - openFileLimit = 20000
2018-10-16 16:00:03,539 - INFO  - [main:[email protected]] - maxDirectMemory = 259522560, pageSize = 8192, pageLimit = 10560
2018-10-16 16:00:03,594 - INFO  - [main:[email protected]] - Over Replicated Ledger Deletion : enabled=true, interval=86400000
2018-10-16 16:00:03,603 - INFO  - [main:[email protected]] - Minor Compaction : enabled=true, threshold=0.20000000298023224, interval=3600000
2018-10-16 16:00:03,603 - INFO  - [main:[email protected]] - Major Compaction : enabled=true, threshold=0.800000011920929, interval=86400000
2018-10-16 16:00:03,734 - INFO  - [main:[email protected]] - Load lifecycle component : org.apache.bookkeeper.server.service.BookieService
2018-10-16 16:00:03,748 - INFO  - [main:[email protected]] - Starting component bookie-server.
2018-10-16 16:00:03,753 - INFO  - [main:[email protected]] - Finished replaying journal in 3 ms.
2018-10-16 16:00:03,756 - INFO  - [SyncThread-7-1:[email protected]] - Flush ledger storage at checkpoint CheckpointList{checkpoints=[LogMark: logFileId - 0 , logFileOffset - 0]}.
2018-10-16 16:00:03,786 - INFO  - [main:[email protected]] - Finished reading journal, starting bookie
2018-10-16 16:00:03,787 - INFO  - [BookieJournal-3181:[email protected]] - Starting journal on d:\tmp1\bk-txn\current
2018-10-16 16:00:03,789 - INFO  - [ForceWriteThread:[email protected]] - ForceWrite Thread started
2018-10-16 16:00:03,828 - INFO  - [BookieJournal-3181:[email protected]] - Opening journal d:\tmp1\bk-txn\current\1667be392ce.txn
2018-10-16 16:00:04,078 - INFO  - [main:[email protected]] - Started component bookie-server.
2018-10-16 16:00:04,309 - INFO  - [BookieJournal-3181:[email protected]] - Unable to link C library. Native methods will be disabled.

之後我們簡單編寫個測試程式，來看下日誌寫入讀取效果：

public class TestClient {
    public static void main(String[] args) throws InterruptedException, BKException, IOException {
        BookKeeper bkc = new BookKeeper("localhost:2181");
        // A password for the new ledger
        byte[] ledgerPassword = "test".getBytes();

        // Create a new ledger and fetch its identifier
        LedgerHandle lh = bkc.createLedger(BookKeeper.DigestType.MAC, ledgerPassword);
        long ledgerId = lh.getId();

        // Create a buffer for four-byte entries
        ByteBuffer entry = ByteBuffer.allocate(4);

        int numberOfEntries = 10;

        // Add entries to the ledger, then close it
        for (int i = 0; i < numberOfEntries; i++) {
            entry.putInt(i);
            entry.position(0);
            lh.addEntry(entry.array());
        }
        lh.close();

        // Open the ledger for reading
        lh = bkc.openLedger(ledgerId, BookKeeper.DigestType.MAC, ledgerPassword);

        // Read all available entries
        Enumeration<LedgerEntry> entries = lh.readEntries(0, numberOfEntries - 1);

        while (entries.hasMoreElements()) {
            ByteBuffer result = ByteBuffer.wrap(entries.nextElement().getEntry());
            Integer retrEntry = result.getInt();

            // Print the integer stored in each entry
            System.out.println(String.format("Result: %s", retrEntry));
        }

        // Close the ledger and the client
        lh.close();
        bkc.close();
    }
}

執行，可以看到輸出：

Result: 0
Result: 1
Result: 2
Result: 3
Result: 4
Result: 5
Result: 6
Result: 7
Result: 8
Result: 9

BookKeeper基本概念

在BookKeeper中：

• 每一塊日誌是一個entry
• 日誌流被定義為ledgers
• 每個獨立的儲存ledges的伺服器叫做bookies

Entries

Entries包含真正的資料，其中也包含一些元資料：
每個entry有如下的fields：

Ledgers

Ledgers是BookKeeper中的基本儲存單元
Ledgers是一組Entries，每個Entry有序的並且至多一次寫入到Ledgers中。一旦寫入Ledgers，將不能再修改。所以，寫入保持有序寫入是客戶端應用應該考慮的事情。

Bookies 和 Ensemble

Bookie是一個獨立的BookKeeper伺服器,處理Ledgers片段（因為每個Bookie儲存的是每個Ledgers的片段，不是完整的Ledgers）。

一個Ensemble是一個Bookies集合，他們共同儲存著一個Ledger的所有entries。通常一個Ensemble是整個Bookies叢集的子集。

BookKeeper API簡介

BookKeeper的客戶端主要負責建立刪除ledgers，並且從ledgers中讀取entries。

BookKeeper提供兩種API，Ledger API還有DistributedLog API；顧名思義，Ledger API提供了直接與Ledger互動的介面，DistributedLog API不直接與ledger互動而是與Bookeeper叢集互動。

BookKeeper 元資料儲存

BookKeeper需要第三方儲存用於儲存關於ledgers的資訊還有可用的Bookies（相當於分散式協調）。
目前BookKeeper利用ZooKeeper實現元資料儲存