引言

這篇是《研發應該懂的binlog知識(上)》的下半部分。在本文，我會闡述一下binlog的結構，以及如何使用java來解析binlog。
不過，話說回來，其實嚴格意義上來說，研發應該還需要懂如何監聽binlog的變化。我本來也想寫這塊的知識，但是後來發現，這塊講起來篇幅過長，需要從mysql的通訊協議開始講起，實在是不適合放在這篇文章講，所以改天抽時間再寫一篇監聽binlog變化的文章。

說到這裏，大家可能有一個疑問:

研發為什麽要懂得如何解析binlog?

說句實在話，如果在實際項目中遇到，我確實推薦使用現成的jar包來解析，比如mysql-binlog-connector-java

什麽，你還沒碰到過解析binlog的需求？沒事，那先看著，就當學習一下，將來一定會遇到。

正文

先說一下，binlog的結構。
文件頭由一個四字節Magic Number構成，其值為1852400382，在內存中就是"0xfe,0x62,0x69,0x6e"。這個Magic Number

java裏頭的class文件，頭四個字節的Magic Number是多少？
回答："0xCAFEBABE。"這個數字可能比較難記，記(咖啡寶貝)就好。

下面寫個程序，讀一份binlog文件，給大家binlog看看頭四個字節是否為"0xfe,0x62,0x69,0x6e"，代碼如下

public class MagicParser {
    
    public static final byte[] MAGIC_HEADER = new byte[]{(byte) 0xfe, (byte) 0x62, (byte) 0x69, (byte) 0x6e};
    
    public static void main(String[] args)throws Exception {
        String filePath = "D:\\mysql-bin.000001";
        File binlogFile = new File(filePath);
        ByteArrayInputStream inputStream = null;
        inputStream = new ByteArrayInputStream(new FileInputStream(binlogFile));
        byte[] magicHeader = inputStream.read(4);
        System.out.println("魔數\\xfe\\x62\\x69\\x6e是否正確:"+Arrays.equals(MAGIC_HEADER, magicHeader));
    }
}
 

輸出如下

魔數\xfe\x62\x69\x6e是否正確:true

在文件頭之後，跟隨的是一個一個事件依次排列。在《binlog二進制文件解析》一文中，將其分為三個部分:通用事件頭（common-header）、私有事件頭（post-header）和事件體（event-body）。本文修改了一下，只用兩個Java類來修飾binlog中的事件，即EventHeader和EventData。可以理解為下述的對應關系：

EventHeader --> 通用事件頭（common-header)
EventData ---> 私有事件頭（post-header）和事件體（event-body）

於是，你們可以把Binlog的文件結構像下面這麽理解

說一下這個Checksum,在獲取event內容的時候，會增加4個額外字節做校驗用。mysql5.6.5以後的版本中binlog_checksum=crc32,而低版本都是binlog_checksum=none。如果不想校驗，可以使用set命令設置set binlog_checksum=none。說得再通俗一點，Checksum要麽為4個字節，要麽為0個字節。

下面說一下通用事件頭的結構，如下所示

從上表可以看出，EventHeader固定為19個字節，為此我們構造下面的類，來解析這個通用事件頭

public class EventHeader {
    private long timestamp;
    private int eventType;
    private long serverId;
    private long eventLength;
    private long nextPosition;
    private int flags;
    //省略setter和getter方法
    @Override
    public String toString() {
        final StringBuilder sb = new StringBuilder();
        sb.append("EventHeader");
        sb.append("{timestamp=").append(timestamp);
        sb.append(", eventType=").append(eventType);
        sb.append(", serverId=").append(serverId);
        sb.append(", eventLength=").append(eventLength);
        sb.append(", nextPosition=").append(nextPosition);
        sb.append(", flags=").append(flags);
        sb.append('}');
        return sb.toString();
    }
}

OK，接下來，我們來一段代碼試著解析一下第一個事件的EventHeader,代碼如下所示

public class HeaderParser {
    
    public static final byte[] MAGIC_HEADER = new byte[]{(byte) 0xfe, (byte) 0x62, (byte) 0x69, (byte) 0x6e};
    
    public static void main(String[] args)throws Exception {
        String filePath = "D:\\mysql-bin.000001";
        File binlogFile = new File(filePath);
        ByteArrayInputStream inputStream = null;
        inputStream = new ByteArrayInputStream(new FileInputStream(binlogFile));
        byte[] magicHeader = inputStream.read(4);
        if(!Arrays.equals(MAGIC_HEADER, magicHeader)){
            throw new RuntimeException("binlog文件格式不對");
        }
        EventHeader eventHeader = new EventHeader();
        eventHeader.setTimestamp(inputStream.readLong(4) * 1000L);
        eventHeader.setEventType(inputStream.readInteger(1));
        eventHeader.setServerId(inputStream.readLong(4));
        eventHeader.setEventLength(inputStream.readLong(4));
        eventHeader.setNextPosition(inputStream.readLong(4));
        eventHeader.setFlags(inputStream.readInteger(2));       
        System.out.println(eventHeader);
        
    }
}

輸出如下

EventHeader{timestamp=1536487335000, eventType=15, serverId=1, eventLength=119, nextPosition=123, flags=1}

註意看，兩個參數

eventLength=119
nextPosition=123

下一個事件從123字節開始。這是怎麽算的呢，當前事件長度是是119字節，算上最開始4個字節的魔數占位符，那麽下一個事件自然是,119+4=123，從123字節開始。再強調一次，這個119字節，是包含EventHeader,EventData,Checksum,三個部分的長度為119。
最重要的一個參數

eventType=15

我們去下面的地址
https://dev.mysql.com/doc/internals/en/binlog-event-type.html
查詢一下，15對應的事件類型為FORMAT_DESCRIPTION_EVENT。我們接下來，需要知道FORMAT_DESCRIPTION_EVENT所對應EventData的結構。在下面的地址
https://dev.mysql.com/doc/internals/en/format-description-event.html
查詢得到EventData的結構對應如下表所示

ps:這個n其實我們可以推算出，為39。事件長度為119字節，減去事件頭19字節，減去末位的4字節(末位四個字節循環校驗碼)，減去2個字節的binlog版本，減去50個字節的服務器版本號，減去4個字節的時間戳，減去1個字節的事件頭長度。得到如下算式
\[119-19-4-2-50-4-1=39\]
不過，我們還是假裝不知道n是多少吧。

根據上表結構 ，我們給出一個JAVA類如下所示

public class FormatDescriptionEventData {
    private int binlogVersion;
    private String serverVersion;
    private long timestamp;
    private int headerLength;
    private List headerArrays = new ArrayList<Integer>();
    //省略setter和getter方法
    @Override
    public String toString() {
        final StringBuilder sb = new StringBuilder();
        sb.append("FormatDescriptionEventData");
        sb.append("{binlogVersion=").append(binlogVersion);
        sb.append(", serverVersion=").append(serverVersion);
        sb.append(", timestamp=").append(timestamp);
        sb.append(", headerLength=").append(headerLength);
        sb.append(", headerArrays=").append(headerArrays);
        sb.append('}');
        return sb.toString();
    }   
}

那如何解析呢，如下所示

public class HeaderParser {

    public static final byte[] MAGIC_HEADER = new byte[] { (byte) 0xfe,
            (byte) 0x62, (byte) 0x69, (byte) 0x6e };

    public static void main(String[] args) throws Exception {
        String filePath = "D:\\mysql-bin.000001";
        File binlogFile = new File(filePath);
        ByteArrayInputStream inputStream = null;
        inputStream = new ByteArrayInputStream(new FileInputStream(binlogFile));
        byte[] magicHeader = inputStream.read(4);
        if (!Arrays.equals(MAGIC_HEADER, magicHeader)) {
            throw new RuntimeException("binlog文件格式不對");
        }
        EventHeader eventHeader = new EventHeader();
        eventHeader.setTimestamp(inputStream.readLong(4) * 1000L);
        eventHeader.setEventType(inputStream.readInteger(1));
        eventHeader.setServerId(inputStream.readLong(4));
        eventHeader.setEventLength(inputStream.readLong(4));
        eventHeader.setNextPosition(inputStream.readLong(4));
        eventHeader.setFlags(inputStream.readInteger(2));
        System.out.println(eventHeader);
        inputStream.enterBlock((int) (eventHeader.getEventLength() - 19 - 4));
        FormatDescriptionEventData descriptionEventData = new FormatDescriptionEventData();
        descriptionEventData.setBinlogVersion(inputStream.readInteger(2));
        descriptionEventData.setServerVersion(inputStream.readString(50).trim());
        descriptionEventData.setTimestamp(inputStream.readLong(4) * 1000L);
        descriptionEventData.setHeaderLength(inputStream.readInteger(1));
        int sums = inputStream.available();
        for (int i = 0; i < sums; i++) {
            descriptionEventData.getHeaderArrays().add(inputStream.readInteger(1));
        }
        System.out.println(descriptionEventData);
    }
}

至於輸出，就不給大家看了，沒啥意思。大家看headerArrays的值即可，如下所示

headerArrays=[56, 13, 0, 8, 0, 18, 0, 4, 4, 4, 4, 18, 0, 0, 95, 0, 4, 26, 8, 0, 0, 0, 8, 8, 8, 2, 0, 0, 0, 10, 10, 10, 42, 42, 0, 18, 52, 0, 1]

其實他所輸出的值，可以在地址
https://dev.mysql.com/doc/internals/en/format-description-event.html
查詢到，該頁有一個表格如下所示，其中我紅圈的地方，就是私有事件頭的長度，即

總結

關於其他事件的結構體，大家可以自行去網站查詢，解析原理都是一樣的。

【原創】研發應該懂的binlog知識(下)