2. 程式人生 > >mysql小白系列_04 datablock

mysql小白系列_04 datablock

阿新 • • 發佈：2018-02-13
clas 部分 div text字段 b- 都是 intern -- .html

1.為什麽創建一個InnoDB表只分配了96K而不是1M？

2.解析第2行記錄格式？(用下面的表定義和數據做測試)

技術分享圖片 
mysql> create table gyj_t3 (id int,name1 varchar(10),name2 varchar(10),name3 varchar(10),name4 varchar(10),name5 varchar(10));
Query OK, 0 rows affected (0.11 sec)

mysql> insert into gyj_t3 (id,name1,name2,name3,name4) values(1,‘A‘,‘BB‘,‘CCC
 
‘,‘DDDD‘);
Query OK, 1 row affected (0.03 sec)

mysql> insert into gyj_t3 values(3,‘aaaaaaaaaa‘,‘bbbbbbbbbb‘,‘ccccc‘,‘dddddd‘,‘e‘);
Query OK, 1 row affected (0.06 sec)

mysql> commit;
Query OK, 0 rows affected (0.00 sec)

mysql> insert into gyj_t3 values(4,‘aaaaaaaaaa‘,‘bbbbbbbbbb‘,null,‘dddddd‘,‘e
 
‘);
Query OK, 1 row affected (0.05 sec)

mysql> commit;
Query OK, 0 rows affected (0.00 sec)

mysql> SELECT * FROM gyj_t3;
+------+------------+------------+-------+--------+-------+
| id   | name1      | name2      | name3 | name4  | name5 |
+------+------------+------------+-------+--------+-------+
|    1
 
 | A          | BB         | CCC   | DDDD   | NULL  |
|    1 | aaaaaaaaaa | bbbbbbbbbb | ccccc |        | NULL  |
|    3 | aaaaaaaaaa | bbbbbbbbbb | ccccc | dddddd | e     |
|    4 | aaaaaaaaaa | bbbbbbbbbb | NULL  | dddddd | e     |
+------+------------+------------+-------+--------+-------+
數據

3.詳細描述commit命令發出後，binlog日誌從內存寫到磁盤的過程序？

1.為什麽創建一個InnoDB表只分配了96K而不是1M？

  • innodb在給數據分配存儲空間時，首先給32個的不連續的page

一個extent區是1M

  • 如果32個page不夠用，再分配一段連續的64個page，也就是16384*64=1M，此後每次分配空間都是1M的整數倍
  • 目的：
    • 節省空間
    • 小的undo 32個 page就夠了

問題：linux下查看一個ibd文件，大小是96K，也就是6個頁，那麽32個頁不是一次性給完而是用多少給多少？

-rw-rw----. 1 mysql mysql 8.6K Feb 12 08:38 t3.frm
-rw-rw----. 1 mysql mysql  96K Feb 12 08:38 t3.ibd

32個page是524288字節,差不多是512KB，插入數據使文件達到500多kb時，下一次增長為1M的整數倍

2.解析第2行記錄格式？(用下面的表定義和數據做測試)

+------+------------+------------+-------+--------+-------+
| id   | name1      | name2      | name3 | name4  | name5 |
+------+------------+------------+-------+--------+-------+
|    1 | A          | BB         | CCC   | DDDD   | NULL  |
|    1 | aaaaaaaaaa | bbbbbbbbbb | ccccc |        | NULL  |
|    4 | aaaaaaaaaa | bbbbbbbbbb | ccccc | dddddd | e     |
|    4 | aaaaaaaaaa | bbbbbbbbbb | NULL  | dddddd | e     |
+------+------------+------------+-------+--------+-------+

create table t3 (id int,name1 varchar(10),name2 varchar(10),name3 varchar(10),name4 varchar(10),name5 varchar(10));
insert into t3 (id,name1,name2,name3,name4) values(1,‘A‘,‘BB‘,‘CCC‘,‘DDDD‘);
insert into t3 (id,name1,name2,name3,name4) values(1,‘aaaaaaaaaa‘,‘bbbbbbbbbb‘,‘ccccc‘,‘‘);
insert into t3 (id,name1,name2,name3,name4,name5) values(4,‘aaaaaaaaaa‘,‘bbbbbbbbbb‘,‘ccccc‘,‘dddddd‘,‘e‘);
insert into t3 (id,name1,name2,name4,name5) values(4,‘aaaaaaaaaa‘,‘bbbbbbbbbb‘,‘dddddd‘,‘e‘);


技術分享圖片
  • NULL不占空間
  • ‘‘也不占空間

問題：NULL如何標誌哪些列是NULL的？

《MySQL技術內幕InnoDB存儲引擎》106頁及網上大部分都是提了一下，參考http://blog.csdn.net/linux_ever/article/details/64124868

第三行有NULL值，因為NULL標誌位不再是00而是06，轉換成二進制00000110,為1的值表示第2列和第3列的數據為NULL。其後存儲列數據的部分，沒有存儲NULL列，而只存儲了第1列和第4列的非NULL的值

*************************** 3. row ***************************
t1: d
t2: NULL
t3: NULL
t4: fff
3 rows in set (0.00 sec)

這裏的第2和第3列為NULL，NULL標誌位為06，二進制是00000110，是怎麽算出來2、3列的？

本次作業的第1、2行數據第5列為NULL，標誌位是20，二進制是00100000
第4行數據第4列為NULL，標誌位是08，二進制是00001000

技術分享圖片

int長度是4字節，其他可變長name長度是10字節，用多少長多少
https://www.cnblogs.com/wade-luffy/p/6289183.html
http://blog.csdn.net/beiigang/article/details/42175995

ibd文件格式如下
內容16進制地址
File Space Header 0x0008
Insert Buffer Bitmap 0x0005
File Segment Inode 0x0003
Used Page 0x45BF
…… 第N-4個塊
Used Page 第N-3個塊
Free Page 第N-2個塊
…… 第N-2個塊
Free Page 第N-2個塊

https://dev.mysql.com/doc/internals/en/innodb-page-overview.html
https://www.cnblogs.com/crossapply/p/5455620.html

行記錄格式
  • compressed 壓縮頁，默認16K，可以壓縮成8K、4: alter table tabname row_format=compressed,key_block_size=8;
  • Dynamic 存儲LOB/TEXT字段，由20字節+偏移量組成，本身不存儲數據，偏移量指向數據
  • Compact 默認行記錄格式，超出行記錄長度時，由前綴768字節+偏移量組成，本身存儲部分數據，偏移量指向數據
  • Redundant 廢棄
獲取ibd十六進制文本
技術分享圖片 
hexdump -C -v t3.ibd > /tmp/t3.ibd.txt

[root@docker01 tmp]# cat t3.ibd.txt |head -n 2
00000000  24 0a 12 cf 00 00 00 00  00 00 00 00 00 00 00 00  |$...............|
00000010  00 00 00 00 00 1a 25 e3  00 08 00 00 00 00 00 00  |......%.........|
[root@docker01 tmp]# cat t3.ibd.txt |head -n 2048| tail -n 1024 |head -n 2
00004000  99 5f 47 61 00 00 00 01  00 00 00 00 00 00 00 00  |._Ga............|
00004010  00 00 00 00 00 1a 16 27  00 05 00 00 00 00 00 00  |.......‘........|
[root@docker01 tmp]# cat t3.ibd.txt |head -n 3072| tail -n 1024 |head -n 2     
00008000  c2 25 6e 67 00 00 00 02  00 00 00 00 00 00 00 00  |.%ng............|
00008010  00 00 00 00 00 1a 25 e3  00 03 00 00 00 00 00 00  |......%.........|
[root@docker01 tmp]# cat t3.ibd.txt |head -n 4096| tail -n 1024 |head -n 2    
0000c000  48 81 1b 2c 00 00 00 03  ff ff ff ff ff ff ff ff  |H..,............|
0000c010  00 00 00 00 00 1a 3e 2e  45 bf 00 00 00 00 00 00  |......>.E.......|
截取第4頁

0000c000  48 81 1b 2c 00 00 00 03  ff ff ff ff ff ff ff ff  |H..,............|
0000c010  00 00 00 00 00 1a 3e 2e  45 bf 00 00 00 00 00 00  |......>.E.......|
0000c020  00 00 00 00 00 0d 00 02  01 5b 80 06 00 00 00 00  |.........[......|
0000c030  01 29 00 02 00 03 00 04  00 00 00 00 00 00 00 00  |.)..............|
0000c040  00 00 00 00 00 00 00 00  00 1b 00 00 00 0d 00 00  |................|
0000c050  00 02 00 f2 00 00 00 0d  00 00 00 02 00 32 01 00  |.............2..|
0000c060  02 00 1f 69 6e 66 69 6d  75 6d 00 05 00 0b 00 00  |...infimum......|
0000c070  73 75 70 72 65 6d 75 6d  04 03 02 01 20 00 00 10  |supremum.... ...|
0000c080  00 2b 00 00 00 00 03 10  00 00 00 00 0b 52 b7 00  |.+...........R..|
0000c090  00 01 6b 01 10 80 00 00  01 41 42 42 43 43 43 44  |..k......ABBCCCD|
0000c0a0  44 44 44 00 05 0a 0a 20  00 00 18 00 3b 00 00 00  |DDD.... ....;...|
0000c0b0  00 03 11 00 00 00 00 0b  52 b7 00 00 01 6b 01 1e  |........R....k..|
0000c0c0  80 00 00 01 61 61 61 61  61 61 61 61 61 61 62 62  |....aaaaaaaaaabb|
0000c0d0  62 62 62 62 62 62 62 62  63 63 63 63 63 01 06 05  |bbbbbbbbccccc...|
0000c0e0  0a 0a 00 00 00 20 00 41  00 00 00 00 03 12 00 00  |..... .A........|
0000c0f0  00 00 0b 52 b7 00 00 01  6b 01 2c 80 00 00 04 61  |...R....k.,....a|
0000c100  61 61 61 61 61 61 61 61  61 62 62 62 62 62 62 62  |aaaaaaaaabbbbbbb|
0000c110  62 62 62 63 63 63 63 63  64 64 64 64 64 64 65 01  |bbbcccccdddddde.|
0000c120  06 0a 0a 08 00 00 28 ff  47 00 00 00 00 03 13 00  |......(.G.......|
0000c130  00 00 00 0b 52 b7 00 00  01 6b 01 3a 80 00 00 04  |....R....k.:....|
0000c140  61 61 61 61 61 61 61 61  61 61 62 62 62 62 62 62  |aaaaaaaaaabbbbbb|
0000c150  62 62 62 62 64 64 64 64  64 64 65 00 00 00 00 00  |bbbbdddddde.....|
.....
0000fff0  00 00 00 00 00 70 00 63  8b 8a 26 91 00 1a 3e 2e  |.....p.c..&...>.|
hexdump

3.詳細描述commit命令發出後，binlog日誌從內存寫到磁盤的過程序？

  • 先做write操作
    • 日誌會被write到每個線程對應的文件句柄的緩存中，也就是標準的IO緩存中
    • 每個線程會緩存到自己的IO緩存中，每個線程產生的日誌其他線程是不可見的

此時發生宕機，日誌丟失，臟塊丟失

  • 再做flush操作
    • 將私有緩存中的日誌寫到公共可見的操作系統文件緩存，此時不同線程都可以看到其他線程的日誌內容

此時宕機，依然丟失數據

  • 最後做sync持久化
    • 將日誌從內存中寫到硬盤

sync_binlog 1 多少次事務一起寫binlog
innodb_flush_log_at_trx_commit 1 寫redolog

索引：

  • 主鍵索引
  • 非空唯一索引
  • 都沒有的話走6字節的rowid，但是不能作為where過濾條件

index organized table索引組織表：數據就在葉子節點上，檢索數據不需要回行

回行，先找到索引所在位置，根據索引再一次找到數據 二級索引、輔助索引，葉子節點只存儲索引信息，葉子上帶著的信息指向數據所在的主鍵索引的位置

innodb邏輯存儲結構： tablespace - segement - extent - page - row

表空間是否獨立 innodb_file_per_table，默認為ON
如果是獨立表空間，一張表一個表空間
如果是off，就全部放在ibdata1裏面了
查看表ID ,0 代表的是系統表空間 select * from innodb_sys_tables

  • tablespace指的是共享表空間ibdata1，存儲的是undo、插入緩沖索引頁、系統事務、double write buffer，因為寫undo原因，大小隨時變化

  • ib_logfile，每個表自己的空間：數據（跟主鍵索引一起存放）、輔助索引、插入緩存bitmap

  • 插入緩沖

    • 主鍵索引和數據放在一起，其他索引放在索引頁
    • 往輔助索引頁寫東西時，每個被寫入的頁先放在buffer存著
    • 一旦有需要被寫入的索引頁讀入了內存，這是把buffer裏存著的東西一起寫進去

  • segement 段

    • 段等於表，段是數據的物理存儲形式，表是數據的邏輯定義
    • 數據段，聚簇索引，數據段在B-tree的葉子結點
    • 索引段，非葉子結點就是索引

  • extent 區

    • 一個extent是1M，是分配空間的最小單位
    • 1M由64個連續的page組成，一個page是16K
    • innodb為保證extent連續，一次申請多個
    • 一個extent由多個page組成

  • page 頁，類似存儲塊大小

    • 最小的IO單位
    • page默認大小是16K innodb_page_size = 16384
  • ROW 行
  • 事務ID、回滾指針、數據、索引

innodb文件結構
表的組成：

  • tabname.ibd 表數據
  • File Space Header
  • tabname.frm 表結構

hexdump -C -v tabname.ibd 一個page 16K，16進制一行有16個字節，那麽一個page就有1024行 查看第一個塊
hexdump -C -v tabname.ibd |head -n 1024 | head -n 2
2塊
hexdump -C -v tabname.ibd |head -n 2048 |tail -n 1024
3塊
hexdump -C -v tabname.ibd |head -n 3072 |tail -n 1024

mysql小白系列_04 datablock

相關推薦

mysql小白系列_04 datablock

clas 部分 div text字段 b- 都是 intern -- .html 1.為什麽創建一個InnoDB表只分配了96K而不是1M？ 2.解析第2行記錄格式？(用下面的表定義和數據做測試) mysql> create table gyj_t3 (id in

mysql小白系列_06 備份與恢復

pie article latency put pty nts variable roo unix 1.使用mydumper工具全庫備份。 1)源碼編譯安裝 2)全庫備份 2.誤操作truncate table gyj_t1;利用mysqldump的備份和binl

mysql小白系列_09 mysql性能優化關鍵點

gre iss flags sch detect perm max into ssd 一 服務器參數調優，有哪些關鍵點？ 1. 應用訪問優化 優化方法 性能提升效果 優化成本 說明 減少數據訪問能不訪問就不訪問-減少磁盤IO 1~1000 低 緩存服務器緩存m

mysql小白系列_12 sysbench

機器 測試 混合 onf blog 數據 and down proc 壓測 1.查看機器負載load top - load average 1m 5m 15m cat /proc/loadavg 與CPU個數有關，1個load表示1個CPUcat /proc/cpuinf

mysql小白系列_13 Online DDL

ike 4.2 .info roc 遍歷 rim 創建 root prim Online DDL： 一.FIC之前的添加刪除二級索引： 1.首先創建臨時表，定義目標新表的選項和索引 2.逐行拷貝數據到臨時表 3.插入行時更新索引信息 4.數據全部被拷貝到新表後，刪除舊表，

MySQL基礎操作語法（小白系列）

Mysql基礎操作語法： 以下是我本人看一些視訊自學總結的一些關於資料庫的一些最最基本操作語法，並附上操作截圖以便於理解，都是舉例，沒有貼具體的語法，以便於大家理解，小白系列，請諸位同為菜鳥的小白遷就著看一下，相信對於新手系列還是有一定幫助的。 show database

mysql小白練手

mysqlmysql小白訓練素材，建庫建表，增刪改查，多敲多練。mysql> show databases;mysql> create database python3 charset=utf8;Query OK, 1 row affected (0.00 sec) mysql> show

mysql小白入門

當前 man 倉庫 數據庫名 erro 參考 改密 讓其 結構化查詢語言 mysql簡介 1、什麽是數據庫 ？ 數據庫（Database）是按照數據結構來組織、存儲和管理數據的倉庫，它產生於距今六十多年前，隨著信息技術和市場的發展，特別是二十世紀九十年代以後，數據管

JAVA小白系列之第二個分支：面向物件程式設計

想必剛入門的小白總是搞不清楚面向物件和麵向過程這兩個概念，雖然我在前面有所提及，但是都是泛泛而談，也有各種語言融入進去，不理解的會越來越暈，那麼，這節我就專門來講講什麼是JAVA的面向物件。 面向過程和麵向物件回顧 不記得概念的可以具體看看之前的文章，這裡僅做簡單的回顧： 面向過程 關注於流

大資料小白系列——HDFS(1)

【注1：結尾有大福利！】 【注2：想寫一個大資料小白系列，介紹大資料生態系統中的主要成員，理解其原理，明白其用途，萬一有用呢，對不對。】    大資料是什麼？拋開那些高大上但籠統的說法，其實大資料說的是兩件事：一、怎麼儲存大資料，二、怎麼計算大資料。 我們先從儲存開始說，如果清

mysql小白之旅——進階篇2——儲存過程、事件、觸發器、事務、分散式事務

14.儲存過程的寫法 1）定義條件和處理 --CONDITION --HANDLER 2）游標 CURSOR --DECLARE --OPEN --FETCH --CLOSE 3）流程控制 --IF語句 --CASE語句 --LOOP語句 --LEAVE語句  相當於br

大資料小白系列——HDFS(2)

這裡是大資料小白系列，這是本系列的第二篇，介紹一下HDFS中SecondaryNameNode、單點失敗（SPOF）、以及高可用（HA）等概念。   上一篇我們說到了大資料、分散式儲存，以及HDFS中的一些基本概念，為了能更好的理解後續介紹的內容，這裡先補充介紹一下NameNode到底是怎麼儲存

JAVA小白系列之第五個分支：LinkedList容器深入分析一

上一節我們瀏覽了ArrayList容器，來總結一下？ 儲存資料的為一個名叫做elementData的陣列預設容量為10 擴容大小為原容量的一半即originSize+originSize>>2的大小 擴容方式為建立新的陣列並且通過陣列的複製來完成擴容 刪除

大資料小白系列——HDFS(3)

這裡是大資料小白系列，這是本系列的第三篇，介紹HDFS中NameNode選舉，JournalNode等概念。 上一期我們說到了為解決NameNode(下稱NN)單點失敗問題，HDFS中使用了雙NN的機制，一個Active NN，一個Standby NN。   現實常常是，解決一個問題的同時，免

大資料小白系列——HDFS(4)

這裡是大資料小白系列，這是本系列的第四篇，來看一個真實世界Hadoop叢集的規模，以及我們為什麼需要Hadoop Federation。   首先，我們先要來個直觀的印象，這是你以為的Hadoop叢集： 這是真實世界的Hadoop叢集： 因為，NameNode(下稱NN)中的元資料記

大資料小白系列——MR(1)

 一部程式設計發展史就是一部程式設計師偷懶史，MapReduce(下稱MR)同樣是程式設計師們用來偷懶的工具。 來了一份大資料，我們寫了一個程式準備分析它，需要怎麼做？ 老式的處理方法不行，資料量太大時，所需的時間無法忍受，所以，必須平行計算。好比1000塊磚，1個人搬需要1小時，10個人同時搬

struts2註解&struts404錯誤---【小白系列】0基礎到熟練應用struts2框架(七)

註解就是對xml的代替，採用註解的方式會加快開發速度。但是在實際開發中我們使用註解+xml的方式，因為xml中有些東西，註解無法替代。 註解開發一共分為兩步 1.匯入jar包 匯入struts-con

STM32F1小白系列之四、獨立看門狗（IWDG）

一、看門狗原理 1、微控制器中有一個【暫存器（計數器）】專門用來倒計數，這個計數器倒計數是獨立於程式之外的，不受程式影響的。（程式是井，計數器是河，井水不犯河水，你跑你的程式，我記我的數，互不影響。） 2、但是： 這個【計數器】會有一個初值，這個值會逐次遞

mysql小白→高手

mysql資料庫 官方網站：https://dev.mysql.com； MySQL 是最流行的關係型資料庫管理系統，在 WE

《小白滴滴系列》-線程和進程（小白學習，內容均參考網絡資料）

多個 系統 資料 搶占式 線程 並發 強制 資源 資源分配 1、進程就是操作系統將資源分配成一塊一塊的內存 2、線程就是在進程中運行的多個程序 3、線程是程序運行的最小單位，而進程則是分配資源的最小單位。 4、一個進程可以有多個線程 5、任務調度：采取時間片輪轉搶占式執行，