2. 程式人生 > >MariaDB數據庫日誌

MariaDB數據庫日誌

阿新 • • 發佈：2018-10-12
順序 from auto sin 查看 獨立 導致 滾動 datetime

  在日常生產中，各種服務應用的日誌的主要作用就是記錄服務的運行狀態、啟動記錄等信息，但數據庫的日誌對於數據庫而言是很重要的。數據庫日誌分為：事務、中繼、錯誤、通用、慢查詢和二進制日誌，其中每種日誌都有其特定的功能。通過日誌分析，我們可以很快的找出服務器的性能瓶頸，優化數據庫的性能。

一.事務日誌

  事務使得數據庫在實現MVCC(多版本並發控制)的同時也保證了數據的一致性、唯一性，MariaDB默認的存儲引擎支持事務功能。在數據庫中，單條的SELECT、UPDATE、DELETE都是一個獨立的事務，系統在執行完命令後默認自動提交。
  因此在我們執行mysql語句的時候，數據庫會先把對數據的修改結果先寫到事務日誌中，待COMMIT後再寫到數據庫的磁盤文件中。

1.事務日誌的特點

事務日誌的寫入類型為“追加”，因此其操作為“順序IO”；通常也被稱為：預寫式日誌 write ahead logging
事務日誌建議放在一個獨立分區內，事務是順序寫入，所以獨立分區可以提升其寫入性能
日誌文件名稱： ib_logfile0， ib_logfile1

2.Innodb事務日誌相關配置：

show variables like ‘%innodb_log%‘;               查看事務日誌變量
innodb_log_file_size 5242880                           每個日誌文件大小，反復輪流覆蓋，不永久保留。
innodb_log_files_in_group 2                              日誌組成員個數
innodb_log_group_home_dir ./                          事務文件路徑，和數據文件分開放，提升數據庫性能

二.中繼日誌：relay log

主從復制架構中，從服務器用於保存從主服務器的二進制日誌中讀取的事件

三.錯誤日誌記錄數據庫運行中出現的各種錯誤

  記錄數據庫運行中出現的各種錯誤

1.錯誤日誌的特點

log-error 配置文件
mysqld啟動和關閉過程中輸出的事件信息
mysqld運行中產生的錯誤信息
event scheduler運行一個event時產生的日誌信息
在主從復制架構中的從服務器上啟動從服務器線程時產生的信息

2.錯誤日誌配置

   SHOW GLOBAL VARIABLES LIKE ‘log_error‘  查看和數據庫運行錯誤信息

錯誤文件路徑：

    log_error=/PATH/TO/LOG_ERROR_FILE    

是否記錄警告信息至錯誤日誌文件

    log_warnings=1|0 默認值1

3.通用日誌

  記錄對數據庫的通用操作，包括錯誤的SQL語句 

通用日誌相關設置

    general_log=ON|OFF  默認OFF，因為通用記錄太多影響數據庫性能，排錯的時候可以用。
    general_log_file=HOSTNAME.log  通用日誌路徑
    log_output=TABLE|FILE|NONE     管理通用日誌文件格式

四.慢查詢日誌

慢查詢日誌：記錄執行查詢時長超出指定時長的操作 據此優化數據庫性能

slow_query_log=ON|OFF   開啟或關閉慢查詢，開啟以後占用系統資源，所以默認關閉
long_query_time=N   慢查詢的閥值，單位秒，可以自行修改
slow_query_log_file=HOSTNAME-slow.log   慢查詢日誌文件

log_slow_filter = admin,filesort,filesort_on_disk,full_join,full_scan,query_cache,query_cache_miss,tmp_table,tmp_table_on_disk  
上述查詢類型且查詢時長超過long_query_time，則記錄日誌

log_queries_not_using_indexes=ON 不使用索引或使用全索引掃描，不論是否達到慢查詢閥值的語句是否記錄日誌，默認OFF，即不記錄
log_slow_rate_limit = 1 多少次查詢才記錄，mariadb特有
log_slow_verbosity= Query_plan,explain 記錄內容
log_slow_queries = OFF 同slow_query_log 新版已廢棄

五.二進制日誌

1.二進制日誌的特點

記錄導致數據改變或潛在導致數據改變的SQL語句
記錄已提交的日誌
不依賴於存儲引擎類型
功能：通過“重放”日誌文件中的事件來生成數據副本  恢復數據庫
不斷累加的，不會覆蓋。而事務日誌是會被覆蓋的
二進制日誌甚至比數據庫文件重要，但二進制日誌不記錄初始狀態。
註意：建議二進制日誌和數據文件分開存放 避免因為硬件損壞而導致兩個文件都被損壞

2.二進制日誌記錄格式

  • 二進制日誌記錄三種格式

    基於“語句”記錄：statement，記錄語句，默認模式
基於“行”記錄：row，記錄數據，日誌量較大
混合模式：mixed, 讓系統自行判定該基於哪種方式進行

  • 格式配置

    show variables like ‘binlog_format‘;

3.二進制日誌文件的構成

日誌文件：mysql|mariadb-bin.文件名後綴，二進制格式
    如： mariadb-bin.000001
索引文件：mysql|mariadb-bin.index，文本格式

4.二進制日誌相關的服務器變量：

sql_log_bin=ON|OFF：是否記錄二進制日誌，默認ON，可以直接動態更改的
log_bin=/PATH/BIN_LOG_FILE：指定文件位置；默認OFF，表示不啟用二進制日誌功能，上述兩項都開啟才可以，重啟服務才能生效
binlog_format=STATEMENT|ROW|MIXED：二進制日誌記錄的格式，默認STATEMENT
max_binlog_size=1073741824：單個二進制日誌文件的最大體積，到達最大值會自動滾動，默認為1G
說明：文件達到上限時的大小未必為指定的精確值
sync_binlog=1|0：設定是否啟動二進制日誌即時同步磁盤功能，默認0，由操作系統負責同步日誌到磁盤。1 由mysql自己決定，日誌一變化就寫。 
expire_logs_days=N：二進制日誌可以自動刪除的天數。默認為0，即不自動刪除
binlog/mysql-bin.index  記錄當前有效的二進制文件

5.二進制日誌相關配置

查看mariadb自行管理使用中的二進制日誌文件列表，及大小
    SHOW {BINARY | MASTER} LOGS
查看使用中的二進制日誌文件
    SHOW MASTER STATUS
查看二進制文件中的指定內容
    SHOW BINLOG EVENTS [IN ‘log_name‘] [FROM pos] [LIMIT [offset,] row_count]
    show binlog events in ‘mysql-bin.000001‘ from 6516 limit 2,3

mysqlbinlog：二進制日誌的客戶端命令工具
命令格式：

mysqlbinlog [OPTIONS] log_file…
--start-position=# 指定開始位置
--stop-position=#  
--start-datetime=
--stop-datetime=

時間格式：YYYY-MM-DD hh:mm:ss
--base64-output=auto [=name] 以base64編碼輸出 
示例：mysqlbinlog --start-position=6787 --stop-position=7527 
/var/lib/mysql/mariadb-bin.000003 
mysqlbinlog --start-datetime="2018-01-30 20:30:10" --stop-datetime="2018-01-30 20:35:22" mariadb-bin.000003

6.二進制日誌事件的格式：

# at 328
#151105 16:31:40 server id 1 end_log_pos 431 Query thread_id=1 exec_time=0 
error_code=0
use `mydb`/*!*/;
SET TIMESTAMP=1446712300/*!*/;
CREATE TABLE tb1 (id int, name char(30))
/*!*/; 
事件發生的日期和時間：151105 16:31:40
事件發生的服務器標識：server id 1
事件的結束位置：end_log_pos 431
事件的類型：Query 
事件發生時所在服務器執行此事件的線程的ID：thread_id=1
語句的時間戳與將其寫入二進制文件中的時間差：exec_time=0
錯誤代碼：error_code=0
事件內容：
GTID：Global Transaction ID，mysql5.6以mariadb10以上版本專屬屬性：GTID 不同的服務器，不同的日誌

7.清除指定二進制日誌：

PURGE { BINARY | MASTER } LOGS   謹慎使用
    { TO ‘log_name‘ | BEFORE datetime_expr }

示例：

PURGE BINARY LOGS TO ‘mariadb-bin.000003’;刪除3之前的日誌 
PURGE BINARY LOGS BEFORE ‘2017-01-23‘;   
PURGE BINARY LOGS BEFORE ‘2017-03-22 09:25:30‘;

刪除所有二進制日誌，index文件重新記數

RESET MASTER [TO #]; 日誌文件從#開始記數，默認從1開始，一般是master第一次啟動時執行，MariaDB10.1.6開始支持TO #

切換日誌文件：

FLUSH LOGS; 生成新的日誌文件，原日誌文件還在。

MariaDB數據庫日誌

相關推薦

MariaDB數據庫日誌

順序 from auto sin 查看 獨立 導致 滾動 datetime   在日常生產中，各種服務應用的日誌的主要作用就是記錄服務的運行狀態、啟動記錄等信息，但數據庫的日誌對於數據庫而言是很重要的。數據庫日誌分為：事務、中繼、錯誤、通用、慢查詢和二進

Mariadb數據庫

redhat########################install mariadb ########################yum install mariadb-server -y ###安裝mariadbsystemctl start m

SQL Server 檢測到基於一致性的邏輯 I/O 錯誤 pageid不正確、數據庫日誌文 件丟失

日誌文件 科技 文件丟失 i/o 處理 企業管理 eid dbcc 無法連接 客戶名稱：深圳某科技信息有限公司 數據庫類型：sql2000 數據庫大小：20g 故障經過 電腦突然斷電，軟件就顯示某數據庫錯誤，無法連接，打開企業管理器，顯示數 據庫質疑，DBCC查詢顯示“ S

收縮數據庫日誌

備份 rom filename sys char har col exe nbsp 數據庫空間不足時可以嘗試收縮數據庫試試,收縮數據庫需要把 備份模式設置為簡單. 1 收縮時非常之慢,如果想停止收縮.應該怎麽操作 ? 答案:關閉查詢分析器就可以了. 2

MSSQL數據庫日誌滿的快速解決辦法

進行 附加數據 安全 pub 服務 所有 建數據庫 最大數 sql語句 先提供一種復雜的方法壓縮日誌及數據庫文件如下： 1.清空日誌 DUMP TRANSACTION 庫名 WITH NO_LOG 2.截斷事務日誌： BACKUP LOG 數據庫名 WITH NO_L

mysql/mariadb 數據庫安裝完成後的設置

mysql mariadb指定innodb_file_per_table=1參數，該參數主要是防止ibdata文件過大，所有的數據庫都存放到該文件中。指定該參數後不會出現上述問題。指定默認的字符集：在[mysqld]區段添加參數：character_set_server=utf8即可。指定默認的排序：coll

數據庫 之 自動化編譯安裝Mariadb數據庫

編譯安裝 mariadb 1. 概述MariaDB可以理解為mysql的升級版，因為mysql的創始人後面創建了MariaDB，所以MariaDB第一個版本之間從5.1開始發布（當時mysql已經是5版本），後面從5.5直接跳到10版本，centOS7默認使用MariaDB，CentOS 6需要另外編

使用語句清除sqlserver數據庫日誌文件

tar tran logs sql fill pda arch bsp diff 修改其中的3個參數(數據庫名，日誌文件名，和目標日誌文件的大小)，運行即可 SET NOCOUNT ON DECLARE @LogicalFileName sysname, @Ma

CentOS 7.0 使用MariaDB數據庫管理系統（唐傑）

數據庫 mariadb 管理系統 http://note.youdao.com/noteshare?id=94f07019c1e4af1a5a077591690e5c96本文出自 “新網學會博客” 博客，請務必保留此出處http://xwxhvip.blog.51cto.com/13020757/

linux--mariadb數據庫

mariadb discuz一、安裝登陸1.安裝並開啟服務yum install mariadb-server.x86_64 systemctl start mariadb2.安全初始化 ） 默認情況下，數據庫的網絡接口時打開的 為了安全需要關閉此接口netstat -antple | grep

數據庫日誌系統分解

mysql 日誌標題索引日誌分類日誌操作日誌分解日誌分類 在數據庫系統中日誌主要分為6類，具體如下： 1、查詢日誌：主要記錄日常查詢的記錄； 2、慢查詢日誌：主要記錄查詢時長超過設置的數值時間的語句，方便DBA運維人員進行查詢； 3、錯誤日誌：主要用於記錄錯誤的事件，方便DBA運維人員

mariadb數據庫完整備份

zab echo div 完整 back 備份 oot word oca 1、mariadb數據庫完整備份 zabbix_mariadb_backup.sh #!/bin/bash username=root hostname=localhost passwo

centos7之mariadb數據庫的安裝

water process ext star cfb ffffff 數據 -o sha 1.安裝mariadb軟件包 #yum -y install mariadb mariadb-server #rpm -qa | grep mariadb 查看安裝的mariadb數據

基礎郵件,mariadb數據庫

oop 所有 wget ria 數據庫查詢 ren container 平臺 包含 postfix基礎郵件服務 1.1 問題 本例要求在虛擬機server0上配置 postfix 基礎服務，具體要求如下： 監聽本機的所有接口 將郵件域和郵件服務主機名都改為 example

MariaDB數據庫管理

內容 導入 select 生效 reat 使用 範圍 ase 管理命令 1. 安裝mariaDB服務程序： yum install mariadb mariadb-server 啟動mariadb服務程序並添加到開機啟動項中： systemctl start mariadb

MariaDB數據庫二進制免編譯包安裝

MariaDB mariadb 二進制免編譯包安裝mariadb MariaDB安裝 下載與解壓MariaDB cd /usr/local/src/ wget https://downloads.mariadb.com/MariaDB/mariadb-10.2.6/bintar-linux-gli

自動備份mysql和mariadb數據庫

mysql mariadb shell腳本#!/bin/bash mysql_user="123456" #數據庫用戶名 mysql_pwd="123456" #數據庫密碼 mysql_name="123456" #需要備份數據庫的名稱 Ba

基於邏輯卷LVM的MySQL、mariadb數據庫備份還原詳細實現

快照恢復數據庫 lvm 前提是數據庫的數據是放在邏輯卷上的； 數據庫數據和日誌分開存放；正常情況下數據和日誌是放在兩個獨立的磁盤上，如果是raid的話，那麽就無所謂了。創建分區： [root@mysql ~]$fdisk /dev/sda Command (m for

CentOS7.4 修改mariadb數據庫最大連接數

mariadb數據庫最大連接數 mysql最大連接數 mysql數據庫最大連接數 數據庫最大連接數 為什麽修改這個？因為我zabbix-server日誌報錯，提示connection to database 'zabbix' failed: [1040] Too many co

遠程連接MySQL(MariaDB)數據庫

bcb ant 安全性 moni quic err 圖片 family ipv4 網絡環境： MySQL(MariaDB)服務器的操作系統為 CentOS 7 MySQL(MariaDB)服務器IP：172.16.230.15 客戶端操作系統為 Windows 2008