2. 程式人生 > >MySQL8.0——Resource Group（資源組）

MySQL8.0——Resource Group（資源組）

阿新 • • 發佈：2019-01-08

 

 

資源組介紹

簡介

MySQL是單程序多執行緒的程式，MySQL執行緒包括後臺執行緒（Master Thread、IO Thread、Purge Thread等），以及使用者執行緒。在8.0之前，所有執行緒的優先順序都是一樣的，並且所有的執行緒的資源都是共享的。但是在MySQL8.0之後，由於Resource Group特性的引入，我們可以來通過資源組的方式修改執行緒的優先順序以及所能使用的資源，可以指定不同的執行緒使用特定的資源。
在目前版本中DBA只能操控CPU資源，並且控制的最小力度為vCPU，即作業系統邏輯CPU核數（可以通過lscpu命令檢視可控制CPU總數）。
DBA經常會遇到需要執行跑批任務的需求，這種跑批的SQL一般都是很複雜、執行時間長、消耗資源多的SQL。所以很多跑批任務都是在業務低峰期的時候執行，並且在從庫上執行，儘可能降低對業務產生影響。但是對於一些資料一致性比較高的跑批任務，需要在主庫上執行，在跑批任務執行的過程中很容易影響到其他執行緒的執行。那麼現在Resource Group就是DBA的福音了，我們可以對跑批任務指定執行的資源組，限制任務使用的資源，減少對其他執行緒的影響。

資源組資訊檢視

  • INFORMATION_SCHEMA.RESOURCE_GROUPS

INFORMATION_SCHEMA庫下的RESOURCE_GROUPS表中記錄了所有定義的資源組的情況:

1
2
3
4
5
6
7
8
 
mysql> select * from information_schema.resource_groups;
+---------------------+---------------------+------------------------+----------+-----------------+
| RESOURCE_GROUP_NAME | RESOURCE_GROUP_TYPE | RESOURCE_GROUP_ENABLED | VCPU_IDS | THREAD_PRIORITY |
+---------------------+---------------------+------------------------+----------+-----------------+
| USR_default         | USER                |                      1 | 0-23     |               0 |
| SYS_default | SYSTEM | 1 | 0-23 | 0 |
+---------------------+---------------------+------------------------+----------+-----------------+
2 rows in set (0.00 sec)

MySQL8.0預設會建立兩個資源組，一個是USR_default另一個是SYS_default。

  • PERFORMANCE_SCHEMA.THREADS

PERFORMANCE_SCHEMA庫下的THREADS表中，可以檢視當前執行緒使用資源組的情況:

1
2
3
4
5
6
7
8
9
10
11
 
mysql> mysql> select * from performance_schema.threads limit 5;
+-----------+------------------------------+------------+----------------+------------------+------------------+----------------+---------------------+------------------+-------------------+------------------+------------------+------+--------------+---------+-----------------+--------------+----------------+
| THREAD_ID | NAME                         | TYPE       | PROCESSLIST_ID | PROCESSLIST_USER | PROCESSLIST_HOST | PROCESSLIST_DB | PROCESSLIST_COMMAND | PROCESSLIST_TIME | PROCESSLIST_STATE | PROCESSLIST_INFO | PARENT_THREAD_ID | ROLE | INSTRUMENTED | HISTORY | CONNECTION_TYPE | THREAD_OS_ID | RESOURCE_GROUP |
+-----------+------------------------------+------------+----------------+------------------+------------------+----------------+---------------------+------------------+-------------------+------------------+------------------+------+--------------+---------+-----------------+--------------+----------------+
|         1 | thread/sql/main              | BACKGROUND |           NULL | NULL             | NULL             | mysql          | NULL                |            96053 | NULL              | NULL             |             NULL | NULL | YES          | YES     | NULL            |         9130 | SYS_default    |
| 3 | thread/innodb/io_ibuf_thread | BACKGROUND | NULL | NULL | NULL | NULL | NULL | NULL | NULL | NULL | NULL | NULL | YES | YES | NULL | 9135 | SYS_default |
| 4 | thread/innodb/io_log_thread | BACKGROUND | NULL | NULL | NULL | NULL | NULL | NULL | NULL | NULL | NULL | NULL | YES | YES | NULL | 9136 | SYS_default |
| 5 | thread/innodb/io_read_thread | BACKGROUND | NULL | NULL | NULL | NULL | NULL | NULL | NULL | NULL | NULL | NULL | YES | YES | NULL | 9138 | SYS_default |
| 6 | thread/innodb/io_read_thread | BACKGROUND | NULL | NULL | NULL | NULL | NULL | NULL | NULL | NULL | NULL | NULL | YES | YES | NULL | 9137 | SYS_default |
+-----------+------------------------------+------------+----------------+------------------+------------------+----------------+---------------------+------------------+-------------------+------------------+------------------+------+--------------+---------+-----------------+--------------+----------------+
5 rows in set (0.00 sec)

其中RESOURCE_GROUP欄位顯示執行緒使用的是哪個資源組。

如何使用資源組

假設我們現在需要對跑批任務建立一個資源組。

建立一個資源組

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
 
mysql> CREATE RESOURCE GROUP Batch
    ->   TYPE = USER
    ->   VCPU = 2-3
    ->   THREAD_PRIORITY = 10;
Query OK, 0 rows affected (0.03 sec)

mysql> select * from information_schema.resource_groups;
+---------------------+---------------------+------------------------+----------+-----------------+
| RESOURCE_GROUP_NAME | RESOURCE_GROUP_TYPE | RESOURCE_GROUP_ENABLED | VCPU_IDS | THREAD_PRIORITY |
+---------------------+---------------------+------------------------+----------+-----------------+
| USR_default | USER | 1 | 0-23 | 0 |
| SYS_default | SYSTEM | 1 | 0-23 | 0 |
| Batch | USER | 1 | 2-3 | 10 |
+---------------------+---------------------+------------------------+----------+-----------------+
3 rows in set (0.00 sec)

指定使用資源組

將建立的Batch資源組繫結到執行的執行緒上，有兩種方式：

  • 方式一
    從PERFORMANCE_SCHEMA.THREADS表中查詢需要繫結執行的執行緒ID(注意：THREADS表中的THREAD_ID和SHOW PROCESSLIST的ID不等同):

檢視需要繫結需要的執行緒的THREAD_ID：

1
2
3
4
5
6
7
8
 
mysql> select * from performance_schema.threads where TYPE='FOREGROUND';
+-----------+--------------------------------+------------+----------------+------------------+------------------+----------------+---------------------+------------------+-------------------+------------------------------------------------------------------+------------------+------+--------------+---------+-----------------+--------------+----------------+
| THREAD_ID | NAME                           | TYPE       | PROCESSLIST_ID | PROCESSLIST_USER | PROCESSLIST_HOST | PROCESSLIST_DB | PROCESSLIST_COMMAND | PROCESSLIST_TIME | PROCESSLIST_STATE | PROCESSLIST_INFO                                                 | PARENT_THREAD_ID | ROLE | INSTRUMENTED | HISTORY | CONNECTION_TYPE | THREAD_OS_ID | RESOURCE_GROUP |
+-----------+--------------------------------+------------+----------------+------------------+------------------+----------------+---------------------+------------------+-------------------+------------------------------------------------------------------+------------------+------+--------------+---------+-----------------+--------------+----------------+
|        61 | thread/sql/compress_gtid_table | FOREGROUND |              5 | NULL             | NULL             | NULL           | Daemon              |            96613 | Suspending        | NULL                                                             |                1 | NULL | YES          | YES     | NULL            |         9211 | SYS_default    |
| 65 | thread/sql/one_connection | FOREGROUND | 10 | root | localhost | NULL | Query | 0 | Sending data | select * from performance_schema.threads where TYPE='FOREGROUND' | NULL | NULL | YES | YES | Socket | 9741 | USR_default |
+-----------+--------------------------------+------------+----------------+------------------+------------------+----------------+---------------------+------------------+-------------------+------------------------------------------------------------------+------------------+------+--------------+---------+-----------------+--------------+----------------+
2 rows in set (0.00 sec)

繫結將執行緒與Batch資源組繫結：

1
 
SET RESOURCE GROUP Batch FOR 65;

檢視繫結結果:

1
2
3
4
5
6
7
8
 
mysql> select THREAD_ID,NAME,TYPE,PROCESSLIST_ID,RESOURCE_GROUP from performance_schema.threads where TYPE='FOREGROUND';
+-----------+--------------------------------+------------+----------------+----------------+
| THREAD_ID | NAME                           | TYPE       | PROCESSLIST_ID | RESOURCE_GROUP |
+-----------+--------------------------------+------------+----------------+----------------+
|        61 | thread/sql/compress_gtid_table | FOREGROUND |              5 | SYS_default    |
| 65 | thread/sql/one_connection | FOREGROUND | 10 | Batch |
+-----------+--------------------------------+------------+----------------+----------------+
2 rows in set (0.00 sec)
  • 方式二

採用Optimizer Hints的方式指定SQL使用的資源組：

1
 
SELECT /*+ RESOURCE_GROUP(Batch) */ * FROM t2 ;

修改資源組配置

可能跑批任務使用CPU資源不夠，那就需要修改資源組的配置。

1
 
ALTER RESOURCE GROUP Batch VCPU = 10-20;

修改資源組優先順序：

1
 
ALTER RESOURCE GROUP Batch THREAD_PRIORITY = 5;

禁止使用資源組：

1
 
ALTER RESOURCE GROUP Batch DISABLE FORCE;

刪除資源組

對於不用的資源組可以刪除

1
 
DROP RESOURCE GROUP Batch;

使用注意點

  • CREATE RESOURCE GROUP、ALTER RESOURCE GROUP、DROP RESOURCE GROUP等SQL語句並不會被記錄到binlog中，不會被複制到從庫。
  • 如果MySQL安裝了thread pool外掛，無法使用RESOURCE GROUP特性
  • macOS 平臺上不支援RESOURCE GROUP特性
  • FreeBSD 和 Solaris 平臺上無法指定資源組優先順序(priorities),所有執行緒執行在0狀態。
  • Linux 平臺上需要開啟 CAP_SYS_NICE 特性才能使用RESOURCE GROUP
1
2
3
4
5
6
7
8
9
10
11
12
 
檢查mysqld程序是否開啟CAP_SYS_NICE特性
[[email protected] /root]
#getcap /home/mysql/program/mysql8.0/bin/mysqld

給mysqld程序開啟CAP_SYS_NICE特性
[[email protected] /root]
#setcap cap_sys_nice+ep /home/mysql/program/mysql8.0/bin/mysqld

檢查是否開啟成功
[[email protected] /root]
#getcap /home/mysql/program/mysql8.0/bin/mysqld
/home/mysql/program/mysql8.0/bin/mysqld = cap_sys_nice+ep
  • Windows平臺上執行緒優先順序只有5個等級，分別為THREAD_PRIORITY_HIGHEST、THREAD_PRIORITY_ABOVE_NORMAL、THREAD_PRIORITY_NORMAL、THREAD_PRIORITY_BELOW_NORMAL、THREAD_PRIORITY_LOWEST

總結

Resource Group是MySQL在8.0中增加的資源管理的特性，從一個DBA的角度，可以更加靈活、便捷的管理資料庫使用的資源，這是一個令人眼前一亮的特性。Oracle在10g的時候已經推出了Resource Manager的特性，MySQL的Resource Group目前還很簡單隻能控制CPU的資源，但是相信後續Resource Group能操控的資源型別會越來越多。期待MySQL8.0早日成為一個成熟穩定的版本。

相關推薦

MySQL8.0——Resource Group（資源組）

    資源組介紹 簡介 MySQL是單程序多執行緒的程式，MySQL執行緒包括後臺執行緒（Master Thread、IO Thread、Purge Thread等），以及使用者執行緒。在8.0之前，所有執行緒的優先順序都是一樣的，並且所有的執行緒的資源都是共享的。但是在MySQ

ubuntu16 安裝MySQL8.0 deb包 （騰訊雲伺服器）

首先我們不馬上執行 sudo apt-get install mysql-server這條命令來安裝MySQL,因為預設的repositories上MySQL的版本是5.7，我們現在需要安裝MySQL8.0 1.在官網找到 DEB Package 官網apt連結 我們點選Downl

pygame編組（精靈組）Group中的常用方法介紹

win ever none aws over div 一個 文檔 icu 說明： 1.以下所用的Group均為Group類的對象實例 2.Group類是對AbstractGroup類的繼承 sprite.py文檔中描述如下： class Group(AbstractGro

Docker 官方mysql8.0映象使用-（包括5.7版本）

docker mysql8.0使用方法(同樣適用於5.7版本) 拉去mysql最新8.0映象 docker pull mysq

php解決json_encode輸出GB2312中文問題 （數組）

傳遞 urn ble $apply googl 對數 unset light return 在 php 中使用 json_encode() 內置函數(php > 5.2)可以使用得 php 中數據可以與其它語言很好的傳遞並且使用它。 這個函數的功能是將數值轉換成jso

07.24（數組）冒泡法排序

-s static ++ pub print eth stat main gen public class 冒泡排序法 { public static void main(String[] args) {// TODO Auto-generated method stub

哈爾濱理工大學第七屆程序設計競賽初賽（高年級組）E - 音樂轉換

con 難點 desc 哈爾濱 最大 需要 ont 字符串長度 直接 題目描述 John是一位熱衷的音遊愛好者。 一天，他正在玩音遊，碰到了一個難題。他面前有一個初始旋律，遊戲目標是要把這一段初始旋律變成目標旋律。但是，難點在於，John並不能隨意的改變這一旋律

Mongodb04 - 數據操作（數組）

一個數 -s 針對 對數 數量 nbsp 判斷 年齡 dex 1、首先在MongoDB裏面是支持數組保存的，一旦支持數組保存，需要針對數組的數據進行匹配； 　　（01）、範例：保存一部分數組數據 　　　　 　 db.students.insert({"name":"

pythopn tuple（元組）

數學計算 產生 app 不可變 還在 (()) 也會 返回 輸出 tuple和list非常類似，但是tuple一旦初始化就不能修改，元組被稱為只讀列表，即數據可以被查詢，但不能被修 改，所以，列表的切片操作同樣適用於元組。 元組寫在小括號(())裏，元素之間用逗號隔開。 雖

三、PTA實驗作業（數組）

技術分享 item ram 提交 分享圖片 兩個 ott fine 結果 7-2 求最大值及其下標（20 分） 本題要求編寫程序，找出給定的n個數中的最大值及其對應的最小下標（下標從0開始）。 輸入格式: 輸入在第一行中給出一個正整數n（1<n≤10）。第二行輸

Java之Array（數組）說明

blog ava nis .com add body tps new lin 代碼說明： 1 package array; 2 3 import java.util.ArrayList; 4 import java.util.Arrays; 5 impor

2004: C語言實驗——數日子（數組）

我們 這一 post HR submit 某年 inpu 時間 ret 2004: C語言實驗——數日子 Time Limit: 1 Sec Memory Limit: 64 MBSubmit: 213 Solved: 111[Submit][Status][Web

結對編程項目總結（core2組）

結對編程 ostream 項目 file char enum auth ati 代碼 ----by 吳雪晴 齊天楊 一、項目簡介 項目的任務為制作一個給（貌似是？）小學生用的四則運算出題軟件，我們的組別為Core組，也就是負責隨機生成四則運算表達式，並將其封裝成dll

2017第八屆藍橋杯決賽（B組）2.磁磚樣式

利用 分享 部分 span 裝飾 mage 整數 bool png 磁磚樣式 小明家的一面裝飾墻原來是 310 的小方格。 現在手頭有一批剛好能蓋住2個小方格的長方形瓷磚。 瓷磚只有兩種顏色：黃色和橙色。 小明想知道，對於這麽簡陋的原料，可以貼出多少種不同的花樣來。 小明有

2017第八屆藍橋杯決賽（B組）4.發現環

之間 bound 維護 順序 ins 兩個 class () clas 描述 小明的實驗室有N臺電腦，編號1~N。原本這N臺電腦之間有N-1條數據鏈接相連，恰好構成一個樹形網絡。在樹形網絡上，任意兩臺電腦之間有唯一的路徑相連。 不過在最近一次維護網絡時，管理員誤操作使得某兩

leetcode初級算法（數組）——從數組中刪除重復項

tco AR clas push i++ res col 數組 func /** * @param {number[]} nums * @param {number} target * @return {number[]} */ var twoSum = func

12-帶內管理、帶外管理 //0.8.6（GNS3版本）

console 清除 關閉 nag gin 運行 tex password size 帶內管理、帶外管理區別：流量在一根線上走就是帶內管理，有Console線就是帶外管理![]一、實驗拓撲：二、實驗要求：1、R1、R2、R3運行EIGRP 90協議，並配置各自的Loopba

單詞詞頻統計（12組）

dea strong 文件的 ont 插入 cells 分享 RoCE 操作 單詞詞頻統計 0．前言 該程序寫於2018年7月9日，在北京航空航天大學與南通大學鞠小林老師結對完成。在此期間通過結對編程完成整個項目的需求分析、設計、開發、測試等。現在回顧一下這個程序的編寫過程

Photon Release 4.8.0漢化（附圖教程）

upd 依次 開頭 參考資料 http finish pda 滾動條 war Eclipse語言包：http://www.eclipse.org/babel/downloads.php 1、打開瀏覽器，瀏覽“參考資料”內給出的“eclipse語言包下載”地址，在博客新頁

數據類型（元組）

tuple index 是否 -s lan font [] 類型 下標 元組（） 定義：與列表類似，也是存一組數據，一旦創建，便不能再修改 ，又叫只讀列表 特性： 　 1.可存放多個值 2.不可變 3.按照從左到右的順序定義元組元素，下標從0開始順序訪問，有序 4.元組