golng mysql庫連線池分析

阿新 • • 發佈：2019-12-31

0x1 背景

golang的協程是好用，但是有時候瓶頸並不在語言上，而是在後面的資料來源上面，例如我們常見的mysql，redis等，當一個後端服務很多請求的時候，語言是能hold得住，但是 mysql產生錯誤，比如 too many connection,too many time_wait 等等這些，今天我們就分析一下怎麼解決這種問題

0x2 程式碼範例

請檢視main.go， halokid （有幫忙的話請start或者follow一下哦，謝謝）

0x3 分析

只執行ini函式，檢查mysql的程式顯示為（原有的mysql是沒有程式在處理的）

沒執行前


mysql> show processlist;
+----+-----------------+------------------+------+---------+------+------------------------+------------------+
| Id | User            | Host             | db   | Command | Time | State                  | Info             |
+----+-----------------+------------------+------+---------+------+------------------------+------------------+
|  4 | event_scheduler | localhost        | NULL | Daemon  | 2304 | Waiting on empty queue | NULL             |
|  9 | root            | 10.244.1.1:64000 | test 
 | Sleep   | 1315 |                        | NULL             |
| 10 | root            | 10.244.1.1:64022 | test | Query   |    0 | starting               | show processlist |
+----+-----------------+------------------+------+---------+------+------------------------+------------------+
3 rows in set (0.01 sec)

複製程式碼

執行後


mysql> show processlist;
+----+-----------------+------------------+------+---------+------+------------------------+------------------+
| Id | User            | Host             | db   | Command | Time | State                  | Info             |
+----+-----------------+------------------+------+---------+------+------------------------+------------------+
|  4 | event_scheduler | localhost        | NULL | Daemon  | 2284 | Waiting on empty queue | NULL             |
|  9 | root            | 10.244.1.1:64000 | test 
 | Sleep   | 1295 |                        | NULL             |
| 10 | root            | 10.244.1.1:64022 | test | Query   |    0 | starting               | show processlist |
| 13 | root            | 10.244.1.1:52134 | test | Sleep   |   20 |                        | NULL             |
+----+-----------------+------------------+------+---------+------+------------------------+------------------+
4 rows in set (0.00 sec)


複製程式碼

可見執行 db.Ping() 之後， process多了一個 Sleep 的連線，就是放了一個連線進連線池

執行

db.SetMaxOpenConns(10)
db.SetMaxIdleConns(5)
複製程式碼

兩句之後，連線池並沒有改變，可見上面的邏輯是在資料庫處理邏輯真實執行的時候才生效的

執行協程查詢

mysql> show processlist;
+----+-----------------+------------------+------+---------+------+------------------------+------------------+
| Id | User            | Host             | db   | Command | Time | State                  | Info             |
+----+-----------------+------------------+------+---------+------+------------------------+------------------+
|  4 | event_scheduler | localhost        | NULL | Daemon  | 4397 | Waiting on empty queue | NULL             |
|  9 | root            | 10.244.1.1:64000 | test | Sleep   | 3408 |                        | NULL             |
| 10 | root            | 10.244.1.1:64022 | test | Query   |    0 | starting               | show processlist |
| 19 | root            | 10.244.1.1:54823 | test | Sleep   |  952 |                        | NULL             |
| 20 | root            | 10.244.1.1:54824 | test | Sleep   | 1104 |                        | NULL             |
| 47 | root            | 10.244.1.1:57906 | test | Sleep   |    0 |                        | NULL             |
| 48 | root            | 10.244.1.1:57909 | test | Sleep   |    0 |                        | NULL             |
| 49 | root            | 10.244.1.1:57912 | test | Sleep   |    0 |                        | NULL             |
| 50 | root            | 10.244.1.1:57907 | test | Sleep   |    0 |                        | NULL             |
| 51 | root            | 10.244.1.1:57908 | test | Sleep   |    0 |                        | NULL             |
| 52 | root            | 10.244.1.1:57913 | test | Sleep   |    0 |                        | NULL             |
| 53 | root            | 10.244.1.1:57911 | test | Sleep   |    0 |                        | NULL             |
| 54 | root            | 10.244.1.1:57910 | test | Sleep   |    0 |                        | NULL             |
| 55 | root            | 10.244.1.1:57915 | test | Sleep   |    0 |                        | NULL             |
| 56 | root            | 10.244.1.1:57914 | test | Sleep   |    0 |                        | NULL             |
+----+-----------------+------------------+------+---------+------+------------------------+------------------+
15 rows in set (0.00 sec)

複製程式碼

執行完在等待

mysql> show processlist;
+----+-----------------+------------------+------+---------+------+------------------------+------------------+
| Id | User            | Host             | db   | Command | Time | State                  | Info             |
+----+-----------------+------------------+------+---------+------+------------------------+------------------+
|  4 | event_scheduler | localhost        | NULL | Daemon  | 3931 | Waiting on empty queue | NULL             |
|  9 | root            | 10.244.1.1:64000 | test | Sleep   | 2942 |                        | NULL             |
| 10 | root            | 10.244.1.1:64022 | test | Query   |    0 | starting               | show processlist |
| 19 | root            | 10.244.1.1:54823 | test | Sleep   |  486 |                        | NULL             |
| 20 | root            | 10.244.1.1:54824 | test | Sleep   |  638 |                        | NULL             |
| 32 | root            | 10.244.1.1:56588 | test | Sleep   |   22 |                        | NULL             |
| 33 | root            | 10.244.1.1:56591 | test | Sleep   |   22 |                        | NULL             |
| 34 | root            | 10.244.1.1:56589 | test | Sleep   |   22 |                        | NULL             |
| 35 | root            | 10.244.1.1:56590 | test | Sleep   |   22 |                        | NULL             |
| 36 | root            | 10.244.1.1:56592 | test | Sleep   |   22 |                        | NULL             |
+----+-----------------+------------------+------+---------+------+------------------------+------------------+
10 rows in set (0.00 sec)
複製程式碼

協程執行完之後

mysql> show processlist;
+----+-----------------+------------------+------+---------+------+------------------------+------------------+
| Id | User            | Host             | db   | Command | Time | State                  | Info             |
+----+-----------------+------------------+------+---------+------+------------------------+------------------+
|  4 | event_scheduler | localhost        | NULL | Daemon  | 3941 | Waiting on empty queue | NULL             |
|  9 | root            | 10.244.1.1:64000 | test | Sleep   | 2952 |                        | NULL             |
| 10 | root            | 10.244.1.1:64022 | test | Query   |    0 | starting               | show processlist |
| 19 | root            | 10.244.1.1:54823 | test | Sleep   |  496 |                        | NULL             |
| 20 | root            | 10.244.1.1:54824 | test | Sleep   |  648 |                        | NULL             |
+----+-----------------+------------------+------+---------+------+------------------------+------------------+
5 rows in set (0.00 sec)
複製程式碼

我們發現最大連線控制在了10個，執行完之後還有5個連線在保持著

這裡有一個很重要的問題，就是連線池的過期時間

0x4 深入分析我們把 db.SetConnMaxLifetime(15 * time.Second)，連線池連線的生命週期設定為 15秒,我們會發現15秒之後，連線池的連線都會斷掉

mysql> show processlist;
+----+-----------------+------------------+------+---------+------+------------------------+------------------+
| Id | User            | Host             | db   | Command | Time | State                  | Info             |
+----+-----------------+------------------+------+---------+------+------------------------+------------------+
|  4 | event_scheduler | localhost        | NULL | Daemon  | 4987 | Waiting on empty queue | NULL             |
|  9 | root            | 10.244.1.1:64000 | test | Sleep   | 3998 |                        | NULL             |
| 10 | root            | 10.244.1.1:64022 | test | Query   |    0 | starting               | show processlist |
| 19 | root            | 10.244.1.1:54823 | test | Sleep   | 1542 |                        | NULL             |
| 20 | root            | 10.244.1.1:54824 | test | Sleep   | 1694 |                        | NULL             |
+----+-----------------+------------------+------+---------+------+------------------------+------------------+
5 rows in set (0.00 sec)

複製程式碼

30秒之後再次查詢資料庫

time.Sleep(30 * time.Second)
  rows,err := db.Query("select name from users")
  fmt.Println("err -----",err)
  defer rows.Close()
  for rows.Next(){
    var name string
    rows.Scan(&name)
    fmt.Println("name---",name)
  }
複製程式碼

這個時候發現程式會重新發起新的db連線

總結：

mysql服務端的連線生命週期

還有一種請況就是，我們的程式的連線池生命週期設定大於mysql伺服器的生命週期設定，這個時候就會有一種請況，假如我們重複用連線池的連線，會產生連線錯誤的問題，解決方法有兩種：

可以在程式裡面設定生命週期時間小於mysql服務端的連線生命週期時間就可以了
增加程式的重連(keepalive）機制，就是定時傳送一個連線包服務端關於第2點我們我們以後可以再發散來說，一般如果允許的話，用第一種方式即可。

mysql> show variables like 'mysqlx_wait_timeout';
+---------------------+-------+
| Variable_name       | Value |
+---------------------+-------+
| mysqlx_wait_timeout | 28800 |
+---------------------+-------+
1 row in set (0.00 sec)
複製程式碼

golng mysql庫連線池分析

0x1 背景 golang的協程是好用，但是有時候瓶頸並不在語言上，而是在後面的資料來源上面，例如我們常見的mysql，redis等，當一個後端服務很多請求的時候，語言是能hold得住，但是

Java使用MySQL實現連線池程式碼例項

官方：資料庫連線池（Connection pooling）是程式啟動時建立足夠的資料庫連線，並將這些連線組成一個連線池，由程式動態地對連線池中的連線進行申請，使用，釋放。

如何設定mysql資料庫連線池的大小

技術標籤：MySQL 連線池長連線的好處這麼大，自然大家都用長連線。慢慢就搞出一套長連線維護的工具 - 資料庫連線池。

用python實現一個最簡單版本的mysql資料庫連線池

import time from threading import Thread import mysql.connector class db(): list = [] # 每個連線最大使用次數

MySQL JDBC 連線池

1.首先宣告一個連線池物件 private static DruidDateSource druidDateSource; 2.在獲得位元組流之後，在獲取連線池的值

一次Mysql連線池卡死導致服務無響應問題分析(.Net Mysql.Data 8.0.21)

線上程遞增到106時捕獲dump檔案，在windbg中分析到，有七十多個執行緒被阻塞在建立mysql連線的地方，具體呼叫堆疊如下圖：

【重溫mysql】1、連線池

在我們日常的開發中，會經常與資料庫打交道。對於 java 開發者來說，經常會使用jdbc來與資料庫進行互動。我們可能會看到這樣的程式碼：

Spring Boot Mysql 版本驅動連線池方案選擇

國內環境下，用Mysql還是比較多的。這裡簡單的總結了一下，如有繆誤，還請指正。

workerman寫mysql連線池的例項程式碼

首先要了解為什麼用連線池，連線池能為你解決什麼問題連線池主要的作用：

SQL學習基礎——MySQL入門（4）_JDBC資料庫連線池

文章目錄1. 資料庫連線池1. 概念：2. 好處：3. 實現：4. C3P0：資料庫連線池技術5. Druid：資料庫連線池實現技術，由阿里巴巴提供的2.Spring JDBC

轉 Swoole】用swoole簡單實現MySQL連線池

MySQL連線池在傳統的網站開發中，比如LNMP模式，由Nginx的master程序接收請求然後分給多個worker程序，每個worker程序再連結php-fpm的master程序，php-fpm再根據當前情況去呼叫其worker程序然後處理PHP，如果需要

golang mysql連線池

配置檔案： [spu] user_name = xxx password = xxx host = 192.168.1.xxx database = liexin_spu table_prefix =xxx

python自動化之pymysql庫連線mysql資料庫封裝成類

import pymysqlif __name__ == \'__main__\':host = \"被訪問資料庫的ip地址或者域名\"port = 埠號user = \"連線資料庫的使用者名稱\"password = \"連線資料庫的密碼\"sql = \"要查詢的SQL語句 \"# 連線一個給定的資

mysql連線池如何確定大小？

　　目錄　　　　一、筆者前言　　　　二、正菜開始　　　　三、假設你的服務有1萬併發的訪問

Go的mysql庫的使用：連線和查詢

import "time" type User struct { Idint Uuidstring Namestring Emailstring Passwordstring CreatedAt time.Time

Mysql連線池

MySQL檢視最大連線數和修改最大連線數 1、檢視最大連線數show variables like \'%max_connections%\';2、修改最大連線數set GLOBAL max_connections = 200;或修改MySQL配置檔案my.ini 或 my.cnf的引數max_connection

通過Swoole2協程特性實現的MySQL連線池

使用Swoole2的\\ Swoole \\ Coroutine \\ MySQL建立連線，通過靜態類和靜態成員屬性維護連線池，不同協程可以共享該連線池。

執行緒池ThreadPoolExecutor與MySQL連線池DBUtils的結合使用例項 ***

前言　　之前業務中實現併發是線上程池/程序池中的每個執行緒/程序中單獨與MySQL建立連結，處理完後再釋放連結。

使用類的繼承實現多個MySQL連線池以及相關操作說明

承接上文　　本文是在上一篇文章內容的基礎上的拓展：MySQL連線池DBUtils與執行緒池ThreadPoolExecutor的結合使用例項

MySQL - JDBC&資料庫連線池

MySQL - JDBC&資料庫連線池目錄MySQL - JDBC&資料庫連線池1.1 概念1.1.1 JDBC專案準備1.1.2 JDBC連線步驟1.1.2.1 註冊驅動1.1.2.2 獲取連線1.1.2.3 獲取語句執行物件1.1.2.4 處理結果集物件（DQL）1.1.2.

golng mysql庫連線池分析

0x1 背景

0x2 程式碼範例

0x3 分析

總結：

相關推薦