MySQL批量插入效率優化手記
在用C++寫一段mysql入庫程式碼時，用的connector/c++，使用了PreparedStatement方式單條insert，然後整個插入操作放在事務中，大致如下:
begintrans
PreparedStatement
for(要插入的資料集)
{
setInt、setString等填充引數
excute()
}
commit
結果發現效率太低，在一臺破虛擬機器上每秒不到200條
後來改成多值insert，一次插入1000條，效能提升立刻顯現，達到2000多。繼續尋找最佳條數，最後使用單次insert5000條，插入35萬條耗時63秒。但是，多值insert不方便使用PreparedStatement，之前之所以沒采用這種高效的方式，是考慮到引數中存在特殊字元會導致語句執行失敗，另外還有二進位制欄位問題。
因為connector並沒有提供相關函式，所以兩種方案，一是自己實現，寫兩個函式，
一個處理字串函式，將需要轉義的進行轉義，這個就需要考慮周全，不能存在漏網之魚
一個將位元組陣列轉為十六進位制字串，應該容易實現
後來查了mysqlAPI中其實已經有相關函式定義，在mysql.h中，方案二，使用mysqlAPI
unsigned long STDCALL mysql_real_escape_string(MYSQL *mysql, char *to,const char *from, unsigned long length);
unsigned long STDCALL mysql_hex_string(char *to,const char *from, unsigned long from_length);
具體可以參考官方文件，下面是轉載一篇mysqlAPI的基本使用
這幾天一直在學習C++下使用Mysql的方法及其中各種的問題，也看了很多Mysql的API函式，當然自己看的還是很基礎的。其實對於每種資料庫的操作，基本的方法都是非常類似的，大多都是connect,select,update,delete以及insert這幾個操作。接下來我就將這幾個步驟以程式碼的方式展現給大家，相信應該能對大家對mysql的程式設計起到一個基礎模板的作用，方便大家以後對mysql資料庫的瞭解和學習。
1.mysql的初始化initConnection:
1)mysql_init():初始化資料庫
2)mysql_real_connect()(不推薦用Mysql_connect())：連線資料庫
詳細程式碼如下：
1 bool dataBase::initConnection() {
2 try {
3 if (mysql_init(&m_sqlCon) == NULL) {
4 std::cout << "初始化資料庫失敗" << std::endl;
5 return false;
6 }
7 // localhost:伺服器 root為賬號密碼 test為資料庫名 3306為埠
8 if (!mysql_real_connect(&m_sqlCon, host, user, pass,databaseName, port, NULL, 0))
9 {
10 std::cout << "資料庫連線失敗" << std::endl;
11 return false;
12 }
13 std::cout << "資料庫連線成功" << std::endl;
14 return true;
15 }
16 catch (...)
17 {
18 std::cout << "出錯啦" << std::endl;
19 return false;
20 }
21 }
2.mysql的查詢select：
1）mysql_query()：進行查詢語句
3)mysql_fetch_field()以及mysql_fetch_row()：獲得結果集中的內容
4）mysql_free_result()
程式碼如下：
1 void dataBase::user_query() {
2 if (mysql_query(&m_sqlCon, "select * from user")) {
3 std::cout << "查詢失敗" << std::endl;
4 return;
5 }
6 std::cout << "查詢成功" << std::endl;
7 MYSQL_RES *result;
8 result = mysql_store_result(&m_sqlCon);
9 if (result) {
10 int row_num,col_num;
11 row_num = mysql_num_rows(result);
12 col_num = mysql_num_fields(result);
13 std::cout << "共有" << row_num << "條資料，以下為其詳細內容：" << std::endl;
14 MYSQL_FIELD *fd;
15 while (fd = mysql_fetch_field(result)) {
16 std::cout << fd->name << "\t";
17 }
18 std::cout << std::endl;
19 MYSQL_ROW sql_row;
20 while (sql_row = mysql_fetch_row(result)) {
21 for (int i = 0; i < col_num; i++) {
22 if (sql_row[i] == NULL) std::cout << "NULL\t";
23 else std::cout << sql_row[i] << "\t";
24 }
25 std::cout << std::endl;
26 }
27 }
28 if(result!=NULL)
29 mysql_free_result(result);
30
31 }
3.mysql的插入語句insert:
1）mysql_query()通過select判斷是否已經存在（可以省略）
2)通過mysql_query()進行插入
程式碼如下：
1 void dataBase::user_insert(UserBody &body) {
2 char select_user[255];
3 char query[255];
4 MYSQL_RES *result;
5 sprintf(select_user, "select * from user where UserName='%s'", body.userName);
6 if (mysql_query(&m_sqlCon, select_user)||!(result = mysql_store_result(&m_sqlCon))) {
7 std::cout << "插入查詢失敗" << std::endl;
8 return;
9 }
10 if (mysql_num_rows(result)) {
11 std::cout << "使用者已存在" << std::endl;
12 mysql_free_result(result);
13 return;
14 }
15 mysql_free_result(result);
16 sprintf(query, "insert into user(UserName,UserPass,ConnectionNum,UseFor) values('%s','%s',%d,%d)", body.userName, body.userPass, body.connection, body.type);
17 if (mysql_query(&m_sqlCon, query)) {
18 std::cout << "插入資料失敗" << std::endl;
19 return;
20 }
21 std::cout << "插入資料成功,共插入：" <<mysql_affected_rows(&m_sqlCon)<<"行" << std::endl;
22 }
4.mysql的修改語句update
修改與新增的步驟類似，直接貼出程式碼就不做贅述了。
程式碼如下：
1 void dataBase::user_update(UserBody &body) {
2 char query[255];
3 char select_user[255];
4 MYSQL_RES *result;
5 sprintf(select_user, "select * from user where UserName='%s'", body.userName);
6 if (mysql_query(&m_sqlCon, select_user) || !(result = mysql_store_result(&m_sqlCon))) {
7 std::cout << "修改查詢失敗" << std::endl;
8 return;
9 }
10 if (mysql_num_rows(result) == 0) {
11 std::cout << "要修改的使用者不存在" << std::endl;
12 mysql_free_result(result);
13 return;
14 }
15 mysql_free_result(result);
16 sprintf(query, "update user set UserPass='%s',ConnectionNum=%d,UseFor=%d where UserName='%s'", body.userPass, body.connection, body.type, body.userName);
17 if (mysql_query(&m_sqlCon, query)) {
18 std::cout << "修改失敗" << std::endl;
19 return;
20 }
21 std::cout << "修改成功，共修改：" << mysql_affected_rows(&m_sqlCon) << "行" << std::endl;
22 }
5.mysql的刪除操作delete
其實刪除、修改和插入操作都是類似的，會其中一個其他應該都差不多了，我也就直接貼出程式碼了。
程式碼如下：
1 void dataBase::user_delete(char *userName) {
2 char query[255];
3 char select_user[255];
4 MYSQL_RES *result;
5 sprintf(select_user, "select * from user where UserName='%s'", userName);
6 if (mysql_query(&m_sqlCon, select_user)||!(result = mysql_store_result(&m_sqlCon))) {
7 std::cout << "刪除查詢失敗" << std::endl;
8 return;
9 }
10 if (mysql_num_rows(result)==0) {
11 std::cout << "要刪除的使用者不存在" << std::endl;
12 mysql_free_result(result);
13 return;
14 }
15 mysql_free_result(result);
16 sprintf(query, "delete from user where UserName='%s'", userName);
17 if (mysql_query(&m_sqlCon, query)) {
18 std::cout << "刪除失敗" << std::endl;
19 return;
20 }
21 std::cout << "刪除成功，共刪除：" << mysql_affected_rows(&m_sqlCon) << "行" << std::endl;
22 }
以上算是對Mysql中常用的一些程式碼的總結，有什麼不完善的希望大家能夠提出來，也希望這個能在平時幫到大家，起到一個模板的作用，也能方便大家對mysql的學習。我也屬於一個learner，也希望能和大家在平時中相互學習。