將MySQL資料對映到Memcached中收藏

阿新 • • 發佈：2019-01-27

測試環境在Linux下進行，版本系統為CentOS5.
以下為相關軟體，包括其版本和下載地址：

mysql-5.1.30 下載
memcached-1.2.6 下載
libevent-1.4.7-stable 下載
memcached_functions_mysql-1.1 下載
libmemcached-0.26 下載

編譯安裝MySQL,安裝因個人細好而定，省略許多與測試無關的編譯細節及引數。

view plaincopy to clipboardprint?
[[email protected] ~]#tar xzf mysql-5.1.30.tar_001.gz
[

[email protected] ~]#cd mysql-5.1.30
[[email protected] ~]#./configure --prefix=/usr/local/mysql51
[[email protected] ~]#make
[

[email protected] ~]#make install
[[email protected] ~]#./scripts/mysql_install_db --user=mysql --skip-name-resolve
[[email protected] ~]#/usr/local/mysql51/bin/mysqld_safe

[[email protected] ~]#tar xzf mysql-5.1.30.tar_001.gz
[[email protected] ~]#cd mysql-5.1.30
[[email protected] ~]#./configure --prefix=/usr/local/mysql51
[[email protected] ~]#make
[[email protected] ~]#make install
[[email protected] ~]#./scripts/mysql_install_db --user=mysql --skip-name-resolve
[[email protected] ~]#/usr/local/mysql51/bin/mysqld_safe省略列出安裝memcached和libevent的相關命令，具體可按照實際情況安裝，測試時我將libevent預設安裝，memcached安裝於/usr/local/memcached目錄下。
啟動memcached.

view plaincopy to clipboardprint?
/usr/local/memcached/bin/memcached -d -m 50 -u root -p 11211

/usr/local/memcached/bin/memcached -d -m 50 -u root -p 11211編譯安裝libmemcache.

view plaincopy to clipboardprint?
[[email protected] ~]#tar xzf libmemcached-0.26.tar.gz
[[email protected] ~]#cd libmemcached-0.26
[[email protected] ~]#./configure --with-memcached=/usr/local/memcached/bin/memcached
[[email protected] ~]# make && make install

[[email protected] ~]#tar xzf libmemcached-0.26.tar.gz
[[email protected] ~]#cd libmemcached-0.26
[[email protected] ~]#./configure --with-memcached=/usr/local/memcached/bin/memcached
[[email protected] ~]# make && make install編譯安裝Memcache UDFs for MySQL.

view plaincopy to clipboardprint?
[[email protected] ~]# tar xzf memcached_functions_mysql-1.1.tar.gz
[[email protected] ~]# cd memcached_functions_mysql-1.1
[[email protected] ~]# ./configure --with-mysql-config=/usr/local/mysql51/bin/mysql_config
[[email protected] ~]# make && make install

[[email protected] ~]# tar xzf memcached_functions_mysql-1.1.tar.gz
[[email protected] ~]# cd memcached_functions_mysql-1.1
[[email protected] ~]# ./configure --with-mysql-config=/usr/local/mysql51/bin/mysql_config
[[email protected] ~]# make && make install編譯完成後將編譯好的庫檔案複製到mysql的外掛目錄下，以便於載入使用。

view plaincopy to clipboardprint?
cp /usr/local/lib/libmemcached_functions_mysql* /usr/local/mysql51/lib/mysql/plugin/

cp /usr/local/lib/libmemcached_functions_mysql* /usr/local/mysql51/lib/mysql/plugin/進入memcached_functions_mysql的原始碼目錄，在目錄下有相關新增UDF的SQL檔案用於初始化。

在mysql的shell中執行memcached_functions_mysql原始碼目錄下的sql/install_functions.sql
或者執行memcached_functions_mysql原始碼目錄下utils/install.pl這個perl指令碼，把memcache function作為UDF加入mysql。

[[email protected] ~]# mysql <sql/install_functions.sql

檢查安裝是否成功

mysql> select name,dl from mysql.func;

二. 測試用例設計情況：

(1).新建兩張表：urls和results，用來更新urls表裡面的內容，讓系統自動更新memcached的內容。results用來記錄更新memcached失敗的記錄。
sql語句如下：
use tests;
drop table if exists urls;
CREATE TABLE `urls` (
`id` int(10) NOT NULL,
`url` varchar(255) NOT NULL DEFAULT '',
PRIMARY KEY (`id`)
);

drop table if exists results;
CREATE TABLE `results` (
`id` int(10) NOT NULL,
`result` varchar(255) NOT NULL DEFAULT 'error',
`time` timestamp NULL DEFAULT CURRENT_TIMESTAMP,
PRIMARY KEY (`id`)
);

(2). 建立三個trigger.

當向urls表裡面插入資料時，對memcached執行set操作，trigger如下：
DELIMITER //
DROP TRIGGER IF EXISTS url_mem_insert;
CREATE TRIGGER url_mem_insert
BEFORE INSERT ON urls
FOR EACH ROW BEGIN
 set @mm = memc_set(NEW.id, NEW.url);
 if @mm <> 0 then
 insert into results(id) values(NEW.id);
 end if;

END //
DELIMITER ;

當對urls表裡面的資料進行更新時，對memcached執行replace操作，trigger如下：

DELIMITER //
DROP TRIGGER IF EXISTS url_mem_update;
CREATE TRIGGER url_mem_update
BEFORE UPDATE ON urls
FOR EACH ROW BEGIN
 set @mm = memc_replace(OLD.id,NEW.url);
 if @mm <> 0 then
 insert into results(id) values(OLD.id);
 end if;

END //
DELIMITER ;

當對urls表裡面的資料進行刪除操作時，對memcached執行delete操作，trigger如下：

DELIMITER //
DROP TRIGGER IF EXISTS url_mem_delete;
CREATE TRIGGER url_mem_delete
BEFORE DELETE ON urls
FOR EACH ROW BEGIN
 set @mm = memc_delete(OLD.ID);
 if @mm <> 0 then
 insert into results(id) values(OLD.id);
 end if;

END //
DELIMITER ;

(3). 設定memcached相關引數

設定同時UDF操作的memcaced的機器IP和埠：

mysql> SELECT memc_servers_set('192.168.3.184:11900');
+---------------------------------------+
| memc_servers_set('192.168.3.184:11900') |
+---------------------------------------+
| 0 |
+---------------------------------------+
1 row in set (0.00 sec)

mysql> select memc_server_count();
+---------------------+
| memc_server_count() |
+---------------------+
| 1 |
+---------------------+
1 row in set (0.00 sec)

在mysql命令列列出可以修改memcached引數的行為：
mysql> select memc_list_behaviors()/G
*************************** 1. row ***************************
memc_list_behaviors():
MEMCACHED SERVER BEHAVIORS
MEMCACHED_BEHAVIOR_SUPPORT_CAS
MEMCACHED_BEHAVIOR_NO_BLOCK
MEMCACHED_BEHAVIOR_TCP_NODELAY
MEMCACHED_BEHAVIOR_HASH
MEMCACHED_BEHAVIOR_CACHE_LOOKUPS
MEMCACHED_BEHAVIOR_SOCKET_SEND_SIZE
MEMCACHED_BEHAVIOR_SOCKET_RECV_SIZE
MEMCACHED_BEHAVIOR_BUFFER_REQUESTS
MEMCACHED_BEHAVIOR_KETAMA
MEMCACHED_BEHAVIOR_POLL_TIMEOUT
MEMCACHED_BEHAVIOR_RETRY_TIMEOUT
MEMCACHED_BEHAVIOR_DISTRIBUTION
MEMCACHED_BEHAVIOR_BUFFER_REQUESTS
MEMCACHED_BEHAVIOR_USER_DATA
MEMCACHED_BEHAVIOR_SORT_HOSTS
MEMCACHED_BEHAVIOR_VERIFY_KEY
MEMCACHED_BEHAVIOR_CONNECT_TIMEOUT
MEMCACHED_BEHAVIOR_KETAMA_WEIGHTED
MEMCACHED_BEHAVIOR_KETAMA_HASH
MEMCACHED_BEHAVIOR_BINARY_PROTOCOL
MEMCACHED_BEHAVIOR_SND_TIMEOUT
MEMCACHED_BEHAVIOR_RCV_TIMEOUT
MEMCACHED_BEHAVIOR_SERVER_FAILURE_LIMIT
MEMCACHED_BEHAVIOR_IO_MSG_WATERMARK
MEMCACHED_BEHAVIOR_IO_BYTES_WATERMARK

1 row in set (0.00 sec)

設定MEMCACHED_BEHAVIOR_NO_BLOCK為開啟狀態，這樣在memcached出現問題時（不能連線時）
資料繼續插入到mysql中，報錯提示，如果不設定此值，如果memcached失敗，mysql需要等到timeout
才可以插入到表中。
mysql> select memc_servers_behavior_set('MEMCACHED_BEHAVIOR_NO_BLOCK','1');
+--------------------------------------------------------------+
| memc_servers_behavior_set('MEMCACHED_BEHAVIOR_NO_BLOCK','1') |
+--------------------------------------------------------------+
| 0 |
+--------------------------------------------------------------+
1 row in set (0.00 sec)

mysql> select memc_servers_behavior_set('MEMCACHED_BEHAVIOR_TCP_NODELAY','1');
+-----------------------------------------------------------------+
| memc_servers_behavior_set('MEMCACHED_BEHAVIOR_TCP_NODELAY','1') |
+-----------------------------------------------------------------+
| 0 |
+-----------------------------------------------------------------+
1 row in set (0.00 sec)

三. 簡單的功能測試：

1. 向表urls裡面插入資料，然後查memcached是否也set進資料：

mysql> insert into urls (id,url) values (1, 'http://www.sina.com.cn');
Query OK, 1 row affected, 1 warning (0.00 sec)

mysql> select memc_get('1');
+------------------------+
| memc_get('1') |
+------------------------+
| http://www.sina.com.cn |
+------------------------+
1 row in set (0.00 sec)

1> telnet 192.168.3.184 11900
Trying 192.168.3.184...
Connected to 192.168.3.184 (192.168.3.184).
Escape character is '^]'.
get 1
VALUE 1 0 22
http://www.sina.com.cn
END

2.更新表urls裡面的資料，然後查詢memcached裡面是否也更新：
mysql> update test.urls set url='http://blog.sina.com.cn' where id=1;
Query OK, 1 row affected, 1 warning (0.00 sec)
Rows matched: 1 Changed: 1 Warnings: 0

mysql> select memc_replace('1','http://blog.sina.com.cn');
+---------------------------------------------+
| memc_replace('1','http://blog.sina.com.cn') |
+---------------------------------------------+
| 0 |
+---------------------------------------------+
1 row in set (0.00 sec)

mysql> select memc_get('1');
+-------------------------+
| memc_get('1') |
+-------------------------+
| http://blog.sina.com.cn |
+-------------------------+
1 row in set (0.00 sec)

1> telnet 192.168.3.184 11900
Trying 192.168.3.184...
Connected to 192.168.3.184 (192.168.3.184).
Escape character is '^]'.
get 1
VALUE 1 0 23
http://blog.sina.com.cn
END

3.刪除表urls裡面的資料，然後查memcached是否也刪除：
mysql> delete from test.urls where id=1;
Query OK, 1 row affected, 1 warning (0.00 sec)
Rows matched: 1 Changed: 1 Warnings: 0

mysql> select memc_get('1');
+---------------+
| memc_get('1') |
+---------------+
| NULL |
+---------------+
1 row in set (0.00 sec)

1> telnet 192.168.3.184 11900
Trying 192.168.3.184...
Connected to 192.168.3.184 (192.168.3.184).
Escape character is '^]'.
get 1
END

四. 利用php指令碼insert, update,delete表urls裡面的資料，進行測試。

每條記錄的平均長度是：17K

單獨向表urls裡面插入10萬條記錄需要的時間為：75秒
單獨對錶urls裡面更新10萬條記錄需要的時間為：70秒
單獨對錶urls裡面刪除10萬條記錄需要的時間為：105秒

同時進行30萬資料的insert,update, delete操作需要時間為：241秒

上面操作都沒有memcached失敗情況：
mysql> select * from results;
Empty set (0.00 sec)

測試指令碼如下：

插入指令碼：
0> more a.php
<?php

$conn = mysql_connect("192.168.1.61","test","test") or die(mysql_error());

mysql_select_db("test",$conn) or die(mysql_error());

//$sql = "show tables";

echo date("Y-m-d H:i:s");
//mysql_query($sql) or die(mysql_error());

for ($i=1; $i<=100000; $i++) {
$sql="insert into urls (id,url) values ($i, 'http://$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i.com');";
mysql_query($sql) or die(mysql_error());
}

echo "/n";
echo date("Y-m-d H:i:s");

更新指令碼：
0> more b.php
<?php

$conn = mysql_connect("192.168.1.61","test","test") or die(mysql_error());

mysql_select_db("test",$conn) or die(mysql_error());

//$sql = "show tables";

echo date("Y-m-d H:i:s");
//mysql_query($sql) or die(mysql_error());

for ($i=1; $i<=100000; $i++) {
$sql="update test.urls set url='http://xxxx.$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i$i.com' where id=$i;";
mysql_query($sql) or die(mysql_error());
}

echo "/n";
echo date("Y-m-d H:i:s");

刪除指令碼：
0> more c.php
<?php

$conn = mysql_connect("192.168.1.61","test","test") or die(mysql_error());

mysql_select_db("test",$conn) or die(mysql_error());

//$sql = "show tables";

echo date("Y-m-d H:i:s");
//mysql_query($sql) or die(mysql_error());

for ($i=1; $i<=100000; $i++) {
$sql="delete from test.urls where id=$i;";
mysql_query($sql) or die(mysql_error());
}

echo "/n";
echo date("Y-m-d H:i:s");

五. 結論：
測試依賴的環境比較多，可能資料會不準確。整體來看速度還不錯。
適合專案應用相對比較小的場合。

優點：
觸發器中使用 UDFs 直接更新 Memcached 的內容，減輕了應用程式設計和編寫的複雜性。

缺點：
1. 如果出現mysql服務重啟，需要重新設定連線memcached關係（SELECT memc_servers_set('192.168.3.184:11900'))
2. 有可能存在bug問題，導致mysql的crash（測試時沒遇到:)）.

真正的線上環境比這個複雜很多。我想到的需要考慮的問題：
1. 網路因素，mysql和memcached是否放在同一IDC，他們之間的網路效能是否很好。網路效能越好，速度肯定越快，如果使用本機的memcached能適當的減少網路開銷。
2. 插入的資料量，向mysql插入每條記錄的size，以及向memcached裡面更新的資料size大小。更新mysql,memcached的資料size越大，更新的速度越慢。
所以前期規劃好，在memcached裡面存那兩列（key-value)是關鍵。
3. 延時問題需要考慮，mysql所在機器如果資源使用比較狠，會導致更新memcached慢（出現類似m/s的延時問題）。
4. 考慮容災問題，如果兩者中有down出現時，需要考慮怎麼恢復，當前的測試是這樣考慮的：建一張錯誤表，如果在出現更新mc出現問題時，自動把更新錯誤的記錄插到
一張表裡面，通過查這張表，可以知道哪些資料在什麼時間更新錯誤,如果應用於生產環境，需要考慮監控和出現問題時恢復工作（寫好指令碼完善這個工作）。
5. mysql自身因素，例如執行的mysql語句效率，以及連線mysql的client程式(php)的連線開銷等等。

將MySQL資料對映到Memcached中收藏

將MySQL資料對映到Memcached中收藏

sqoop將Mysql資料匯入Hive中

利用python 將 mysql 資料進行抽取並清理成標準格式後存入MSSql 資料中

通過sqoop將mysql資料匯入到hive中進行計算示例

將mysql資料導為csv再匯入到mongodb中

利用sqoop將hive資料匯入Oracle中（踩的坑）

將資料庫資料入excel中併發送郵件

使用sqoop將mysql 資料匯入hdfs時各種報錯

將mysql數據庫中的單個庫的數據同步到redis數據庫中

mysql資料匯入mongodb中

mongodb將mysql資料匯入

用logstash將mysql資料同步到 elasticsearch

利用sqoop將hive資料匯入Oracle中

python3 使用openpyxl將mysql資料寫入xlsx

將資料庫資料放到redis中並保持資料一致性方案

將大資料載入記憶體中檢索字串

《編寫可維護的JavaScript》讀書筆記之程式設計實踐-將配置資料從程式碼中分離

Windows10下使用redis快取（將mysql資料快取到redis）

Springmvc-將前端資料對映成JAVA物件接收例項

sqoop mysql資料匯入Hive中

將MySQL資料對映到Memcached中 收藏

相關推薦

將MySQL資料對映到Memcached中收藏