2. 程式人生 > >Redis 學習第二章

Redis 學習第二章

阿新 • • 發佈：2019-01-30
        用Redis作Mysql資料庫快取，必須解決2個問題。首先，應該確定用何種資料結構儲存來自Mysql的資料；在確定資料結構之後，還要考慮用什麼標識作為該資料結構的鍵。

        直觀上看，Mysql中的資料都是按表儲存的；更微觀地看，這些表都是按行儲存的。每執行一次select查詢，Mysql都會返回一個結果集，這個結果集由若干行組成。所以，一個自然而然的想法就是在Redis中找到一種對應於Mysql行的資料結構。Redis中提供了五種基本資料結構，即字串（string）、列表（list）、雜湊（hash）、集合（set）和有序集合（sorted set）。經過調研，發現適合儲存行的資料結構有兩種，即string和hash。

        要把Mysql的行資料存入string，首先需要對行資料進行格式化。事實上，結果集的每一行都可以看做若干由欄位名和其對應值組成的鍵值對集合。這種鍵值對結構很容易讓我們想起Json格式。因此，這裡選用Json格式作為結果集每一行的格式化模板。根據這一想法，我們可以實現將結果集格式化為若干Json物件，並將Json物件轉化為字串存入Redis的程式碼：

  1. // 該函式把結果集中的每一行轉換為一個Json格式的字串並存入Redis的STRING結構中，
  2. // STRING鍵應該包含結果集識別符號和STRING編號，形式如“cache.string:123456:1”
  3. string Cache2String(sql::Connection *mysql_connection,  
  4.                     redisContext *redis_connection,  
  5.                     sql::ResultSet *resultset,  
  6.                     const string &resultset_id, int ttl) {  
  7.   if (resultset->rowsCount() == 0) {  
  8.     throw runtime_error("FAILURE - no rows");  
  9.   }  
  10.   // STRING鍵的字首，包含了結果集的識別符號
  11.   string prefix("cache.string:"
     + resultset_id + ":");  
  12.   unsigned int num_row = 1;  // STRING編號，附加於STRING鍵的末尾，從1開始
  13.   sql::ResultSetMetaData *meta = resultset->getMetaData();  
  14.   unsigned int num_col = meta->getColumnCount();  
  15.   // 將結果集中所有行對應的所有STRING鍵存入該SET，SET鍵包含了結果集的識別符號
  16.   string redis_row_set_key("resultset.string:" + resultset_id);  
  17.   redisReply *reply;  
  18.   string ttlstr;  
  19.   stringstream ttlstream;  
  20.   ttlstream << ttl;  
  21.   ttlstr = ttlstream.str();  
  22.   resultset->beforeFirst();  
  23.   // 將結果集中的每一行轉為Json格式的字串，將這些Json字串存入STRING，
  24.   // 每個STRING對應結果集中的一行
  25.   while (resultset->next()) {  
  26.     string redis_row_key;  // STRING鍵名，由字首和STRING編號組成
  27.     stringstream keystream;  
  28.     keystream << prefix << num_row;  
  29.     redis_row_key = keystream.str();  
  30.     Json::Value row;  
  31.     for (int i = 1; i <= num_col; ++i) {  
  32.       string col_label = meta->getColumnLabel(i);  
  33.       string col_value = resultset->getString(col_label);  
  34.       row[col_label] = col_value;  
  35.     }  
  36.     Json::FastWriter writer;  
  37.     string redis_row_value = writer.write(row);  
  38.     // 將STRING鍵及Json格式的對應值對存入Redis
  39.     reply = static_cast<redisReply*>(redisCommand(redis_connection,   
  40.                                                  "SET %s %s",  
  41.                                                  redis_row_key.c_str(),   
  42.                                                  redis_row_value.c_str()));  
  43.     freeReplyObject(reply);  
  44.     // 將STRING鍵加入SET中
  45.     reply = static_cast<redisReply*>(redisCommand(redis_connection,   
  46.                                                  "SADD %s %s",  
  47.                                                  redis_row_set_key.c_str(),   
  48.                                                  redis_row_key.c_str()));  
  49.     freeReplyObject(reply);  
  50.     // 設定STRING的過期時間
  51.     reply = static_cast<redisReply*>(redisCommand(redis_connection,   
  52.                                                  "EXPIRE %s %s",  
  53.                                                  redis_row_key.c_str(),   
  54.                                                  ttlstr.c_str()));  
  55.     freeReplyObject(reply);  
  56.     ++num_row;  
  57.   }  
  58.   // 設定SET的過期時間
  59.   reply = static_cast<redisReply*>(redisCommand(redis_connection,   
  60.                                                "EXPIRE %s %s",  
  61.                                                redis_row_set_key.c_str(),   
  62.                                                ttlstr.c_str()));  
  63.   freeReplyObject(reply);  
  64.   return redis_row_set_key;  // 返回SET鍵，以便於其他函式獲取該SET中的內容
  65. }  


        要把Mysql的行資料存入hash，過程要比把資料存入string直觀很多。這是由hash的結構性質決定的——hash本身就是一個鍵值對集合：一個“父鍵”下面包含了很多“子鍵”，每個“子鍵”都對應一個值。根據前面的分析可知，結果集中的每一行實際上也是鍵值對集合。用Redis鍵值對集合表示Mysql鍵值對集合應該再合適不過了：對於結果集中的某一行，欄位對應於hash的“子鍵”，欄位對應的值就是hash“子鍵”對應的值，即結果集的一行剛好對應一個hash。這一想法的實現程式碼如下：

  1. // 該函式把結果集中的每一行都存入一個HASH結構。HASH鍵應當包括結果集識別符號和HASH編號，
  2. // 形如“cache.string:123456:1”
  3. string Cache2Hash(sql::Connection *mysql_connection,  
  4.                   redisContext *redis_connection,  
  5.                   sql::ResultSet *resultset,  
  6.                   const string &resultset_id, int ttl) {  
  7.   if (resultset->rowsCount() == 0) {  
  8.     throw runtime_error("FAILURE - no rows");  
  9.   }  
  10.   // HASH鍵的字首，包含了結果集的識別符號
  11.   string prefix("cache.hash:" + resultset_id + ":");  
  12.   unsigned int num_row = 1;  // HASH編號，附加於HASH鍵的末尾，從1開始
  13.   sql::ResultSetMetaData *meta = resultset->getMetaData();  
  14.   unsigned int num_col = meta->getColumnCount();  
  15.   // 將結果集中所有行對應的所有HASH鍵存入該SET，SET鍵包含了結果集的識別符號
  16.   string redis_row_set_key("resultset.hash:" + resultset_id);  
  17.   redisReply *reply;  
  18.   string ttlstr;  
  19.   stringstream ttlstream;  
  20.   ttlstream << ttl;  
  21.   ttlstr = ttlstream.str();  
  22.   // 結果集中的每一行對應於一個HASH，將結果集的所有行都存入相應HASH中
  23.   resultset->beforeFirst();  
  24.   while (resultset->next()) {  
  25.     string redis_row_key;  // HASH鍵名，由字首和HASH編號組成
  26.     stringstream keystream;  
  27.     keystream << prefix << num_row;  
  28.     redis_row_key = keystream.str();  
  29.     for (int i = 1; i <= num_col; ++i) {  
  30.       string col_label = meta->getColumnLabel(i);  
  31.       string col_value = resultset->getString(col_label);  
  32.       // 將結果集中一行的欄位名和對應值存入HASH
  33.       reply = static_cast<redisReply*>(redisCommand(redis_connection,  
  34.                                                    "HSET %s %s %s",  
  35.                                                    redis_row_key.c_str(),   
  36.                                                    col_label.c_str(),  
  37.                                                    col_value.c_str()));  
  38.       freeReplyObject(reply);  
  39.     }  
  40.     // 將HASH鍵加入SET中
  41.     reply = static_cast<redisReply*>(redisCommand(redis_connection,   
  42.                                                  "SADD %s %s",  
  43.                                                  redis_row_set_key.c_str(),   
  44.                                                  redis_row_key.c_str()));   
  45.     freeReplyObject(reply);  
  46.     // 設定HASH的過期時間
  47.     reply = static_cast<redisReply*>(redisCommand(redis_connection,   
  48.                                                  "EXPIRE %s %s",  
  49.                                                  redis_row_key.c_str(),   
  50.                                                  ttlstr.c_str()));  
  51.     freeReplyObject(reply);  
  52.     ++num_row;  
  53.   }  
  54.   // 設定SET的過期時間
  55.   reply = static_cast<redisReply*>(redisCommand(redis_connection,   
  56.                                                "EXPIRE %s %s",  
  57.                                                redis_row_set_key.c_str(),   
  58.                                                ttlstr.c_str()));  
  59.   freeReplyObject(reply);  
  60.   return redis_row_set_key;  // 返回SET鍵，以便於其他函式獲取該SET中的內容
  61. }  

        至此，我們已經給出了兩種儲存Mysql結果集的方案，這就是我們在篇首提出的第一個問題，即選擇何種資料結構儲存Mysql結果集的答案。下一篇文章將研究第二個問題，即資料結構鍵的識別符號選擇問題。

相關推薦

Redis 學習第二章

        用Redis作Mysql資料庫快取，必須解決2個問題。首先，應該確定用何種資料結構儲存來自Mysql的資料；在確定資料結構之後，還要考慮用什麼標識作為該資料結構的鍵。         直觀上看，Mysql中的資料都是按表儲存的；更微觀地看，這些表都是按行儲存

機器學習 第二章：模型評估與選擇-總結

但是 交叉 roc曲線 掃描 com ram hidden 技術分享 preview 1、數據集包含1000個樣本，其中500個正例，500個反例，將其劃分為包含70%樣本的訓練集和30%樣本的測試集用於留出法評估，試估算共有多少種劃分方式。 留出法將數據集劃分為兩個互斥的

Java虛擬機 學習 第二章總結

windows 控制 常量池 永久代 導致 程序 兩個 內存模型 直接內存 Java的內存管理機制JVM運行時的數據區域：程序計數器，Java虛擬機棧，本地方法棧，Java堆，方法區，運行時常量池，（直接內存） 按照線程共享分類：線程獨有 　　1.程序計數器，占用非常小的

大數據學習第二章、HDFS相關概念

AR 冷備份 secondary 很多 存儲 font 磁盤 一個 sim 1、HDFS核心概念： 塊 （1）為了分攤磁盤讀寫開銷也就是大量數據間分攤磁盤尋址開銷 （2）HDFS塊比普通的文件塊大很多，HDFS默認塊大小為64MB，普通的只有幾千kb 　　原因：1、支持面向

Python 學習第二章

dad put lis 二進制 顯示 使用 整型 詳細 c4c 本章內容 數據類型 數據運算 表達式 if ...else 語句 表達式 for 循環 表達式 while 循環 一、數據類型 　　在內存中存儲的數據可以有多種類型。 　　在 Pyt

Python學習-第二章 列表和元組

列表和元組 在Python中，最基本的資料結構為序列。 Python內建了多種序列，最常用的兩種：列表和元組。 列表和元組的主要不同在於，列表是可以修改的，而元組不可以。 對於切片的理解： >>> numbers=[1,2,3,4,5,6,7,8,9,10] >

《圖解TCP/IP》學習——第二章TCP/IP基礎知識

一、TCP/IP出現的背景及其歷史 1.從軍用技術的應用談起 下面是容災性較弱的中央集中式網路 下面的是容災性較強的分組網路 2.ARPANET的誕生 3.TCP/IP的誕生 4.UNIX系統的普及與網際網路的擴張 5.商用網際網路服務的啟蒙 二、TCP

JAVA學習第二章Eclipse-workspace

來源於http://www.runoob.com/java/java-object-classes.html package Day2; public class Puppy { public Puppy(String name) { System.out.println(“小狗的名字是

TensroFlow學習——第二章（一）

損失函式 經典損失函式 分類問題和迴歸問題是監督學習的兩大種類。 1. 分類問題——將不同的樣本分到事先定義好的類別中。 交叉熵（cross entropy）：刻畫兩個概率分佈之間的距離，是分類問題中使用較為廣泛的一種損失函式。 (1)Softmax迴歸，可以將神經網

21個專案玩轉深度學習 第二章 CIFAR10

首先介紹第一個檔案infar10_input.py，用途：在tensorflow中讀取人CIFAR-10訓練圖片。 這個IMAGE_SIZE=24並不是原始圖片的大小，而是接下來要裁剪成的大小 IMAGE_SIZE = 24 NUM_CLASSES = 10 NU

百面機器學習第二章--經典演算法

1.支援向量機 問題1：在空間上線性可分的兩類點，分別向SVM分類的超平面上做投影，這些點在超平面上的投影仍然是線性可分的嗎？ 問題2：是否存在一組引數使SVM訓練誤差為0？ 問題3：訓練誤差為0的SVM分類器一定存在嗎？ 問題4：加入鬆弛變數的SVM的訓練誤差可以為0嗎？ 2.邏輯迴歸 問題1：

MySQL學習第二章 -MySQL安裝

所有平臺的 MySQL 下載地址為： MySQL 下載 。 挑選你需要的 MySQL Community Server 版本及對應的平臺。 注意：安裝過程我們需要通過開啟管理員許可權來安裝，否則會由於許可權不足導致無法安裝。 Linux/UNIX 上安裝 MyS

scala學習第二章 控制結構與函式

在scala中可以將if/else表示式的值賦值給一個變數 例如: val s = if(x > 0) 1 else o var sum = 0; val s == "hello" for(i <- 0 to s.until s.length)//until

Elasticsearch學習-----第二章 windows環境下Elasticsearch同步mysql數據庫

mysql數據庫 kibana user 窗口 上下 pass targe mov 解決 在上一章中，我們已經能夠通過spring boot來使用Elasticsearch，但是由於我們習慣性的將數據寫入mysql，所以為了解決這個問題，Elasticsearch為我們提供

Samba 學習第二章 操作使用者

對於samba使用者管理,分為 2 部分 第一部分：使用者 使用者取自作業系統使用者，所以，要新增系統使用者 第二部分：samba 使用者 samba使用者來自作業系統使用者，需要將系統使用者新增到samba使用者中來即可 基礎操作命令： 1、檢視已有使用者 pdb

斯坦福 機器學習-第二章 生成學習演算法

CS229 Lecture notes Part IV 生成學習演算法，Generative Learning algorithms 目前為止，我們講過的學習演算法的模型都是p (y|x;θ)，也就是給定 x 下的 y 的條件分佈，以 θ 為引數。例如，邏

JAVA程式設計思想學習 --- 第二章 (一切都是物件)

1.程式執行時，我們資料儲存的地方     (1) 暫存器。這是最快的儲存區域，因為它位於和其他所有儲存方式不同的地方：處理器內部。然而，暫存器的數量十分有限，所以暫存器是根據需要由編譯器分配。我們對此沒有直接的控制權，也不可能在自己的程式裡找到暫存器存在的任何蹤跡。   

【機器學習筆記】第二章：模型評估與選擇

機器學習 ini ppi 第二章 err cap ner rate rac 2.1 經驗誤差與過擬合 1. error rate/accuracy 2. error: training error/empirical error, generalization error

我的學習之路_第二章_接口/多態

nal interface implement 類型轉換 ace pri 類名 提高 表現 接口 (1)當抽象類中的方法都是抽象的時候，java就提供了一種新的表現形式：接口。接口是功能的集合 接口不能創建對象 (2)格式： 父接口： public interface

一站式學習Wireshark第二章

forbidden 快速 pro 幫助 shark sha 客戶 echo 從服務器 TCP: TCP/IP通過三次握手建立一個連接。這一過程中的三種報文是：SYN，SYN/ACK，ACK。 第一步是找到PC發送到網絡服務器的第一個SYN報文，這標識了TCP三次握手的開始。