1. 程式人生 > >2018-5-21 NoSQL、memcached安裝

2018-5-21 NoSQL、memcached安裝

memcached NoSQL

21.1 nosql介紹


·什麽是NoSQL

·非關系型數據庫就是NoSQL,關系型數據庫代表MySQL

·對於關系型數據庫來說,是需要把數據存儲到庫、表、行、字段裏,查詢的時候根據條件一行一行地去匹配,當量非常大的時候就很耗費時間和資源,尤其是數據是需要從磁盤裏去檢索

·NoSQL數據庫存儲原理非常簡單(典型的數據類型為k-v),不存在繁雜的關系鏈,比如mysql查詢的時候,需要找到對應的庫、表(通常是多個表)以及字段。

·NoSQL數據可以存儲在內存裏,查詢速度非常快

·NoSQL在性能表現上雖然能優於關系型數據庫,但是它並不能完全替代關系型數據庫

·NoSQL因為沒有復雜的數據結構,擴展非常容易,支持分布式


·常見NoSQL數據庫

·k-v(key-value)形式的memcached、redis 適合儲存用戶信息,比如會話、配置文件、參數、購物車等等。這些信息一般都和ID(鍵)掛鉤,這種情景下鍵值數據庫是個很好的選擇。

·文檔數據庫mongodb 將數據以文檔的形式儲存。每個文檔都是一系列數據項的集合。每個數據項都有一個名稱與對應的值,值既可以是簡單的數據類型,如字符串、數字和日期等;也可以是復雜的類型,如有序列表和關聯對象。數據存儲的最小單位是文檔,同一個表中存儲的文檔屬性可以是不同的,數據可以使用XML、JSON或者JSONB等多種形式存儲。

·列存儲 Hbase

·圖 Neo4J、Infinite Graph、OrientDB






21.2 memrcached介紹


·Memcached是國外社區網站LiveJournal團隊開發,目的是為了通過緩存數據庫查詢結果,減少數據庫訪問次數,從而提高動態web站點性能。

技術分享圖片

·官方站點 http://www.memcached.org/

·數據結構簡單(k-v),數據存放在內存裏,重啟系統或重啟服務,數據會丟失,因此定期備份到磁盤中

·多線程

·基於c/s架構,協議簡單

·基於libevent的事件處理

·自主內存存儲處理(slab allowcation)

·數據過期方式:Lazy Expiration 和 LRU


·Memcached的數據流向

技術分享圖片


·Slab allocation

·Slab Allocation的原理

·將分配的內存分割成各種尺寸的塊(chunk), 並把尺寸相同的塊分成組(chunk的集合),每個chunk集合被稱為slab

·Memcached的內存分配以Page為單位,Page默認值為1M,可以在啟動時通過-I參數來指定。

·Slab是由多個Page組成的,Page按照指定大小切割成多個chunk。

技術分享圖片


·Growth factor

·Memcached在啟動時通過-f選項可以指定 Growth Factor因子。該值控制chunk大小的差異。默認值為1.25。

·通過memcached-tool命令查看指定Memcached實例的不同slab狀態,可以看到各Item所占大小(chunk大小)差距為1.25

·命令:# memcached-tool 127.0.0.1:11211 display


·Memcached的數據過期方式

·1,Lazy Expiration

·Memcached 內部不會監視記錄是否過期,而是在 get 時查看記錄的時間戳,檢查記錄是否過期。這種技術被稱為 lazy(惰性)expiration。因此,Memcached 不會在過期監視上耗費CPU時間。

·2,LRU

·Memcached會優先使用已超時的記錄的空間,但即使如此,也會發生追加新記錄時空間不足的情況,此時就要使用名為Least Recently Used(LRU)機制來分配空間。顧名思義,這是刪除“最近最少使用”的記錄的機制。因此,當內存空間不足時(無法從slab class獲取到新的空間時),就從最近未被使用的記錄中搜索,並將其空間分配給新的記錄。從緩存的實用角度來看,該模型十分理想。






21.3 安裝memcached



·安裝:

[root@localhost ~]# rpm -qa libevent

libevent-2.0.21-4.el7.x86_64

[root@localhost ~]# yum install -y memcached

(過程略)

已安裝:

memcached.x86_64 0:1.4.15-10.el7_3.1

[root@localhost ~]# systemctl start memcached

[root@localhost ~]# ps aux |grep memcache

memcach+ 1551 0.0 0.1 325564 1180 ? Ssl 20:53 0:00 /usr/bin/memcached -u memcached -p 11211 -m 64 -c 1024

root 1558 0.0 0.0 112676 984 pts/0 R+ 20:53 0:00 grep --color=auto memcache

(-u指定用戶,-p指定端口,-m分配內存,-c最大並發數,參數可以在啟動的時候設置)


·有兩種更改參數的方法:一種在啟動服務時手動指定,二是在 /etc/sysconfig/memcached 中設置

[root@localhost ~]# vim /etc/sysconfig/memcached

PORT="11211"

USER="memcached"

MAXCONN="1024"

CACHESIZE="64"

OPTIONS="127.0.0.1"


·memcached

-u 指定用戶

-p 指定端口

-m 指定memcached分配內存

-c 最大並發數

-l 指定監聽的ip

-d 後臺啟動

(平時最多更改分配內存)






21.4 查看memcachedq狀態


·查看memcached狀態有3中方法:1,memcached-tool工具;2,nc命令;3,memstat 命令


·memcached-tool工具

[root@localhost ~]# memcached-tool 127.0.0.1:11211 stats

技術分享圖片

get_hits 除以 curr_items 來計算命中率


·nc命令

[root@localhost ~]# yum install -y nc

(過程略)

已安裝:

nmap-ncat.x86_64 2:6.40-13.el7

·查詢 memcached 狀態:

[root@localhost ~]# echo stats | nc 127.0.0.1 11211

技術分享圖片


·memstat:若安裝 libmemcached 後,可以使用命令 memstat

[root@localhost ~]# rpm -qa libmemcached

[root@localhost ~]# yum install -y libmemcached

(過程略)

已安裝:

libmemcached.x86_64 0:1.0.16-5.el7

[root@localhost ~]# memstat --servers=127.0.0.1:11211

技術分享圖片


匯總:

[root@localhost ~]# memcached-tool 127.0.0.1:11211 stats

[root@localhost ~]# echo stats | nc 127.0.0.1 11211

[root@localhost ~]# memstat --servers=127.0.0.1:11211


2018-5-21 NoSQL、memcached安裝