1. 程式人生 > >支撐微博億級社交平臺,小白也能玩轉Redis叢集(實戰篇)

支撐微博億級社交平臺,小白也能玩轉Redis叢集(實戰篇)

上篇文章《支撐微博億級社交平臺,小白也能玩轉Redis叢集(原理篇)》介紹了Redis叢集相關原理,這篇文章將介紹Redis Cluster叢集的搭建、配置,運維、擴容等具體操作

叢集搭建

2018年10月 Redis 釋出了穩定版本的 5.0 版本,推出了各種新特性,其中一點是叢集管理工具從基於Ruby的redis-trib.rb移植到基於C語言redis-cli中,方便叢集的構建和管理

Redis Cluster叢集執行至少需要包含3個主節點,實現高可用最少需要3主3從6個節點

以下步驟基於Redis 5.0.5版本,介紹如何在一臺 Linux 伺服器上搭建有3主3從的6節點的 Redis叢集

  • 步驟1 建立安裝目錄
mkdir -p /data/project/redis-cluster
  • 步驟2 下載原始碼並解壓編譯
cd /data/project/redis-cluster
wget http://download.redis.io/releases/redis-5.0.5.tar.gz
tar xzf redis-5.0.5.tar.gz
cd redis-5.0.5
make

執行make後,如果報錯“jemalloc/jemalloc.h:沒有那個檔案或目錄”,可以改為用以下命令:

make MALLOC=libc
  • 步驟3 建立6個Redis配置檔案
    6個配置檔案不能在同一個目錄,下面Redis 6個節點分別安裝在7000~7005埠
    首先建立配置檔案目錄及檔案,定義如下:
mkdir -p /data/project/redis-cluster/nodes/7000
mkdir -p /data/project/redis-cluster/nodes/7001
mkdir -p /data/project/redis-cluster/nodes/7002
mkdir -p /data/project/redis-cluster/nodes/7003
mkdir -p /data/project/redis-cluster/nodes/7004
mkdir -p /data/project/redis-cluster/nodes/7005

touch /data/project/redis-cluster/nodes/7000/redis.conf
touch /data/project/redis-cluster/nodes/7001/redis.conf
touch /data/project/redis-cluster/nodes/7002/redis.conf
touch /data/project/redis-cluster/nodes/7003/redis.conf
touch /data/project/redis-cluster/nodes/7004/redis.conf
touch /data/project/redis-cluster/nodes/7005/redis.conf

redis.conf配置檔案的內容為:

############################## 網路 ##############################
# 埠
port 7000
# 非保護模式,如果值為yes,則必須是 bind配置指定的ip的機器連線或者使用密碼連線
protected-mode no 

############################## 通用 ##############################
# 後臺執行
daemonize yes 
# 記錄redis程序pid
pidfile  /var/run/redis_7000.pid

############################## 叢集 ##############################
# 啟用叢集模式
cluster-enabled yes 
cluster-config-file nodes_7000.conf
# 叢集節點如果在該超時時間(毫秒)內不可達,則認為節點處於故障狀態
cluster-node-timeout 5000

############################## 持久化 ##############################
# AOF, RDB持久化檔案目錄
dir /data/project/redis-cluster/nodes
# 開啟AOF持久化
appendonly yes
# AOF檔名
appendfilename "appendonly_7000.aof"
# 當目前aof檔案大小超過上一次重寫的aof檔案大小的百分之多少進行重寫
auto-aof-rewrite-percentage 100
# 設定允許重寫的最小aof檔案大小,避免了達到約定百分比但尺寸仍然很小的情況還要重寫
auto-aof-rewrite-min-size 64mb
# RDB檔名
dbfilename dump_7000.rdb

其中 port 、 pidfile、cluster-config-file、appendfilename、 dbfilename配置需要隨著節點的不同而調整

配置項說明可以參考redis-5.0.5/redis.conf,每一項都介紹得很詳細,推薦閱讀

  • 步驟4 啟動節點
/data/project/redis-cluster/redis-5.0.5/src/redis-server /data/project/redis-cluster/nodes/7000/redis.conf
/data/project/redis-cluster/redis-5.0.5/src/redis-server /data/project/redis-cluster/nodes/7001/redis.conf
/data/project/redis-cluster/redis-5.0.5/src/redis-server /data/project/redis-cluster/nodes/7002/redis.conf
/data/project/redis-cluster/redis-5.0.5/src/redis-server /data/project/redis-cluster/nodes/7003/redis.conf
/data/project/redis-cluster/redis-5.0.5/src/redis-server /data/project/redis-cluster/nodes/7004/redis.conf
/data/project/redis-cluster/redis-5.0.5/src/redis-server /data/project/redis-cluster/nodes/7005/redis.conf

ps -ef|grep redis,可以看到6個redis程序已啟動:

  • 步驟5 啟動叢集
    使用如下命令啟動叢集,IP地址自行替換:
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster create 192.168.56.102:7000 192.168.56.102:7001 192.168.56.102:7002 192.168.56.102:7003 192.168.56.102:7004 192.168.56.102:7005 --cluster-replicas 1

啟動成功資訊如下:

到此,Redis Cluster 叢集搭建完成

叢集資訊檢視

Redis5的redis-cli新增系列叢集運維功能,檢視命令詳情:

/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster help

命令引數具體作用可以參考官方文件,下面會基於其中一些常用命令對叢集進行管理

  • 檢查節點狀態
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster check 192.168.56.102:7000

  • 檢視叢集資訊
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster info 192.168.56.102:7000

叢集擴容

叢集現在有3主3從,下面新增4個節點擴容變成5主5從

  • 步驟1 啟動新節點
    建立4個Redis配置檔案,埠號為7006~7009,然後啟動節點(參考“叢集搭建”的步驟3和步驟4)
  • 步驟2 新節點加入叢集
    設定4個節點分別加入已有redis叢集,2個為主節點,2個為從節點
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster add-node 192.168.56.102:7006 192.168.56.102:7005 
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster add-node 192.168.56.102:7007 192.168.56.102:7005 

# 24e2c是節點7006的id,代表該節點加入叢集併為7006的從節點
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster add-node 192.168.56.102:7008 192.168.56.102:7005 --cluster-slave --cluster-master-id 24e2c369678952b07d95c0a4b49c2d7a7b2e2bf7 
# 24e2c是節點7007的id,代表該節點加入叢集併為7007的從節點
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster add-node 192.168.56.102:7009  192.168.56.102:7005 --cluster-slave --cluster-master-id ab0f74a19819a74238df7a510494e9418678cbe1

此時叢集狀態如下,其中主節點7006和主節點7007還沒分配任何slot,在下面的步驟會進行分配:

  • 步驟3 模擬slot重新平衡分配
    基於rebalance命令,增加--cluster-simulat引數,檢視會遷移哪些slots,而不會真正執行遷移操作
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster rebalance 192.168.56.102:7000 --cluster-threshold 1 --cluster-use-empty-masters  --cluster-simulat

返回以下遷移資訊:

  • 步驟4 執行slot重新平衡分配
    執行rebalance命令,平衡叢集節點slot數量,重新分配slot( 去掉--cluster-simulat)
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster rebalance 192.168.56.102:7000 --cluster-threshold 1 --cluster-use-empty-masters

至此,叢集擴容完成,叢集縮容的話,需要基於reshard將需被下線的結點中的slot移到其他結點,然後基於del-node命令刪除結點

總結

這篇文章介紹Redis Cluster叢集一些基本實現,篇幅所限,後面有機會再展開介紹Redis一些線上問題踩坑經驗、監控運維平臺建設,歡迎繼續關注

參考

redis cluster管理工具redis-trib-rb詳解
http://weizijun.cn/2016/01/08/redis%20cluster管理工具redis-trib-rb詳解/

相關推薦

支撐社交平臺Redis叢集(實戰)

上篇文章《支撐微博億級社交平臺,小白也能玩轉Redis叢集(原理篇)》介紹了Redis叢集相關原理,這篇文章將介紹Redis Cluster叢集的搭建、配置,運維、擴容等具體操作 叢集搭建 2018年10月 Redis 釋出了穩定版本的 5.0 版本,推出了各種新特性,其中一點是叢集管理工具從基於Ruby

支撐社交平臺Redis叢集(原理)

Redis作為一款效能優異的記憶體資料庫,支撐著微博億級社交平臺,也成為很多網際網路公司的標配。這裡將以Redis Cluster叢集為核心,基於最新的Redis5版本,從原理再到實戰,玩轉Redis叢集 常見Redis叢集方案 在介紹Redis Cluster叢集方案之前,為了方便對比,先簡單瞭解一下業

牢記這7點技術ES

導讀: Elasticsearch是目前大資料領域最熱門的技術棧之一,經過近8年的發展,已從0.0.X版升級至6.X版本,雖然增加了很多的特性和功能,但是在主體架構上,還是沒有太多的變化。下面就把我對於ES使用實踐的一些經驗總結一下,供大家參考。   一、 硬體環境選擇 &

快快使用ModelArts零基礎AI!

摘要: 走過路過不要錯過,看Copy攻城獅如何借力華為雲ModelArts玩轉AI。 “自2018年10月釋出以來,ModelArts累計服務了眾多行業十幾萬開發者,通過基礎平臺的完備性和麵向行業的知識沉澱以及平臺化能力,使得AI應用開發更簡單高效。” 正如華為輪值董事長徐直軍在《ModelArts人工智慧應

爬蟲教程」Python做一個簡單爬蟲看懂的教程

俗話說“巧婦難為無米之炊”,除了傳統的資料來源,如歷史年鑑,實驗資料等,很難有更為簡便快捷的方式獲得資料,在目前網際網路的飛速發展寫,大量的資料可以通過網頁直接採集,“網路爬蟲”應運而生,本篇將會講解簡單的網路爬蟲編寫方法。   開發環境 每個人的開發環境各異,下面上是我的開發

Python做一個簡單爬蟲看懂的教程

俗話說“巧婦難為無米之炊”,除了傳統的資料來源,如歷史年鑑,實驗資料等,很難有更為簡便快捷的方式獲得資料,在目前網際網路的飛速發展寫,大量的資料可以通過網頁直接採集,“網路爬蟲”應運而生,本篇將會講解簡單的網路爬蟲編寫方法。 開發環境 每個人的開發環境各異,下面上是我的開發環境,對於必須的

「爬蟲教程」Python做一個簡單爬蟲看懂的教程

俗話說“巧婦難為無米之炊”,除了傳統的資料來源,如歷史年鑑,實驗資料等,很難有更為簡便快捷的方式獲得資料,在目前網際網路的飛速發展寫,大量的資料可以通過網頁直接採集,“網路爬蟲”應運而生,本篇將會講解簡單的網路爬蟲編寫方法。   開發環境 每個人的開發環境各異,下面上是我的開發

一個工具(setup)獨立管理自己的Linux伺服器

一、概述 對於很多非IT專業的朋友來說,Linux可能經常聽說,但是真正使用過的人卻少之又少。其實目前的一些Linux發行版已經很成熟,不熟悉Linux的朋友們經過一段時間的磨合之後也能快速上手。如果沒有桌面環境,很多人對Linux的使用也存在望而生畏的情況。

10分鐘前端工程師區塊鏈Web3.js開發

一個不想寫後臺的前端不是一個好全棧,前端也可以玩轉區塊鏈Web3.js開發。老吳(

思維導圖不會畫?超詳細教程講解變高手

思路 進入 思維導圖 RoCE 外觀 學習者 png follow https 思維導圖可以讓復雜的問題變得簡單,簡單的可以在一張白紙上畫下來,讓人一看就明白問題的全部,思維導圖可以把人們看不見、摸不著的想法展現出來,學習者可以用思維導圖將自己記錄的知識記下來,進而進行反復

白話解析分布式系統看懂

都是 pri 爭論 先後 -o 以及 結果 mysq 自己 西方詩歌有雲,無人是孤島,你我心相系。今天,這句話同樣適用於計算機。我們身邊的服務器,個人電腦以及數據存儲一直都在彼此通信。其實,我們每天使用的(和在開發的)應用和服務也都是構成完整系統的計算元素,彼此進行著交互,

彙編入門第一看懂

> cxuan自己的 Github 非常硬核,求各位大佬 star: https://github.com/crisxuan/bestJavaer 彙編程式碼是計算機的一種低階表示,它是一種低階語言,可以從字面角度去理解它,包括處理資料、管理記憶體、讀寫儲存裝置上的資料,以及利用網路通訊等。編譯器生成機器碼

乾貨!上古神器 sed 教程詳解看的懂

目錄: 介紹工作原理正則表示式基本語法數字定址和正則定址基本子命令實戰練習 介紹 熟悉 Linux 的同學一定知道大名鼎鼎的 Linux 三劍客,它們是 grep、awk、sed,我們今天要聊的主角就是 sed。 sed 全名叫 stream editor,流編輯器,用程式的方式來編輯文字,與 vim

App分享之等各個社交平臺的分享授權規則和常見問題

文字 內存 微博分享 span 效果 bsp 直接 程序 qq互聯 一、新浪微博分享規則 新浪微博支持分享類型: 應用內分享也就是網頁分享支持: 文字,文字+圖片,要分享鏈接需要鏈接添加在text裏分享 客戶端分享支持:文字,圖片,文字+圖片,圖片+文字+鏈接 參數說明:t

python爬蟲-20行代碼爬取王者榮耀所有英雄圖片輕輕松松

需要 tis tca wcf 爬取 html eas request 有用 1.環境 python3.6 需要用到的庫: re、os、requests 2.簡介 王者榮耀可以算得上是比較受歡迎的手遊之一了,應該有不少的人都入坑過農藥,我們今天的目的就是要爬取王者榮耀的高

做的IP代理池好久沒更新了不知道你們想看什麽呢!

不知道 一個 pytho 爬取 save 包含著 異步處理 使用方法 gen IP代理池制作 GitHub主頁: https://github.com/hfldqwe/ 使用工具: ip代理抓取: requests 後臺搭建: Django+Redis 代理檢測: ip

懂的hadoop生態圈很黃很暴力!

轉自Xiaoyu Ma 連結:請戳這裡! 來源:知乎 著作權歸作者所有。商業轉載請聯絡作者獲得授權,非商業轉載請註明出處。 大資料本身是個很寬泛的概念,Hadoop生態圈(或者泛生態圈)基本上都是為了處理超過單機尺度的資料處理而誕生的。你可以把它比作一個廚房所以

一行Python程式碼就可以下載任意網站視訊零基礎輕鬆學會

前言 對於Python爬蟲很多人都不陌生,可以用它來批量下載文字、圖片、視訊等,其中涉及的知識點也是比較多的,但是Python中有一個方法,一行程式碼就能爬取任意網站上面的視訊,只要你安裝了Python環境就可以,哪怕是小白也能輕鬆學會。 You-Get You-Get是一個基於 Pyt

小米紅米手機ROM製作工具支援編輯修改精簡app定製化修改可上手。

ROM製作工具是目前windows環境下最強大的一款高效免費的ROM定製工具,使用這款工具可以幫助使用者製作修改線刷包、卡刷包智慧解包封包預裝,擁有多種專業ROM定製功能。支援小米、華為、vivo、oppo、一加、努比亞、中興、三星、酷派等品牌的ROM修改,除了製作rom,它

漫客們的福利啦爬取整站動漫圖片超簡單

  正文 目標網站divinl 首先看看這網站是怎樣載入資料的; 開啟網站後發現底部有下一頁的按鈕,ok,爬這個網站就很簡單了; 學習Python中有不明白推薦加入交流裙             &nbs