Proxmox VE + Ceph 超融合專案實戰（第七部分：Ceph分散式儲存）
七、Ceph分散式儲存
Ceph以其先進的去中心化設計，成為了分散式塊儲存領域的佼佼者，它可以將多臺伺服器中的硬碟聚合成一個叢集，對外可提供檔案儲存、塊儲存、物件儲存等多種形式，Ceph的另一個特點是資料採用多副本方式儲存，避免由於單點故障造成的業務中斷和資料丟失。
7.1 Ceph的注意事項
Proxmox VE提供了簡單易用的Ceph 安裝嚮導，選中叢集中的一個節點，然後在選單樹中開啟Ceph選單區，就可以開始安裝Ceph 了。
安裝嚮導有多個步驟，每個步驟都需要執行成功才可以完成Ceph 安裝。開始安裝操作後，嚮導會自動從Proxmox VE 的Ceph 軟體源下載軟體包並完成安裝。
完成第一個步驟後，還需要建立配置。對每個叢集，生成的配置資訊會自動分發到其他節點，所以該操作只需要執行一次即可。
建立的配置包括以下資訊：
- 1）Public Network
為避免影響叢集通訊等其他對網路延遲敏感的服務，也為了提高Ceph 效能，強烈建議為Ceph 準備一個專門的獨立網路，將Ceph流量隔離開來。
- 2） Cluster Network
進一步，還可以設定Cluster Network，將OSD複製和心跳流量隔離出來。這將有效降低public network的負載，並有效改善大規模Ceph叢集的效能。
7.2 初始化Ceph安裝和配置
每個節點都需要安裝Ceph，每個節點的Ceph安裝基本相同，這裡只演示節點1的Ceph安裝。
- 第一步：在節點1介面中，選擇“Ceph→Install Ceph”，點選“Install Ceph”按鈕，如圖47所示。
圖47. Ceph安裝嚮導
- 第二步：選擇“設定→資訊→Start octopus installation”，點選“Start octopus installation”按鈕，如圖48所示。
圖48. 選擇15.2版本進行安裝
- 第三步：選擇“設定→安裝”，輸入“Y”之後，按回車鍵，自動安裝Ceph，如圖49所示。
圖49. 自動安裝Ceph
- 第四步：安裝完成之後，繼續點選“下一步”按鈕，安裝成功之後，會提示安裝成功的資訊“installed ceph octopus successfully”，如圖50所示。
圖50. Ceph安裝成功
- 第五步：完成Ceph叢集配置資訊，包括公共網路IP、叢集網路IP等資訊，如圖51所示。
圖51. Ceph叢集配置
- 第六步：完成配置資訊，Ceph安裝成功，如圖52所示。
圖52. Ceph安裝成功
- 第七步：檢視配置資訊，如圖53所示。
圖53. Ceph的配置資訊
7.3 配置Ceph監視器
Ceph安裝完成之後，節點1出現“監視器”和“管理員”中，還需要把節點2和節點3新增進來。在本專案中，監視器節點和管理員節點資訊如圖54所示。
圖54. Ceph的配置資訊
從圖54中可以發現，監視器和管理網路使用的都是公共網路，沒有使用叢集網路。
- 第一步：在節點1的監視器中，建立另外兩個節點的監視器，點選“建立”按鈕，如圖55所示。
圖55. 建立節點2監視器
- 第二步：在節點1的管理員，建立另外兩個節點的管理員，點選“建立”按鈕，如圖56所示。
圖56. 建立節點2管理員
- 第三步：在Ceph監控介面檢視節點的監視器和管理HA，選擇“bve-node1→Ceph”，如圖57所示。
Ceph的監控UI介面中，監視器和管理HA如圖57中的紅框所示：
圖57. Ceph的監視器和管理HA介面
7.4 配置Ceph的OSD
由圖3可知，各節點伺服器支援八個盤位，其中sdc和sdd組成RAID1，作為系統盤使用，所以Ceph的OSD需要選擇未做RAID的硬碟，每個節點的OSD只有6個。
本專案中，三個節點的Ceph的OSD磁碟配置資訊如圖58、圖59所示。
圖58. OSD配置資訊-1
圖59. OSD配置資訊-2
- 第一步：建立節點1的OSD
從節點1中登入叢集，在節點1中，選擇“Ceph→OSD→建立:OSD”，在磁碟中，逐次新增sda、sdb、sde、sdf、sdg、sdh這6塊沒有被使用的磁碟，資料庫磁碟和WAL磁碟保持預設即可，如圖60所示。
圖60. 建立OSD
注意，在本專案中，資料庫磁碟（DB Disk）和WAL磁碟（WAL Disk）我都選擇了預設方式，其實做一下硬碟規劃會更好。
建立其他節點的OSD與節點1類似，這裡不做詳述。
- 第二步：也可以在配置資訊的Crush Map檢視叢集的OSD配置
選擇任意節點登入叢集，選擇“bve-node1→Ceph→配置→Crush Map”，從Crush Map中可以檢視叢集的OSD配置資訊。
7.5 配置CephFS（可選）
7.5.1 建立CephFS
選擇“bve-node1→Ceph→CephFS→建立CephFS”，選擇預設值建立CephFS，建立之後如圖64所示。
圖64. 建立CephFS
7.5.2 元資料伺服器配置
選擇“bve-node1→Ceph→CephFS→元資料伺服器→建立”，將節點1新增進來，如圖65所示。
圖65. 新增元資料伺服器節點
將節點1新增到元資料伺服器之後，再用同樣的方法將節點2、節點3新增到元資料伺服器之中去。
新增好元資料伺服器節點之後，可以在Ceph監控介面看到元資料伺服器的監控資訊，如圖67所示。
圖67. 元資料伺服器監控介面
7.6 配置Pools資源池
7.6.1 節點1配置Pools資源池
在Pools資源池配置之前，節點1的Pools介面如圖68所示。
圖68. 節點1的Pools介面
- 第一步：建立ssd_storage儲存
選擇“bve-node1→Ceph→Pools→建立”，點選“建立”按鈕，建立名稱為“ssd_storage”的儲存，建立之後如圖69所示。
圖69. 建立ssd_storage儲存
根據官方的文件，pg_num這個數值比較關鍵，如果不合適的話，Ceph會告警，官方建議:
若少於5個OSD， 設定pg_num為128。
5~10個OSD，設定pg_num為512。
10~50個OSD，設定pg_num為4096。
- 第二步：建立hdd_storage儲存
選擇“bve-node1→Ceph→Pools→建立”，點選“建立”按鈕，建立名稱為“hdd_storage”的儲存，建立之後如圖70所示。
圖70. 建立hdd_storage儲存
- 第三步：建立完成之後，節點1左側的儲存選單樹中會出現這兩個儲存名稱，如圖71所示，正常情況下，就可以在ssd_storage、hdd_storage上安裝虛擬機器了。
圖71. ssd_storage與hdd_storage儲存
7.6.2 節點2配置Pools資源池
節點2的Pools資源池配置與節點1的相似，不再贅述。
7.6.3 節點3配置Pools資源池
節點3的Pools資源池配置與節點1的相似，不再贅述。
7.7 Ceph磁碟管理
7.7.1 OSD磁碟下線
如果想要把一個Ceph的OSD磁碟更換下來，先選中OSD磁碟，接著按“停止”按鈕先停止OSD服務，接著再按“Out”按鈕，這個時候OSD.10的狀態如圖75所示，就可以把該磁碟取出。
圖75. OSD磁碟解除安裝
7.7.2 OSD磁碟上線
OSD磁碟載入與OSD磁碟解除安裝過程剛好相反，先把磁碟插進伺服器的盤位中，接著先按“in”按鈕，等“in”圖示變為綠色之後，再按“啟動”按鈕啟動OSD服務，過幾秒鐘之後，OSD便會恢復正常，不再演示截圖。
作者：Varden 出處：http://www.cnblogs.com/varden/ 本文內容如有雷同，請聯絡作者！ 本文版權歸作者和部落格園共有，歡迎轉載，但未經作者同意必須保留此段宣告，且在文章頁面明顯位置給出原文連線，否則保留追究法律責任的權利。