2. 程式人生 > >OpenStack 使用Ceph 配置指導

OpenStack 使用Ceph 配置指導

阿新 • • 發佈：2019-01-23

概述

Ceph 作為分散式檔案系統，不但具有高可靠性、高擴充套件性、高效能， 也是統一儲存系統，支援物件儲存、塊儲存、檔案儲存，本文介紹如何使用Ceph 塊儲存作為OpenStack的Glance、Nova、Cinder元件的後端儲存

前面已經分享過ceph 叢集的部署，下面如何讓openstack在glance、cinder、nova元件後端配置使用ceph來進行儲存

參考文件

環境資訊

192.168.3.8     ceph node1  （部署mon,mds）
192.168.3.9     ceph node2  （部署osd)
192.168.3.10   ceph node3   (部署osd)
192.168.3.4     openstack    （devstack 部署，包括 controller, network,compute)

說明

ceph 不支援qcow2格式的映象，所以如果配置nova部分如果要啟動虛擬機器在ceph ，映象必須是raw

配置glance

配置認證

1.將node1節點/etc/ceph目錄下的兩個檔案拷貝到openstack 的 controller節點和compute節點（我這裡都在一個節點）

cd /etc/ceph/

scp ceph.conf ceph.client.admin.keyring 192.168.3.4:/etc/ceph/

2.修改ceph.client.admin.keyring的許可權

chmod +r /etc/ceph/ceph.client.admin.keyring

3.在ceph148上建立glance的儲存池

rados mkpool glance

4.編輯openstack上glance的配置檔案/etc/glance/glance-api.conf中如下配置項

rbd_store_ceph_conf = /etc/ceph/ceph.conf

stores = rbd    (L 以前版本不需要這個)

default_store = rbd 

rbd_store_user = admin  (這裡的使用者名稱是上面cephx認證的使用者)

rbd_store_pool = glance

rbd_store_chunk_size = 8

6,重啟glance-api 服務

7,上傳一個映象

[email protected]
 
:~/devstack$ glance image-create --name "cirros-0.3.2-x86_64-10" --disk-format qcow2 --container-format bare <./files/images/cirros-0.3.4-x86_64-uec/cirros-0.3.4-x86_64-blank.img
+------------------+--------------------------------------+
| Property         | Value                                |
+------------------+--------------------------------------+
| checksum         | eb9139e4942121f22bbc2afc0400b2a4     |
| container_format | bare                                 |
| created_at       | 2016-02-02T06:45:09Z                 |
| disk_format      | qcow2                                |
| id               | 5d57ba01-a905-42b6-bc9b-39a10b8c7fcb |
| min_disk         | 0                                    |
| min_ram          | 0                                    |
| name             | cirros-0.3.2-x86_64-10               |
| owner            | bffb0c753d004509b0ef6ae9bd4777ba     |
| protected        | False                                |
| size             | 25165824                             |
| status           | active                               |
| tags             | []                                   |
| updated_at       | 2016-02-02T06:45:19Z                 |
| virtual_size     | None                                 |
| visibility       | private                              |
+------------------+--------------------------------------+

8，檢視ceph 池中的物件，剛上傳的映象已經到ceph池 
[email protected]:/etc/glance# rbd ls images
5d57ba01-a905-42b6-bc9b-39a10b8c7fcb
[email protected]:/etc/glance#

9,檢視 image 池中佔用情況

[email protected]:~# rados df
pool name       category                 KB      objects       clones     degraded      unfound           rd        rd KB           wr        wr KB
cephfs_data     -                          0            0            0            0           0            0            0            0            0
cephfs_metadata -                          0            0            0            0           0            0            0            0            0
data            -                          0            0            0            0           0            0            0            0            0
<span style="color:#ff0000;">images          -                      24577            6            0            0           0          113           87           20        24577</span>
metadata        -                          2           20            0            0           0            6            5           31            8
nova            -                          0            0            0            0           0            0            0            0            0
rbd             -                          0            0            0            0           0            0            0            0            0
test            -                     137633           46            0            0           0          287         1110          642       132406
vms             -                          0            1            0            0           0          308          598         1572        43931
volumes         -                          0            0            0            0           0            0            0            0            0
  total used        10891912           73
  total avail        5085560
  total space       15977472


配置nova

1,建立nova pool 

rados mkpool vms

[email protected]:/etc/nova# rados mkpool nova
successfully created pool nova
[email protected]:/etc/nova# rados lspools
data
metadata
rbd
cephfs_data
cephfs_metadata
test
volumes
images
vms
nova
2,生成uuid 
[email protected]:/etc/nova# uuidgen
ebdba075-59bc-4408-9a2c-d44b16d56bd3
3,建立screen 
[email protected]:/etc/nova# cat > secret.xml <<EOF
> <secret ephemeral='no' private='no'>
>   <uuid>ebdba075-59bc-4408-9a2c-d44b16d56bd3</uuid>
>   <usage type='ceph'>
>     <name>client.admin secret</name>
>   </usage>
> </secret>
> EOF
4,執行virsh secret-define --file secret.xml 
[email protected]:/etc/nova# virsh secret-define --file secret.xml 
Secret ebdba075-59bc-4408-9a2c-d44b16d56bd3 created
5,執行如下命令，設定
[email protected]:/etc/nova# cat /etc/ceph/ceph.client.admin.keyring
[client.admin]
        key = AQDPoZRWcIQCDhAAwGapOCdp2uql2HJN2HpD9w==
[email protected]:/etc/nova# echo "AQDPoZRWcIQCDhAAwGapOCdp2uql2HJN2HpD9w==">key
[email protected]:/etc/nova# virsh secret-set-value --secret ebdba075-59bc-4408-9a2c-d44b16d56bd3 --base64 $(cat key)
Secret value set

檢視secret驗證配置是否正確

[email protected]:~# virsh secret-define
error: command 'secret-define' requires <file> option
[email protected]:~# virsh secret-list
 UUID                                  Usage
--------------------------------------------------------------------------------
 ebdba075-59bc-4408-9a2c-d44b16d56bd3  ceph client.admin secret

[email protected]:~# virsh secret-dumpxml ebdba075-59bc-4408-9a2c-d44b16d56bd3
<secret ephemeral='no' private='no'>
  <uuid>ebdba075-59bc-4408-9a2c-d44b16d56bd3</uuid>
  <usage type='ceph'>
    <name>client.admin secret</name>
  </usage>
</secret>

[email protected]:~#

6,配置nova.conf 

先備份nova.conf 

[email protected]:/etc/nova# ls
api-paste.ini  key  nova.conf  policy.json  rootwrap.conf  rootwrap.d  secret.xml
[email protected]:/etc/nova# cp nova.conf nova.conf.bak
編輯nova.conf 中如下內容

images_type=rbd
images_rbd_pool=vms
images_rbd_ceph_conf=/etc/ceph/ceph.conf
rbd_user=admin
rbd_secret_uuid=ebdba075-59bc-4408-9a2c-d44b16d56bd3
cpu_mode=none

7,重啟nova-compute 

8,建立一個虛擬機器


9，檢視ceph 池中的物件，剛建立的虛擬機器已經到ceph池

[email protected]:/etc/cinder# rados df
pool name       category                 KB      objects       clones     degraded      unfound           rd        rd KB           wr        wr KB
cephfs_data     -                          0            0            0            0           0            0            0            0            0
cephfs_metadata -                          0            0            0            0           0            0            0            0            0
data            -                          0            0            0            0           0            0            0            0            0
images          -                      49153           11            0            0           0          269        24785           40        49154
metadata        -                          2           20            0            0           0            6            5           31            8
nova            -                          0            0            0            0           0            0            0            0            0
rbd             -                          0            0            0            0           0            0            0            0            0
test            -                     137633           46            0            0           0          287         1110          642       132406
<span style="color:#ff0000;">vms             -                      37455           20            0            0           0          491          919         2400        78635</span>
volumes         -                          0            0            0            0           0            0            0            0            0
  total used        10990976           97
  total avail        4986496
  total space       15977472
[email protected]:/etc/cinder# rbd ls vms
06aedb93-087f-4110-9d18-8428aa9ede29_disk
06aedb93-087f-4110-9d18-8428aa9ede29_disk.config
2a1ef5e0-97ee-4c41-8ad9-f253d019c5d2_disk
2a1ef5e0-97ee-4c41-8ad9-f253d019c5d2_disk.config
[email protected]:/etc/cinder#

[email protected]:~/devstack$ nova list
+--------------------------------------+------+---------+------------+-------------+------------------+
| ID                                   | Name | Status  | Task State | Power State | Networks         |
+--------------------------------------+------+---------+------------+-------------+------------------+
| 06aedb93-087f-4110-9d18-8428aa9ede29 | sdf  | ACTIVE  | -          | Running     | private=10.0.0.3 |
| 2a1ef5e0-97ee-4c41-8ad9-f253d019c5d2 | we   | SHUTOFF | -          | Shutdown    | private=10.0.0.2 |
+--------------------------------------+------+---------+------------+-------------+------------------+
[email protected]:~/devstack$


相關推薦

OpenStack 使用Ceph 配置指導

概述 Ceph 作為分散式檔案系統，不但具有高可靠性、高擴充套件性、高效能， 也是統一儲存系統，支援物件儲存、塊儲存、檔案儲存，本文介紹如何使用Ceph 塊儲存作為OpenStack的Glance、Nova、Cinder元件的後端儲存 前面已經分享過ceph 叢集的部署，下

openstack newton 配置glusterfs 作cinder backend

glusterfs cinder newton 一、搭建gluster1、節點準備hostnameip數據盤vdbg0192.168.10.1010Gg1192.168.10.1110Gg2192.168.10.1210G2、安裝glusterfsyum install centos-releas

ubuntu環境ceph配置入門(二)

tex metadata term text ceph isp white consola sso 在高速配置好ceph存儲集群環境的基礎上，能夠做相關的對象操作： 1. 設置osd pool min_size 首先通過rados命令查看pool例如

openstack安裝配置—— compute node配置

安裝配置nova客戶端 安裝配置neutron客戶端 openstack compute節點配置 計算節點需要配置的主要是nova和neutron的客戶端，控制節點在進行資源調度及配置時需要計算節點配合方能實現的，計算節點配置內容相對較少，實際生產環境中，需要配置的計算節點數量相當龐大，那

openstack安裝配置—— dnshboard安裝配置

openstack dnshboard安裝配置 openstack實驗環境搭建 openstack vnc網面訪問 做為專業運維人員，使用命令行工具去管理雲主機是沒有問題的，但如果雲要提供給客戶使用，就不可能讓用戶命令行工具去管理自己的雲主機了，此時，就需要一個簡單易用的管理頁面提供給用戶

Anaconda多環境多版本python配置指導

實現 新環境 說明 安裝 切換 克隆 ans 文件 fine Anaconda多環境多版本python配置指導 來自：http://www.jianshu.com/p/d2e15200ee9b 原文地址：http://conda.pydata.org/docs/test-

OpenStack+Ceph平臺集成

undefine default str 所屬主 create form span flatten num 文檔下載OpenStack+Ceph平臺構建（已排好版）參考文檔官方文檔OpenStack集成Ceph如何將Ceph與OpenStack集成部署步驟Ceph配置創建P

cntlm配置指導

初始化檔案中主要有三個地方需要設定 Username username Domain domain Auth NTLM PassNT 8010B2C82D05390DDC69C8D80B4B2C25 PassLM 437C8FD

kafka-burrow 郵件報警配置指導說明

kafka-burrow 郵件報警配置指導說明，參考地址https://github.com/linkedin/Burrow/wiki/Notifier-Email 參考地址二http://www.voidcn.com/article/p-obgnvnbp-bov.html 參考地址三htt

ExtMail 引數配置指導

本文件所有內容基於ExtMail 1.1.0 和ExtMan 1.0.0版本。 一、webmail.cf介紹 webmail.cf檔案用來對webmail的核心配置進行設定，該配置檔案對Extmail至關重要。 存放路徑：/var/www/extsuite/extmail

openstack 例項配置keepalived

#!/bin/bash nginx1:192.168.97.101 nginx2:192.168.97.102 vip: 192.168.97.241 #安裝軟體 yum install nginx wget echo -e "192.168.97.101 nginx-master " &

華為 M5680t對SFU ONU配置指導

環境拓撲： OLT 配置思路如下： >>User name:root >>User password:admin MA5680T>enable MA5680T#config 1、 add board to 1 Slot(GPFD) MA568

華為 M5680t對HGU ONU配置指導

環境拓撲： >>User name:root >>User password:admin MA5680T>enable MA5680T#config 1、 add board to1 Slot(GPFD) MA5680T(config)#boa

MA5680T配置指導

MA5680T配置指導（適用於V800R006C02版本） 《1-常用命令》 //登陸使用者名稱root，密碼 admin MA5680T>enable //開啟特權EXEC MA5680T#config //進入終端配置模式 MA5680T(config)#sysname SJZ-H

華為MA5616---VDSL配置指導

1、華為MA5616 實際上就是一個MDU裝置（也是窄頻寬接入裝置），有PON上行介面也可以是Ethernet上行介面；使用PON上行介面的話；需要跟OLT相連形成一個交換網路，該裝置支援VDSL和ADSL模組（可插拔）； 以下是MA5616 VDSL配置指導： VDSL屬於DSL技術的一種

AP IGMP測試 ----TeleExplore軟體配置指導

IGMP測試----TeleExplore軟體配置指導 測試前提： 路由裝置設定 橋接模式 操作步驟如下： 1.前面建立機箱，新增機框，連線機框等操作省略。。。 啟用兩個需要的測試埠（即LAN，WAN口直連測試儀對應的埠），設定DUT IP等於 裝置的LAN IP，Port Firs

華為MA5616 -- ADSL配置指導

1、華為MA5616 實際上就是一個MDU裝置（也是窄頻寬接入裝置），有PON上行介面也可以是Ethernet上行介面；使用PON上行介面的話；需要跟OLT相連形成一個交換網路，該裝置支援VDSL和ADSL模組（可插拔）； 以下是MA5616 ADSL配置指導： ADSL屬於DSL技術的一種

M5680t OLT開局配置指導--part2：LACP|埠保護|組播業務開通

一、配置上行埠LACP功能 1、Set Uplink port backup MA5680T(config)#link-aggregation 0/17 0 0/17 1 egress-ingress workmode lacp-static MA5680T(config)#prot

M5680t OLT 開局配置指導-part1：基本業務開通

以下是作為一名新手從事PON產品測試或研發及技術支援等人員學習OLT開局配置的一種思路指導； 1、串列埠或telnet登入OLT >>User name:root >>User password:admin 2、啟用卡板 MA5680T>enabl

openstack HA配置-Mysql

概念 環境準備 兩個控制節點 host: controller1 IP: 192.168.0.20 host: controller2 IP: 192.168.0.21 hosts檔案 分別在controller1和controll