最低限度機器：

1.osd1 192.168.1.2

2.osd2 192.168.1.3

3.monitor + radosgw 192.168.1.4

4.admin 192.168.1.5

前期準備:

0.所有機器初始化完畢，更改hostname,ntp校驗時間,關閉selinux,關閉防火牆

1.所有機器建立普通使用者 ceph_deploy (ceph新版必須使用普通使用者啟動)並確保所有機器的新建使用者都有sudo許可權

useradd ceph_deploy

echo "{username} ALL = (root) NOPASSWD:ALL"
 
 | sudo tee /etc/sudoers.d/{username}

sudo chmod 0440 /etc/sudoers.d/{username}

2.所有機器hosts解析相互新增上

vim /etc/hosts
osd1 192.168.1.2
osd2 192.168.1.3
monitor 192.168.1.4
admin 192.168.1.5

3.所有機器ceph_deploy使用者祕鑰相互免密

ssh-keygen && ssh-copy-id [email protected]{hostname}

4.admin機器 下載安裝ceph-deploy程式

sudo subscription-manager repos --enable=rhel-7-server-extras-rpms

sudo yum install -y https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm

cat >/etc/yum.repos.d/ceph.repo
[ceph-noarch]
name=Ceph noarch packages
baseurl=https://download.ceph.com/rpm/el7/noarch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph
 
.com/keys/release.asc

sudo yum update

sudo yum install ceph-deploy

5.修改admin節點上的 ~/.ssh/config 檔案，這樣 ceph-deploy 就能用你所建的使用者名稱登入其他 節點，而無需每次執行 ceph-deploy 都要指定 –username {username} 。

Host node1
   Hostname node1
   User {username}
Host node2
   Hostname node2
   User {username}
Host node3
   Hostname node3
   User {username}

建立叢集

在admin節點上建立一個目錄作為管理目錄

mkdir ceph

建立叢集

ceph-deploy new monitor

完成後會在當前路徑下應該有一個 Ceph 配置檔案、一個 monitor 金鑰環和一個日誌檔案。

更改ceph.conf

 vim ceph.conf

 osd pool default size = 2

 如果你有多個網絡卡，可以把 public network 寫入 Ceph 配置檔案的 [global] 段下。詳情見網路配置參考。

 public network = {ip-address}/{netmask}

安裝 Ceph

ceph-deploy install osd1 osd2 monitor admin

到各個node去執行ceph –version 檢查ceph安裝結果

ceph --version  

配置初始 monitor(s)、並收集所有金鑰：

ceph-deploy mon create-initial

完成上述操作後，當前目錄裡應該會出現這些金鑰環：

{cluster-name}.client.admin.keyring
{cluster-name}.bootstrap-osd.keyring
{cluster-name}.bootstrap-mds.keyring
{cluster-name}.bootstrap-rgw.keyring

配置osd 節點

給osd1,osd2 分別新增一塊硬碟,建立分割槽/dev/sdb1,格式化為xfs 檔案系統

新增osd 節點

ceph-deploy osd prepare osd1:/dev/sdb1 osd2:/dev/sdb1

啟用osd 節點

ceph-deploy osd activate osd1:/dev/sdb1 osd2:/dev/sdb1

檢視/dev/sdb1 分割槽是否掛載成功

分別在兩個osd 節點中，把/dev/sdb1分割槽加入到/etc/fstab 中開機自動掛載

搭建物件儲存閘道器

安裝rgw

ceph-deploy install --rgw monitor

ceph-deploy rgw create monitor

在monitor 節點ceph.conf追加如下配置

vim /etc/ceph/ceph.conf 
[client.rgw.client-node]
rgw_dns_name = ceph.closeli.cn  請填寫主域名,解析時採用泛解析
rgw_frontends = "civetweb port=80"

生成一個 Ceph 物件閘道器使用者名稱和key

sudo ceph auth get-or-create client.radosgw.gateway osd 'allow rwx' mon 'allow rwx' -o /etc/ceph/ceph.client.radosgw.keyring

為 S3 訪問新建一個 RADOSGW 使用者

sudo radosgw-admin user create --uid="testuser" --display-name="First User"

python 測試程式碼:

import boto.s3.connection

access_key = '1GB703PJH538VUE6H1AS'
secret_key = '2mAsFWEuVFV5ixqkOZ3XAtZvjpC7UbT7gtxChaCU'

conn = boto.connect_s3(
        aws_access_key_id = access_key,
        aws_secret_access_key = secret_key,
        host = 'ceph.closeli.cn',
        is_secure=False,
        calling_format = boto.s3.connection.OrdinaryCallingFormat(),
        )

conn.create_bucket('my-new-bucket') #建立bucket

for bucket in conn.get_all_buckets():  #顯示該使用者下所有bucket
        print(f"{ bucket.name}\t{bucket.creation_date}")

a=conn.get_bucket('my-new-bucket') 獲取指定bucket

key = a.new_key('hello.txt')  #建立一個檔案

key.set_contents_from_string('Hello World!') #寫入一個檔案

for key in a: #獲取檔案內容
  print(f"{key.name}\t{key.size}\t{key.last_modified}")

key = a.get_key('hello.txt') #獲取檔案並下載

key.get_contents_to_filename('/Users/yeshaobin/Downloads/hello.txt')

key.generate_url(3600, query_auth=True, force_http=True) #獲取檔案url下載地址

print(plans_url)