一、內容介紹

1、問題描述

1)、問題一
CentOS 6.x 在格式化大於16TB的ext4分割槽時，會提示如下錯誤：

mke2fs 1.41.12 (17-May-2010)
mkfs.ext4: Size of device /dev/sda1 too big to be expressed 
in 32 bits using a blocksize of 4096.

2)、問題二
CentOS 6.x 無法使用fdisk分割槽大於2TB的磁碟。

2、原因分析

1)、問題一：
原因在於CentOS 自帶的 e2fsprogs 版本為1.41.12較低，無法建立16TB以上的檔案系統。
2)、問題二：

3、解決方案

1)、問題一：
解決方案為手工下載最新的e2fsprogs原始碼包，進行編譯安裝，然後使用mkfs.ext4 命令使用64位的方式進行磁碟格式化。
2)、問題二：
使用parted命令將MBR分割槽表，改為GPT分割槽表。

二、解決方案的實現

下面通過在VirtualBox上進行實驗來驗證上面方案的可行性：

1、在VB虛擬機器上新增硬碟

這裡假設你的VB虛擬機器的CentOS已經通過yum update將全部軟體升級到最新版本

在VB虛擬機器中新增10塊2TB的硬碟（此時虛擬機器須處於關機狀態），如下圖：

每個虛擬硬碟都是“動態分配儲存”，總計容量為20TB，這樣就做成raid5最量就會超過16TB了。

2、生成軟RAID磁碟陣列

1)、硬碟分割槽

啟動虛擬機器登入系統後輸入lsblk命令檢視虛擬機器可識別的硬碟

[[email protected] ~]# lsblk
NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sr0     11:0    1 1024M  0 rom
sda      8:0    0   50G  0 disk
├─sda1   8:1    0    1G  0 part /boot
├─sda2   8:2    0    2G  0
 
 part [SWAP]
└─sda3   8:3    0   47G  0 part /
sdb      8:16   0    2T  0 disk
sdc      8:32   0    2T  0 disk
sdd      8:48   0    2T  0 disk
sde      8:64   0    2T  0 disk
sdf      8:80   0    2T  0 disk
sdg      8:96   0    2T  0 disk
sdh      8:112  0    2T  0 disk
sdi      8:128  0    2T  0 disk
sdj      8:144  0    2T  0 disk
sdk      8:160  0    2T  0 disk

可以看到10塊硬碟已經全部識別，但是還沒有進行分割槽， 這裡我們使用fdisk逐一進行分割槽，以便製作軟RAID.
這裡需要注意的是：如果是在真實的伺服器上，是不會看到這麼多硬碟的。因為伺服器通過RAID卡，將多塊硬碟合併為一塊硬碟。在本文後面會提到如何使用parted 分割槽超過2TB的硬碟
以sdb這塊硬碟為例，進行分割槽：

[root@localhost ~]# fdisk /dev/sdb
Command (m for help): n
Command action
   e   extended
   p   primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-267349, default 1):
Using default value 1
Last cylinder, +cylinders or +size{K,M,G} (1-267349, default 267349):
Using default value 267349

Command (m for help): t
Selected partition 1
Hex code (type L to list codes): fd
Changed system type of partition 1 to fd (Linux raid autodetect)

Command (m for help): p
  Device Boot      Start         End      Blocks   Id  System
/dev/sdb1               1      267349  2147480811   fd  Linux raid autodetect

Command (m for help): w

上面的步驟基本上就是我們平時進行分割槽時需要進行操作的步驟。只有t命令平時不太用到.t命令的意思就是“修改分割槽型別“，將標準的linux分割槽修改為 fd“Linux raid autodetect”以便供軟RAID使用。

下面逐一再將其他磁碟進行分割槽，全部分割槽完成後，使用lsblk檢視分割槽情況：

[[email protected] ~]# lsblk
NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sr0     11:0    1 1024M  0 rom
sda      8:0    0   50G  0 disk
├─sda1   8:1    0    1G  0 part /boot
├─sda2   8:2    0    2G  0 part [SWAP]
└─sda3   8:3    0   47G  0 part /
sdb      8:16   0    2T  0 disk
└─sdb1   8:17   0    2T  0 part
sdc      8:32   0    2T  0 disk
└─sdc1   8:33   0    2T  0 part
sdd      8:48   0    2T  0 disk
└─sdd1   8:49   0    2T  0 part
sde      8:64   0    2T  0 disk
└─sde1   8:65   0    2T  0 part
sdf      8:80   0    2T  0 disk
└─sdf1   8:81   0    2T  0 part
sdg      8:96   0    2T  0 disk
└─sdg1   8:97   0    2T  0 part
sdh      8:112  0    2T  0 disk
└─sdh1   8:113  0    2T  0 part
sdi      8:128  0    2T  0 disk
└─sdi1   8:129  0    2T  0 part
sdj      8:144  0    2T  0 disk
└─sdj1   8:145  0    2T  0 part
sdk      8:160  0    2T  0 disk
└─sdk1   8:161  0    2T  0 part

2)、建立RAID5

使用mdadm建立RAID5磁碟陣列：

[[email protected] ~]# mdadm -C /dev/md5 \
-a yes -l 5 -n 10 -x 0 \
/dev/sd[b,c,d,e,f,g,h,i,j,k]1

mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md5 started.

可以使用如下命令檢視RAID5狀態：

mdadm -D /dev/md5

3、格式化磁碟陣列

如果現在使用mkfs.ext4格式化/dev/md5將會出現如下錯誤：

[[email protected] ~]# mkfs.ext4 /dev/md5
mke2fs 1.41.12 (17-May-2010)
mkfs.ext4: Size of device /dev/md5 too big to be 
expressed in 32 bits using a blocksize of 4096.

當前版本為1.43.3,下載後，進行編碼安裝：

tar -zxvf e2fsprogs-1.43.3.tar.gz

cd e2fsprogs-1.43.3

mkdir build 

cd build/ 

../configure 

make 

make install

編譯完成後使用如下命令格式化：

mke2fs -O 64bit,\
has_journal,extents,\
huge_file,flex_bg,uninit_bg,\
dir_nlink,\
extra_isize \
-i 4194304 \
/dev/md5

或者：

 mkfs.ext4 -O 64bit /dev/md5

掛載磁碟到/mnt

mount /dev/md5 /mnt

檢視磁碟掛載情況：

[root@localhost build]# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda3        47G  1.1G   43G   3% /
tmpfs           939M     0  939M   0% /dev/shm
/dev/sda1       976M   56M  870M   6% /boot
/dev/md5         18T   24K   17T   1% /mnt

OK! 問題1順利解決。證明這個方案還是可行的！

4、使用parted 分割槽2TB以上磁碟

上面第1和第2步驟，是我們為了進行實驗是否能格式化16TB以上分割槽而搭建的實驗環境。在生產環境下，一般不會用到軟RAID, 伺服器是通過RAID卡將多塊磁碟形成一個磁碟陣列。在啟動系統後，有會一個沒有分割槽的大磁碟。這種情況下就不能使用fdisk命令進行分割槽了。在這裡，我們使用parted來進行分割槽。

這裡我用一個2TB的磁碟來估演示，如果使用parted將整個磁碟陣列分為一個分割槽的情況（這也是生產環境中經常遇到的情況）：
先使用lsblk檢視系統中可使用的磁碟：

[root@localhost ~]# lsblk
NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sr0     11:0    1 1024M  0 rom
sda      8:0    0   50G  0 disk
├─sda1   8:1    0    1G  0 part /boot
├─sda2   8:2    0    2G  0 part [SWAP]
└─sda3   8:3    0   47G  0 part /
sdb      8:16   0    2T  0 disk

這時系統裡有一個sdb的磁碟，容量為2TB。

[[email protected] ~]# parted /dev/sdb
(parted) mklabel gpt      # 將MBR磁碟格式化為GPT
(parted) mkpart primary 0 -1  #將整塊磁碟劃分為一個分割槽
警告: The resulting partition is not properly 
aligned for best performance.
忽略/Ignore/放棄/Cancel? I     #忽略警告
(parted) p                    #列印當前分割槽
Model: ATA VBOX HARDDISK (scsi)
Disk /dev/sdb: 2199GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt

Number  Start   End     Size    File system  Name     標誌
 1      17.4kB  2199GB  2199GB               primary

(parted) quit   #退出
資訊: You may need to update /etc/fstab.

再使用lsblk檢視磁碟分割槽情況：

    1 1024M  0 rom
sda      8:0    0   50G  0 disk
├─sda1   8:1    0    1G  0 part /boot
├─sda2   8:2    0    2G  0 part [SWAP]
└─sda3   8:3    0   47G  0 part /
sdb      8:16   0    2T  0 disk
└─sdb1   8:17   0    2T  0 part

格式化並掛載磁碟：

mkfs.ext4 /dev/sdb1
mount /dev/sdb1 /mnt

檢視磁碟掛載情況：

[root@localhost ~]# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda3        47G  851M   43G   2% /
tmpfs           939M     0  939M   0% /dev/shm
/dev/sda1       976M   56M  870M   6% /boot
/dev/sdb1       2.0T   71M  1.9T   1% /mnt

OK！問題2完美解決！