qemu-kvm安裝and配置橋接和SR-IOV
阿新 • • 發佈：2020-10-20
> kvm和docker的區別：kvm是全虛擬化，需要模擬各種硬體，docker是容器，共享宿主機的CPU，記憶體，swap等。本文安裝的qemu-kvm屬於kvm虛擬化，其中：kvm負責cpu虛擬化和記憶體虛擬化，QEMU模擬IO裝置（網絡卡、磁碟等）。
>
> 參考資料：
>
> qemu和docker區別：https://www.cnblogs.com/boyzgw/p/6807986.html
>
> qemu，kvm，qemu-kvm關係：https://www.cnblogs.com/echo1937/p/7138294.html
## 1. 安裝
ubuntu環境安裝：
```shell
sudo apt-get install qemu virt-manager
```
centos環境安裝：
```shell
yum install qemu-kvm qemu-img virt-manager libvirt libvirt-python virt-manager libvirt-client virt-install virt-viewer -y
```
其中，virt-manager是虛擬機器管理工具，相當於windows環境下的vmware軟體。
## 2. 新建虛擬機器
下載系統映象（以ubuntu14.04為例）：
```shell
wget http://mirrors.163.com/ubuntu-releases/14.04/ubuntu-14.04.6-server-amd64.iso
```
建立一個虛擬磁碟, -f指定格式, 檔名kvm.qcow2 ,大小為20G
```shell
qemu-img create -f qcow2 -o preallocation=metadata ubuntu14_04.qcow2 20G
```
通過命令列安裝虛擬機器：
```shell
virt-install --virt-type=kvm --name=ubuntu14_04 --vcpus=2 --memory=2048 --location=ubuntu-14.04.6-server-amd64.iso --disk path=ubuntu14_04.qcow2,size=20,format=qcow2 --network network=default --graphics none --extra-args='console=ttyS0' --force
```
| 引數 | 含義 |
| ------------ | -------------------------------------------------- |
| --virt-type | 虛擬化型別 |
| --name | 虛擬機器的名字 |
| --vcpus | CPU個數 |
| --memory | 記憶體大小，單位MB |
| --location | ISO系統映象位置 |
| --disk path | 磁碟位置, 大小, 格式等 |
| --network | 網路 |
| --graphics | guest顯示設定, 設定為none時，表示從命令列安裝 |
| --extra-args | 如果從命令列安裝，需要指定該引數為 'console=ttyS0' |
安裝虛擬機器時指定網橋（需要先配置好橋接，方法在下面）：
```shell
virt-install --virt-type=kvm --name=ubuntu14_04 --vcpus=2 --memory=2048 --location=ubuntu-14.04.6-server-amd64.iso --disk path=ubuntu14_04.qcow2,size=20,format=qcow2 --network bridge=br0 --graphics none --extra-args='console=ttyS0' --force
```
安裝虛擬機器時指定PCI裝置（需要先配置好SR-IOV，方法在下面，02:00.1是SR-IOV虛擬出來的網絡卡的PCI編號）：
```shell
virt-install --virt-type=kvm --name=ubuntu14_04 --vcpus=2 --memory=2048 --location=ubuntu-14.04.6-server-amd64.iso --disk path=ubuntu14_04.qcow2,size=20,format=qcow2 --network network=default --hostdev=02:00.1 --graphics none --extra-args='console=ttyS0' --force
```
其中，hostdev可以是以下幾種形式：
> **--hostdev pci_0000_02_00_1**
>
> A node device name via libvirt, as shown by ```virsh nodedev-list```
>
> **--hostdev 001.003**
>
> USB by bus, device (via lsusb).
>
> **--hostdev 0x1234:0x5678**
>
> USB by vendor, product (via lsusb).
>
> **--hostdev 02.00.1**
>
> PCI device (via lspci).
如果出現錯誤：
> WARNING /home/user/ubuntu14_04.qcow2 may not be accessible by the hypervisor. You will need to grant the 'qemu' user search permissions for the following directories: ['/home/user']
出現這種錯誤是因為qemu使用者沒有許可權訪問當前使用者的家目錄，修改許可權為其他使用者可以訪問當前使用者目錄即可解決：
```shell
cd /home
chmod 755 user
```
> drwxr-xr-x. 12 user user 4096 Oct 19 11:43 user
## 3. 使用虛擬機器
| 命令 | 含義 |
| -------------------------- | ------------------------------------------------------------ |
| virsh dumpxml name | 檢視虛擬機器配置檔案 |
| virsh start name | 啟動kvm虛擬機器 |
| virsh shutdown name | 正常關機 |
| virsh destroy name | 非正常關機，相當於物理機直接拔掉電源 |
| virsh undefine name | 徹底刪除，無法找回，如果想找回來，需要備份/etc/libvirt/qemu的xml檔案 |
| virsh define file-name.xml | 根據配置檔案定義虛擬機器 |
| virsh suspend name | 掛起，終止 |
| virsh resume name | 恢復掛起狀態 |
| virsh edit name | 編輯虛擬機器配置檔案 |
配置橋接網路：
```shell
virsh iface-bridge --interface eth0 --bridge br0
```
eth0是設定橋接的物理網絡卡名稱，br0是橋接網絡卡的名稱。
檢視橋接網路：
```shell
brctl show
virsh iface-list
```
刪除橋接網絡卡：
```shell
virsh iface-unbridge br0
```
OR 通過修改配置檔案配置橋接網路：
```shell
virsh edit ubuntu14_04
```
修改的內容如下：
```xml
###這一行修改介面模式為"bridge"
```
## 4. qemu配置SR-IOV使用RDMA網絡卡
檢視物理機是否開啟VT：
```shell
cat /proc/cpuinfo | grep vmx
```
如果輸出內容中有 vmx，僅僅說明CPU支援 VT，還需要通過如下命令檢視是否開啟：
```shell
lsmod |grep kvm
```
如果已經開啟VT，會顯示 kvm_intel 和 kvm，如果沒開啟，需要進BIOS設定。
已經開啟的顯示示例：
在啟動選單的核心CMDLINE中開啟iommu，/boot/grub2/grub.cfg不能直接修改，需通過修改 /etc/default/grub：
```shell
vim /etc/default/grub
```
> mtu 2044 qdisc mq state UP mode DEFAULT group default qlen 256
>
> link/infiniband 20:00:0a:12:fe:80:00:00:00:00:00:00:ec:0d:9a:03:00:c0:41:d4 brd 00:ff:ff:ff:ff:12:40:1b:ff:ff:00:00:00:00:00:00:ff:ff:ff:ff
>
> vf 0 MAC 00:00:00:00:00:00, spoof checking off, link-state disable, trust off, query_rss off
>
> vf 1 MAC 00:00:00:00:00:00, spoof checking off, link-state disable, trust off, query_rss off
>
> vf 2 MAC 00:00:00:00:00:00, spoof checking off, link-state disable, trust off, query_rss off
>
> vf 3 MAC 00:00:00:00:00:00, spoof checking off, link-state disable, trust off, query_rss off
>
> ......
### 4.3 為qemu新增SR-IOV虛擬化的網絡卡
1. 檢視PCI裝置資訊
```
lshw -c network -businfo
```
> Bus info Device Class Description
>
> ========================================================
>
> ......
>
> pci@0000:02:00.1 ib2 network MT27800 Family [ConnectX-5 Virtual Function]
>
> pci@0000:02:00.2 ib3 network MT27800 Family [ConnectX-5 Virtual Function]
>
> pci@0000:02:00.3 ib4 network MT27800 Family [ConnectX-5 Virtual Function]
>
> pci@0000:02:00.4 ib5 network MT27800 Family [ConnectX-5 Virtual Function]
>
> ......
這一步看到的資訊，其實在剛才通過 "ibdev2netdev -v" 命令已經得到了。
2. 將裝置從宿主機deattach
```shell
virsh nodedev-detach pci_0000_02_00_1
```
命令中，pci_0000_02_00_1 是根據上面由SR-IOV虛擬化出來的PCI裝置編號拼接起來的：
> 0000:02:00.1 --> pci\_0000_02\_00\_1
也可以直接通過如下命令檢視：
```shell
virsh nodedev-list --tree | grep pci
```
> ......
>
> | +- pci_0000_02_00_1
>
> | +- pci_0000_02_00_2
>
> ......
如果該虛擬裝置不再被使用，需要在 virt-manager 中首先將該裝置移除，然後在主機上重新掛載該裝置：
```
virsh nodedev-reattach pci_0000_02_00_1
```
3. 配置VF直通
- 方法1（interface）：在devices段落里加入（該方法未成功）
```shell
virsh edit ubuntu14_04
```
內容如下：
```xml
```
如不需要設定mac和vlan，可以去掉相應標籤。
其中，address中的引數是根據 "lshw -c network -businfo" 獲得的資訊配置的，例如，我要配置的PCI裝置編號是：
> pci@0000:02:00.1 ib2
注意對應關係，domain: 0x0000, bus: 0x02, slot: 0x00, function: 0x1.
- 方法2（hostdev）：在devices段落里加入（本文測試中，該方法有效）
```xml
方法選擇：
方法1：功能多，可以配置mac和vlan；
方法2：mac和vlan需要自己在宿主上敲ip命令設定。
4. 連線虛擬機器，驗證是否有RDMA網絡卡
```
lspci | grep Mellanox
```
> 00:06.0 Infiniband controller: **Mellanox** Technologies MT28800 Family [ConnectX-5 Virtual Function]
可以看到，在虛擬機器中有RDMA網絡卡，接下來就是安裝驅動等操作了。
> RDMA配置SR-IOV參考資料：https://community.mellanox.com/s/article/HowTo-Configure-SR-IOV-for-ConnectX-4-ConnectX-5-ConnectX-6-with-KVM-E
在啟動選單的核心CMDLINE中開啟iommu，/boot/grub2/grub.cfg不能直接修改，需通過修改 /etc/default/grub：
```shell
vim /etc/default/grub
```
>