iKuai爱快流控路由

标题: ikuai虚拟机有没有办法组建万兆虚拟内网 [打印本页]

作者: qwerrazxs 时间: 2020-2-20 16:06
标题: ikuai虚拟机有没有办法组建万兆虚拟内网

目前ikuai的虚拟机功能已经高度可用了，但是由于不支持PCI直通导致职能做旁路由。NAS由于不支持万兆内网，效果也不够理想。如果在商业使用中，NAS只能支持千兆那就完全无法用了，KVM本身支持网卡直通，希望早日支持网卡直通或者搞定万兆内网。

作者: qwerrazxs 时间: 2020-2-20 16:18
骑着蜗牛追太阳
Qemu 虚拟机网卡透传（PCI Pass Through）
最近用到了一次qemu-kvm 网卡透传的功能，在这里我要透传的是25G网卡，记录一下步骤：

1.修改BIOS setup，打开VT-d选项,VT-d是intel cpu支持硬件虚拟化的技术，通过它可以直接分配物理设备给客户机，是透传必需的设定。

2.在grub里添加intel_iommu=on选项，iommu即input/output memory management unit，IOMMU在虚拟化的支持主要两个方面，一个DMA Remapping, 另外一个是Interrupt Remapping

3.开机后找到网卡的pci address，这里是18:00.0和18：00.1

查看device ID

lspci -n -s 18:00.0

18:00.0 8086:158B

-n ：show device number id

-s：select slot

4.验证下是否支持iommu

[root@REDIS-Client ~]$dmesg |grep -i iommu|grep 18:00
[ 6.396220] pci 0000:18:00.0: Adding to iommu group 23
[ 6.396285] pci 0000:18:00.1: Adding to iommu group 24

或者

[root@REDIS-Client ~]$readlink /sys/bus/pci/devices/0000\:18\:00.0/iommu_group
../../../../kernel/iommu_groups/23
[root@REDIS-Client ~]$readlink /sys/bus/pci/devices/0000\:18\:00.1/iommu_group
../../../../kernel/iommu_groups/24

5.设置SR_IOV的 VF端口数量，1表示只有一个VF端口，一个VF端口只能同时给一个设备使用，用来控制是否多个虚拟机共享此设备的。

echo 1 > /sys/bus/pci/devices/0000:18:00.0/sriov_numvfs

echo 1 > /sys/bus/pci/devices/0000:18:00.1/sriov_numvfs

6.ubund form host device driver

echo "0000:18:00.0" > /sys/bus/pci/devices/0000\:18\:00.1/driver/unbind

echo "0000:18:00.1" > /sys/bus/pci/devices/0000\:18\:00.1/driver/unbind

7.bind to vfio-pci

modprobe vfio
modprobe vfio-pci
[root@REDIS-Client ~]$echo "8086 158b" > /sys/bus/pci/drivers/vfio-pci/new_id
[root@REDIS-Client ~]$ls /dev/vfio/
23 24 vfio

8.起guest时添加参数

-device vfio-pci,host=18:00.0,id=net0 -device vfio-pci,host=18:00.1,id=net1

*注意：由于网卡是直接由host分配给虚拟机的，所以这里不需要做任何bridge，直接配置IP就可以用的。

作者: anevil 时间: 2021-10-12 04:22
66666666666

欢迎光临 iKuai爱快流控路由 (https://bbs.ikuai8.com/)