iKuai爱快流控路由

标题: intel82599开启sr-iov直通vf给爱快无法用vlan拨号 [打印本页]

作者: heidong 时间: 2022-1-11 23:59
标题: intel82599开启sr-iov直通vf给爱快无法用vlan拨号
本帖最后由 heidong 于 2023-1-29 18:15 编辑

intel 82599 x520开启sr-iov直通vf给爱快无法用vlan拨号
网卡是intel x520-sr1
vf直通后当lan口没有问题
作为wan口用vlan拨号一直拨不上，请问大佬可以解决一下吗
已有热心网友解决了，答案在50楼

作者: 爱快技术支持05 时间: 2022-1-12 09:36
您好，交换机上是否有设置策略呢

作者: heidong 时间: 2022-1-12 09:52
本帖最后由 heidong 于 2022-1-12 09:54 编辑

爱快技术支持05 发表于 2022-1-12 09:36
您好，交换机上是否有设置策略呢

交换机设置了vlan
用其它网卡是可以vlan拨号的用x520的vf 绑定wan口用vlan拨号失败

，vf作为wan口设置dhcp是可以获取IP上网的就是无法拨号

作者: 爱快技术支持05 时间: 2022-1-12 10:41

heidong 发表于 2022-1-12 09:52
交换机设置了vlan
用其它网卡是可以vlan拨号的用x520的vf 绑定wan口用vlan拨号失败，vf作为wan口设置 ...

建议您安装在实体机对比测试

作者: heidong 时间: 2022-1-12 11:25

爱快技术支持05 发表于 2022-1-12 10:41
建议您安装在实体机对比测试

可能我没有说清楚，x520的sriov分离出来的vf网卡，直通给虚拟爱快不是原生支持的，需要在爱快打开全部网卡驱动，可以识别网卡，但是vlan无法起作用，我的意思是能不能原生支持不用特意加载全部驱动呢，是不是驱动有问题

作者: thang007 时间: 2022-1-12 11:31
pve? pve下开启sriov之后所有vf网卡都会把vlan tag剥离再传输。暂时没有找到方法传输带vlan tag的方法。

作者: heidong 时间: 2022-1-12 13:02

thang007 发表于 2022-1-12 11:31
pve? pve下开启sriov之后所有vf网卡都会把vlan tag剥离再传输。暂时没有找到方法传输带vlan tag的方法。 ...

是的pve，但是pve虚拟openwrt是可以vlan拨号的哦，这个怎么解释？

作者: bitcoinboy 时间: 2022-1-12 13:56

heidong 发表于 2022-1-12 13:02
是的pve，但是pve虚拟openwrt是可以vlan拨号的哦，这个怎么解释？

把网线拔下来，插笔记本，看看笔记本能正常拨号不，能拨号就是你vlan设置错误。

作者: bitcoinboy 时间: 2022-1-12 14:01

heidong 发表于 2022-1-12 09:52
交换机设置了vlan
用其它网卡是可以vlan拨号的用x520的vf 绑定wan口用vlan拨号失败，vf作为wan口设置 ...

vf作为wan口设置dpch是设置的vlan dhcp嘛。

作者: heidong 时间: 2022-1-12 14:45

bitcoinboy 发表于 2022-1-12 13:56
把网线拔下来，插笔记本，看看笔记本能正常拨号不，能拨号就是你vlan设置错误。 ...

你为啥非要以为别人都是笨蛋。。。
这个帖子是我写的，你去看看我划分的vlan。。。
https://post.smzdm.com/p/a0dopz6z/
同时也证实了vf是可以通过vlan拨号的

作者: bitcoinboy 时间: 2022-1-12 15:52
6楼说不可以，估计是兼容性问题吧。给一个建议。把PVE下的VF连笔记本，然后抓包，看看出来的数据包带不带vtag。

作者: bitcoinboy 时间: 2022-1-12 15:55

heidong 发表于 2022-1-12 14:45
你为啥非要以为别人都是笨蛋。。。
这个帖子是我写的，你去看看我划分的vlan。。。
https://post.smzdm.c ...

我发帖别人也以为我是傻瓜。看来都是一样的

作者: bitcoinboy 时间: 2022-1-12 16:07
6楼发的帖子应该不是无的放矢，楼主只能自己折腾测试各种情况了。比如换ESXI试试。

你测试过到对端抓包嘛。拨号不成功日志是啥。

Timeout waiting for PADO packets？

作者: heidong 时间: 2022-1-12 16:12

bitcoinboy 发表于 2022-1-12 16:07
6楼发的帖子应该不是无的放矢，楼主只能自己折腾测试各种情况了。比如换ESXI试试。

你测试过到对端抓包嘛 ...

老哥，前面7楼我是说过的，openwrt是可以用vlan tag拨号的，我也觉得不可思议。。

作者: bitcoinboy 时间: 2022-1-12 16:28
https://community.intel.com/t5/E ... e-SR-IOV/m-p/327402

6楼说的似乎是正确的。这个人也遇到了vlan tag的问题。openwrt能vlan拨也是神奇。

作者: bitcoinboy 时间: 2022-1-12 17:21
要不是你试试QINQ VLANid填2个，第二个填实际的vlan，第一个随便填看看。

作者: heidong 时间: 2022-1-12 18:16

bitcoinboy 发表于 2022-1-12 17:21
要不是你试试QINQ VLANid填2个，第二个填实际的vlan，第一个随便填看看。

qinq测试了还是不行，经过是这样的
爱快1创建vlan40在开启dhcp（lan口也是vf）
爱快2vf的wan口用vlan获取dhcp40失败qinq vlan填的是33.40

作者: bitcoinboy 时间: 2022-1-12 19:14
你这样测试意义不大吧。你都是在vf中间打转

作者: bitcoinboy 时间: 2022-1-12 19:16
你试过vlan直接填40吗？

而且就算直接填40成功了也没用啊。你在vf中间打转。现在怀疑德是数据从vf到物理网卡的过程中被取消tag了。你测来测去数据没到物理网口。

作者: heidong 时间: 2022-1-12 22:23

bitcoinboy 发表于 2022-1-12 19:16
你试过vlan直接填40吗？

而且就算直接填40成功了也没用啊。你在vf中间打转。现在怀疑德是数据从vf到物理网 ...

老哥，你看看这篇文章的SR-IOV与VLAN tag区域
https://www.cnblogs.com/jmilkfan-fanguiju/p/10589724.html
看意思sriov是支持打tag的，只是实现方法不一样？

作者: thang007 时间: 2022-1-13 00:45
你说的op能成功我也知道，我当初就是想设置ap的vlan发现问题的，而且不但op能设置，还能ping通vlan隔离开的网段，至于原因我也查不到，也没有多余的设备测试所以只能作罢

作者: heidong 时间: 2022-1-15 11:07

thang007 发表于 2022-1-13 00:45
你说的op能成功我也知道，我当初就是想设置ap的vlan发现问题的，而且不但op能设置，还能ping通vlan隔离开的 ...

难道op可以开挂？我觉得op可以vlan的话按理说其他也是可以的，就是搞不懂到底咋回事

作者: 米悠tb 时间: 2022-1-15 13:36
本帖最后由米悠tb 于 2022-1-15 14:24 编辑

这个问题不用纠结，经过我的测试 Routeros Pfsense openwrt 使用SR-IOV都是没有任何问题的，目前这个问题只能等爱快修复。
为了规避这个问题目前只能暂时先创建一个网桥将真实网卡桥接，然后再桥接的网卡上配置VLAN,如果爱快不解决我就计划把所有的爱快全部换成ros

作者: fishensl 时间: 2022-2-10 14:47
我搜的国外intel 论坛反馈的，别x710也是实体机通过vlan不通虚机，intel答复是要禁用vlan tag stripping，但是老哥禁用了也还是一样不通。。。后来他发现了一个bug。。。

I found a way to get the VLAN tag.

I need to set a VLAN on the VF and remove it:

[root@SLI-SRV3 images]# ip link set eno1 vf 1 vlan 10

[root@SLI-SRV3 images]# ip link set eno1 vf 1 vlan 0

[root@SLI-SRV3 images]#

15:18:26.214811 In 10:f3:11:1c:f8:ff > 52:54:00:49:82:40, ethertype 802.1Q (0x8100), length 118: vlan 100, p 0, ethertype IPv4, 66.0.0.5 > 66.0.0.6: ICMP echo request, id 24942, seq 27, length 80

15:18:28.216687 In 10:f3:11:1c:f8:ff > 52:54:00:49:82:40, ethertype 802.1Q (0x8100), length 118: vlan 100, p 0, ethertype IPv4, 66.0.0.5 > 66.0.0.6: ICMP echo request, id 24942, seq 28, length 80

15:18:30.218106 In 10:f3:11:1c:f8:ff > 52:54:00:49:82:40, ethertype 802.1Q (0x8100), length 118: vlan 100, p 0, ethertype IPv4, 66.0.0.5 > 66.0.0.6: ICMP echo request, id 24942, seq 29, length 80

It looks like a bug in the driver.

这么看按照intel的说法默认vlan 剥离是开启的，所以不通，要禁用 vlan tag stripping 才行，可能其他系统已经做了这个操作但是爱快因为不是原生支持可能是默认剥离vlan tag了。

作者: heidong 时间: 2022-3-17 16:52

爱快技术支持05 发表于 2022-1-12 10:41
建议您安装在实体机对比测试

麻烦技术看看这个帖子，希望官方能优化一下，看能不能原生支持ixgbevf驱动，然后vlan标记不要剥离

作者: goofysun 时间: 2022-3-30 00:16

heidong 发表于 2022-3-17 16:52
麻烦技术看看这个帖子，希望官方能优化一下，看能不能原生支持ixgbevf驱动，然后vlan标记不要剥离 ...

最近也为这个烦恼，单臂路由的话，vlan 只能到8 ，对于超过8的无法处理……，而且只有一个万兆口，本来可以路由和其他虚拟机公用的，现在只能 ikuai 独享才行了……

作者: 18021982250 时间: 2022-4-21 10:05
顶同问题

作者: manhua2002 时间: 2022-4-21 12:07
爱快好像就不支持sr-iov，能识别但不能使用

作者: 18021982250 时间: 2022-4-21 21:56
继续顶同问题

作者: 18021982250 时间: 2022-4-22 10:57
顶问题还没搞定继续顶

作者: 18021982250 时间: 2022-4-23 19:26
能支持不？？？

作者: heidong 时间: 2022-5-7 09:27
顶，昨天发现无需在后台打开“开启加载全部网卡驱动”就可以识别vf了，当时就高潮了，
然后测试“基于VLAN的混合模式”pppoe拨号还是失败
但是至少和以前有了变化
希望技术能把vlan标记搞定，咱们就可以把其他网卡都拔掉，真正实现all in one啦

作者: sunshinegw 时间: 2022-5-8 22:06

heidong 发表于 2022-5-7 09:27
顶，昨天发现无需在后台打开“开启加载全部网卡驱动”就可以识别vf了，当时就高潮了，
然后测试“基于VLAN ...

我今天也是在折腾这个，遇到了和你一模一样的问题，还有就是作为lan口的话，和虚拟网卡桥接后无法和pve通信

作者: sunshinegw 时间: 2022-5-9 15:15

heidong 发表于 2022-5-7 09:27
顶，昨天发现无需在后台打开“开启加载全部网卡驱动”就可以识别vf了，当时就高潮了，
然后测试“基于VLAN ...

无法用混合模式，可能是跟宿主机没把vf开启信任端口的原因

作者: micheal 时间: 2022-5-9 22:35
我目前是I350网卡开启SRIOV然后底层是pve系统直接把三条vf网卡直通给爱快进行多播的

作者: 18021982250 时间: 2022-5-10 03:07

看看好了没有

作者: sunshinegw 时间: 2022-5-10 13:23

micheal 发表于 2022-5-9 22:35
我目前是I350网卡开启SRIOV然后底层是pve系统直接把三条vf网卡直通给爱快进行多播的 ...

你好，有没有试过在pve中给pf网卡配置IP地址，然后vf网卡给爱快做lan口，爱快ping通pve上的pf网卡地址，
我试过不同的vf网卡给不同的虚拟机，这些虚拟机之间可以通，然后在pve上配置vf网卡或pf网卡IP地址，虚拟机和pve不能通信，物理网卡上接了交换机也不行

作者: 一根小香蕉 时间: 2022-5-24 16:09
严重关切

作者: 一根小香蕉 时间: 2022-5-25 17:37

sunshinegw 发表于 2022-5-10 13:23
你好，有没有试过在pve中给pf网卡配置IP地址，然后vf网卡给爱快做lan口，爱快ping通pve上的pf网卡地址，
...

你意思是这个管理口不能访问了？即便是原生的物理口，给了IP 也不能访问pve控制台？？？

作者: 爱快研发03 时间: 2022-5-25 20:06
楼主能提供好环境的话，麻烦把环境搭建好后，联系我们技术支持，然后我们给你进去调一下试试

作者: 爱快研发03 时间: 2022-5-25 20:23
另外楼主，我看了下大概使用，应该是宿主机要设置 ip link set eth1 vf 1 vlan 0 （vlan 0 表示关闭剥离/填充 tag），这样vlan tag就不会受影响。

你看看你的宿主机虚拟机配置是不是有vlan tag的设置，有的话关闭了试试。

作者: sunshinegw 时间: 2022-5-27 15:53

一根小香蕉发表于 2022-5-25 17:37
你意思是这个管理口不能访问了？即便是原生的物理口，给了IP 也不能访问pve控制台？？？ ...

换了台服务器的主板就可以了，可能是主板的问题

作者: dwwl886 时间: 2022-6-19 00:26
大家是怎么解决的分享出来呀我的是x520 52899es 直通给爱快拨号失败 dhcp能自动获取到爱快LAN地址

作者: jtaosj 时间: 2022-6-20 11:57

heidong 发表于 2022-5-7 09:27
顶，昨天发现无需在后台打开“开启加载全部网卡驱动”就可以识别vf了，当时就高潮了，
然后测试“基于VLAN ...

1.是pve吗？我之前直通过，是可以透传vlan给交换机的。你看看是不是你没直通成功？
2.不用直通，pve建网卡桥接的时候，勾选vlan动态感知，网卡模式选半虚拟化。

总之，问题应该不在ikuai，关键是ikuai接能不能把vlan ID带到交换机？

作者: MsTalent 时间: 2022-6-22 19:04
ESXI 7.0.3同样问题，82599开启SR-IOV分配VF给爱快，爱快基于VLAN的多拨无法拨通，外网拨号日志显示“Unable to complete PPPoE Discovery”，应该也是VLAN的问题了，交换机TRUNK配置没有问题，使用物理网卡拨号OK，不知道这个问题是不是能在爱快82599 VF驱动的层面解决？

作者: ncnk 时间: 2022-7-19 11:24
同样的问题，蹲一个解决方案~~

作者: luocanhui 时间: 2022-7-29 00:32

同样的问题，蹲一个解决方案~~

作者: heidong 时间: 2022-8-9 16:21
不知道解决没有我现在生产环境无法测试3.6.6

老哥们测试一下

作者: yamhtz 时间: 2022-8-21 05:33
我这也是直通sriov 后vlan无法拨号,心塞

作者: kqwkn 时间: 2022-10-17 00:23
不知道楼主目前是什么情况，我最近也在这样搞，并且貌似搞成功了，先说下测试硬件及环境：交换机：TL-ST5008F，1口ACCESS，VLAN101，; 2口ACCESS，VLAN102，; 3-7口ACCESS，默认VLAN1，8口TRUNK连接的万兆网卡，允许VLAN1 101 102通过；宿主机PVE系统，H110双网口主板（一个PVE管理口，一个没有用）+8100T+8G+82599ES单口万兆卡，PVE开启直通等功能，万兆卡开启SRIOV，默认网卡在PVE里是enp1s0，开出来的VF为8个，前3个直通给爱快，分别为enp1s0v0,enp1s0v1,enp1s0v2,第一个口设置为LAN口，第2和第3设置为WAN1和WAN2，然后主要是在那个sriov.service里面编辑enp1s0v1和enp1s0v2的VLAN，分别设置成101和102，然后就可以了，其实我一直想用“基于VLAN的混合模式”，奈何怎么试都不行，无意中用了这个办法可行，可以参考下，附sriov.service里面添加vlan那个命令：ExecStart=/bin/bash -c '/bin/ip link set enp1s0 vf 1 vlan 101 mac xx:xx:xx:xx:xx:xx'
ExecStart=/bin/bash -c '/bin/ip link set enp1s0 vf 2 vlan 102 mac xx:xx:xx:xx:xx:xx'

作者: kqwkn 时间: 2022-10-17 00:24

heidong 发表于 2022-8-9 16:21
不知道解决没有我现在生产环境无法测试3.6.6 老哥们测试一下

不知道楼主目前是什么情况，我最近也在这样搞，并且貌似搞成功了，先说下测试硬件及环境：交换机：TL-ST5008F，1口ACCESS，VLAN101，; 2口ACCESS，VLAN102，; 3-7口ACCESS，默认VLAN1，8口TRUNK，允许VLAN1 101 102通过；宿主机PVE系统，H110双网口主板（一个管理口，一个没有用）+8100T+8G+82599ES单口万兆卡，PVE开启直通等功能，万兆卡开启SRIOV，默认网卡在PVE里是enp1s0，开出来的VF为8个，前3个直通给爱快，分别为enp1s0v0,enp1s0v1,enp1s0v2,第一个口设置为LAN口，第2和第3设置为WAN1和WAN1，然后主要是在那个sriov.service里面编辑enp1s0v1和enp1s0v2的VLAN，分别设置成101和102，然后就可以了，其实我一直想用“基于VLAN的混合模式”，奈何怎么试都不行，无意中用了这个办法可行，可以参考下，附sriov.service里面添加vlan那个命令：ExecStart=/bin/bash -c '/bin/ip link set enp1s0 vf 1 vlan 101 mac xx:xx:xx:xx:xx:xx'
ExecStart=/bin/bash -c '/bin/ip link set enp1s0 vf 2 vlan 102 mac xx:xx:xx:xx:xx:xx'

作者: prettyy 时间: 2022-10-19 11:43

kqwkn 发表于 2022-10-17 00:24
不知道楼主目前是什么情况，我最近也在这样搞，并且貌似搞成功了，先说下测试硬件及环境：交换机：TL-ST5 ...

能加下微信吗fdfdwai 我那个vf之间都不通讯的。不知道啥原因。需要硬的交换机吗？和虚拟网桥感觉不一样。

作者: prettyy 时间: 2022-10-19 11:45
我也想求助下。为啥vf之间pin不通呢？或者说vf获取不到ip。我被搞得心态都炸了。能否加下fdfdwai 求助你

作者: 7155115 时间: 2022-11-24 08:41
我今天也是在折腾这个，遇到了和你一模一样的问题官方啥时候能出个解决办法我是esxi +爱快

作者: heidong 时间: 2023-1-29 18:12

kqwkn 发表于 2022-10-17 00:23
不知道楼主目前是什么情况，我最近也在这样搞，并且貌似搞成功了，先说下测试硬件及环境：交换机：TL-ST500 ...

才看到消息谢谢分享，你作出了巨大贡献

作者: Silver_Hawk 时间: 2023-4-20 17:38
2023了，基于硬件的拨号模式也不能用了，只能使用virtio才能完成PPPOE的discovery，心塞

作者: 392004686 时间: 2023-7-7 23:07
PVE的还是可以操作，基于esxi的vf网卡只能不携带vtag进行dhcp可以获取上级网络，不可以携带vlan进行拨号，楼主发帖我就看了，找客服就只会说让在实体机上进行测试

欢迎光临 iKuai爱快流控路由 (https://bbs.ikuai8.com/)