Linux bond模式丢包

字数统计: 572阅读时长: 2 min

 2022/01/24 

排查思路

问题描述: 物理机存在双网卡Bond, 宿主机Ping 内部桥接虚拟机IP丢包严重.

网卡示意图

排查思路

思路1: 网络阻塞导致的丢包

查看网络连接数. 在我们的环境中存在大量的timewait.(当时timewait 高达几万).

1	cat /proc/net/nf_conntrack \| awk '/^.tcp.$/ {count[$6]++} END {for(state in count) print state, count[state]}'

将如下内容追加到/etc/sysctl.conf 中

# 主动方的最后一个握手,默认是2MSL也就是120s, 这里改为30s
net.netfilter.nf_conntrack_tcp_timeout_fin_wait = 30
net.netfilter.nf_conntrack_tcp_timeout_time_wait = 30

# CLOSE_WAIT是被动方收到FIN发ACK，然后会转到LAST_ACK发FIN
net.netfilter.nf_conntrack_tcp_timeout_close_wait = 60

# 使用iptables对已建立的链接超过3600秒没有活动则清除掉
net.netfilter.nf_conntrack_tcp_timeout_established = 3600

过十分钟看一下链接数.
连接数

虽然连接数下去了但是问题还是没有解决.遂观察日志dmesg

思路2: dmesg排查

1	dmesg\| tail -n 1000

dmesg

很明显 br0 和 bond0 的mac地址相同, 但是, br0 本身就是bond0桥接的,没有设定过mac地址.
接着查看我们的bond0 proc 信息.

cat /proc/net/bonding/bond0
Bonding Mode: load balancing (round-robin)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0

Slave Interface: eno1
MII Status: up
Speed: 100 Mbps
Duplex: full
Link Failure Count: 1
Permanent HW addr: 00:30:48:56:da:72

Slave Interface: eno2
MII Status: up
Speed: 100 Mbps
Duplex: full
Link Failure Count: 2
Permanent HW addr: 00:30:48:56:da:73