服务端 syn 丢包问题排查

环境

服务 A：k8s 环境运行的服务，kubernetes 1.19.10; CNI calico 3.17.4 CrossSubnet

服务 B：物理机运行的服务，Centos 7.5

背景

服务 A 上 k8s 环境后，服务 A 直接调用服务 B ，偶现提示连接超时，Caused by: java.net.SocketTimeoutException: connect timed out ；

排查过程

1.查看服务 B 节点的 netstat 情况:

[root@app01 ~]# netstat -s|egrep "SYNs to LISTEN sockets|passive" 5436752164 passive connection openings 87458 passive connections rejected because of time stamp 283176 SYNs to LISTEN sockets dropped 

可以看出来是 SYN 请求被丢弃，而且 SYN 丢弃数量和 timestamp 丢弃的数量保持同步，可以初步断定是 timestamp 问题导致。

2.半连接和全连接队列是否满了

用 ss -lnt(全连接)和 netstat -natp |grep SYN_RECV|wc -l (半连接) 均 OK,排除队列满的问题。

3.查看服务 A 和服务 B 是否开启 tcp_tw_recycle 和 tcp_timestamps

服务 A 所在的 node 节点未开启，服务 B 所在的物理机已开启；

k8s 环境的 node 节点都已经关闭了 tcp_timestamps ，相当于 per-host 的 PAWS 机制未开启。

4.抓包分析

• 从服务端抓包 看到很多重传的 syn 包，源地址都是服务 A 所在的 node 节点

• 客户端抓包 现象一致，服务 A 一直重传给服务 B SYN 包

问题

1. 在客户端未开启 tcp_timestamps 的情况下，为何服务端还会出现 time stamp 丢包？
2. 丢包有没有可能其它问题导致？