TCP backlog参数

介绍

• 在实际生产环境中使用netty的过程中，遇到了一个奇怪的坑，就是backlog参数，明明设置得很大了，但是还是不生效，使得server在TCP连接数上来的时候，就会发送ECONNREFUSED给client以示拒绝。
• 这触及到我的知识盲区，因此我决定加以探索并且记录、分享。我从底层、应用层两个层面进行分析，并最终定位到了这个问题，且加以解决。

底层

backlog参数主要用于底层方法int listen(int sockfd, int backlog)， 在解释backlog参数之前，我们先了解下tcp在内核的请求过程，其实就是tcp的三次握手：

• 握手过程：
  • client发送SYN到server，将状态修改为SYN_SEND，如果server收到请求，则将状态修改为SYN_RCVD，并把该请求放到syns queue队列中。
  • server回复SYN+ACK给client，如果client收到请求，则将状态修改为ESTABLISHED，并发送ACK给server。
  • server收到ACK，将状态修改为ESTABLISHED，并把该请求从syns queue中放到accept queue。

因此，在系统内核中，会维护两个队列，syns queue和accept queue。

syns queue

用于保存半连接状态的请求，其大小通过/proc/sys/net/ipv4/tcp_max_syn_backlog指定，一般默认值是1024，这个参数涉及到一著名的TCP SYN FLOOD恶意DOS攻击方式就是建立大量的半连接状态的请求，然后丢弃，导致syns queue不能保存其它正常的请求，从而攻击你的系统。

accept queue

用于保存全连接状态的请求，其大小通过/proc/sys/net/core/somaxconn指定，在使用listen函数时，内核会根据传入的backlog参数与系统参数somaxconn，取二者的较小值。如果accpet queue队列满了，server将发送一个ECONNREFUSED错误信息Connection refused到client。

应用层

查看netty中的实现代码：

SOMAXCONN = AccessController.doPrivileged(new PrivilegedAction<Integer>() {
    @Override
    public Integer run() {
        // Determine the default somaxconn (server socket backlog) value of the platform.
        // The known defaults:
        // - Windows NT Server 4.0+: 200
        // - Linux and Mac OS X: 128
        int somaxconn = PlatformDependent.isWindows() ? 200 : 128;
        File file = new File("/proc/sys/net/core/somaxconn");
        BufferedReader in = null;
        try {
            // file.exists() may throw a SecurityException if a SecurityManager is used, so execute it in the
            // try / catch block.
            // See https://github.com/netty/netty/issues/4936
            if (file.exists()) {
                in = new BufferedReader(new FileReader(file));
                somaxconn = Integer.parseInt(in.readLine());
                if (logger.isDebugEnabled()) {
                    logger.debug("{}: {}", file, somaxconn);
                }
            } else {
                // Try to get from sysctl
                Integer tmp = null;
                if (SystemPropertyUtil.getBoolean("io.netty.net.somaxconn.trySysctl", false)) {
                    tmp = sysctlGetInt("kern.ipc.somaxconn");
                    if (tmp == null) {
                        tmp = sysctlGetInt("kern.ipc.soacceptqueue");
                        if (tmp != null) {
                            somaxconn = tmp;
                        }
                    } else {
                        somaxconn = tmp;
                    }
                }

                if (tmp == null) {
                    logger.debug("Failed to get SOMAXCONN from sysctl and file {}. Default: {}", file,
                                 somaxconn);
                }
            }
        } catch (Exception e) {
            logger.debug("Failed to get SOMAXCONN from sysctl and file {}. Default: {}", file, somaxconn, e);
        } finally {
            if (in != null) {
                try {
                    in.close();
                } catch (Exception e) {
                    // Ignored.
                }
            }
        }
        return somaxconn;
    }
});

可以看到，会尝试打开linux系统下的somaxconn文件，并读取其中的值。这个时候我登录上我的ubuntu系统，查看该文件的内容，如下：

 vim /proc/sys/net/core/somaxconn
 128

原因就是在这里，由于内核会选取somaxconn和应用层设置backlog两个值中较小的值作为accept队列的大小，而我们正常的使用只是配置了应用层的参数，因此导致了这个错误。

解决方案

同时修改somaxconn和backlog参数，来提高accept queue大小，从而接收更多的连接。

扫描二维码关注公众号，回复： 8987017 查看本文章