问题描述
Nginx的日志出现大量的upstream time out, dmesg 和 /var/log/messages查看系统日志后,发现很多的错误日志:ip_conntrack: table full, dropping packet
问题原因
nf_conntrack工作在3层,查看当前连接数的命令如下:
nf_conntrack 跟 nat 有关,用来跟踪连接条目,它会使用一个哈希表来记录 established 的记录。nf_conntrack 在 2.6.15 被引入,如果该哈希表满了,就会出现:
nf_conntrack: table full, dropping packet
也就是说,这个问题是连接数过多引起的。
问题解决
从问题原因我们可以知道是因为连接数过多,nf_conntrack的哈希表满了引起的。
那么,比较简单的解决思路就是增大nf_conntrack_max数值。
将以下内容加入到/etc/sysctl.conf 中
Centos 6 :
1
2
3
|
net.nf_conntrack_max = 655360
net.netfilter.nf_conntrack_max = 655350
net.netfilter.nf_conntrack_tcp_timeout_established = 1200
|
Centos 5
1
2
|
net.ipv4.netfilter.ip_conntrack_max = 1655350
net.ipv4.netfilter.ip_conntrack_tcp_timeout_established = 1200
|
运行命令: sysctl -p /etc/sysctl.conf
如果出现以下错误:
运行命令: modprobe nf_conntrack_ipv4
modprobe xt_state
modprobe nf_conntrack
备注优化:
modprobe nfnetlink_queue
modprobe nfnetlink_log
modprobe nfnetlink
再次运行: sysctl -p /etc/sysctl.conf
通过命令:sysctl -a | grep nf_conntrack 可以查看相关参数的数值。
注: 这里我还加了一行设置:net.ipv4.tcp_max_tw_buckets = 262144 用于解决TCP: time wait bucket table overflow问题,占用大量端口号,使得新连接无法绑定端口。
参考文档:
http://www.cnblogs.com/higkoo/articles/iptables_tunning_for_conntrack.html
http://www.d-kai.me/nf_conntrack-table-full-dropping-packet%E8%A7%A3%E5%86%B3%E5%8A%9E%E6%B3%95/
http://www.php-oa.com/2012/06/07/nginx-502-upstream-timed-out-110-connection-timed-out.html