linux服务器内核报错，printk: 58 messages suppressed和Out of socket memory

linux服务器内核报错，printk: 58 messages suppressed和Out of socket memory

20120830发现日本服务器 27和28 有报错日志。详细如下：

Aug 31 18:25:36 collect-28 kernel: printk: 58 messages suppressed. Aug 31 18:25:36 collect-28 kernel: Out of socket memory

故障排查分析：

第一条日志分析：

查找信息，Aug 31 18:25:36 collect-28 kernel: printk: 58 messages suppressed. 此报错需要修改内核信息如下； (1) 加大 ip_conntrack_max 值：

查出原本的 ip_conntrack_max 值，指令: cat /proc/sys/net/ipv4/ip_conntrack_max 　　写入理想的数值 (每一个 ip_conntrack buffer 会占用 292 Bytes) 　　指令: echo "数值" > /proc/sys/net/ipv4/ip_conntrack_max 　　例如: echo "163840" >/proc/sys/net/ipv4/ip_conntrack_max

这个效果是暂时的, 如果要每次开机都使用新的数值, 需将上述指令写入 /etc/rc.d/rc.local 　　或是在 /etc/sysctl.conf 加入: net.ipv4.ip_conntrack_max = 数值 　　或使用指令: sysctl -w net.ipv4.ip_conntrack_max=数值

(2): 降低 ip_conntrack timeout 时间

重设：ip_conntrack_tcp_timeout_established (原值: 432000, 单位: 秒) 　　指令：echo "数值" > /proc/sys/net/ipv4/netfilter/ip_conntrack_tcp_timeout_established 　　例如：echo "180" > /proc/sys/net/ipv4/netfilter/ip_conntrack_tcp_timeout_established

开机自动设置的作法同方法(1).

(3)：开启 tcp_syncookies

重设：tcp_syncookies (默认值 0) 　　例如：echo '1'> /proc/sys/net/ipv4/tcp_syncookies

修改内核配置文件，报错日志无效，

第二条报错日志分析：

查找信息，Aug 31 18:25:36 collect-28 kernel: Out of socket memory，此报错需要修改内核信息如下；

两种情况会出发 "Out of socket memory" 的信息： 1.有很多的孤儿套接字(orphan sockets) 2.tcp socket 用尽了给他分配的内存

首先看看情况 2。对于 TCP socket 来说，使用 pages 来计数的，而非 bytes，一般情况下 1 page = 4096 bytes。page 大小可以通过下面命令获得： $ getconf PAGESIZE 4096

查看内核分配了多少的内存给 TCP： $ cat /proc/sys/net/ipv4/tcp_mem 69618   92825   139236 第一个数字表示，当 tcp 使用的 page 少于 69618 时，kernel 不对其进行任何的干预 第二个数字表示，当 tcp 使用了超过 92825 的 pages 时，kernel 会进入 “memory pressure” 第三个数字表示，当 tcp 使用的 pages 超过 139236 时，我们就会看到题目中显示的信息

查看 tcp 实际用的内存： $ cat /proc/net/sockstat sockets: used 116 TCP: inuse 3 orphan 0 tw 4 alloc 4 mem 110 UDP: inuse 1 mem 1 UDPLITE: inuse 0 RAW: inuse 0 FRAG: inuse 0 memory 0 可以看到，实际使用的 mem(110) 远远小于 69618，所以，“Out of socket memory”的错误是由于第一种情况引起的。

关于 orphan socket 的解释，请看这里。orphan socket 对于应用程序来说，意义不大，这也是内核要限制被 orphan socket 消耗内存的原因。而对于 web server 来说，有大量的 orphan socket 也属正常，那么多的连接放在那儿了。 查看 orphan socket 限制： $ cat /proc/sys/net/ipv4/tcp_max_orphans

对比当前系统中的： $ cat /proc/net/sockstat sockets: used 14565 TCP: inuse 35938 orphan 21564 tw 70529 alloc 35942 mem 1894

由于内核代码中有个位运算，所以实际的跟最大的是 2x 或者是 4x 的关系。现在根据实际情况，将 tcp_max_orphans 调到一个合理的值就可以了。原则上该值建议只增大，另外，每个 orphan 会消耗大概 64KB 的内存。

还有个叫 tcp_orphan_retries 参数，对于 web server，可以减小。

修改了上面的一些配置参数，报错日志还是在一直往外报。

#################################################################################################### net.ipv4.tcp_max_orphans = 18000

最后修改值到18000，Out of socket memory报错解决。

net.ipv4.tcp_max_tw_buckets = 10000

最后修改值到net.ipv4.tcp_max_tw_buckets = 10000，kernel: printk: xxx messages suppressed.报错解决。

记得参数修改完成执行 sysctl -p

#######################################################################################################

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。