今天web节点的响应很慢,但是nginx和php都看不出有什么问题,怀疑是文件存取方面的问题,所以检查了后面的NFS服务器却没有发现IO存在过量的问题,查了下message日志,如下类似信息:
Jun 24 19:00:26 file13 kernel: nfsd: last TCP connect from xx.xx.xx.xx:867
Jun 24 19:00:34 file13 kernel: printk: 5 messages suppressed.
Jun 24 19:00:34 file13 kernel: nfsd: too many open TCP sockets, consider increasing the number of nfsd threads
可能是由于这几天访问量猛增,web节点的nfs读写超过了NFS服务的限制造成的后果。
增加NFS服务器的线程,用ps -ef | grep nfs 可以看到默认nfs服务启动的8个nfs线程,新建一个文件:
# echo RPCNFSDCOUNT=32 > /etc/sysconfig/nfs
重启NFS服务
# /etc/init.d/nfs restart
用ps可以看到NFS线程增加到了32个,message也没有提示too many了,前端web节点相应逐渐变成正常。
由于访问量激增带来的其他问题还会发生,进一步观察。