最近一台Nginx服务器经常出现502错误。下面列出出现错误时的一些症状：
- 网页打开特别慢，长时间响应之后出现502 Bad Gateway
- Cache化内存使用降至很低，但是Swap却升至很高，超过80%，实际内存使用超过95%。
- 进入控制台，发现磁盘IO速率会在出问题时飙升很多，网络流量下降，CPU使用下降。
- 系统负载飙升，达到50以上
[attach]536[/attach]
磁盘IO飙升
一些线索：
- php-fpm日志： 出现大量类似警告：seems busy (you may need to increase pm.start_servers, or pm.min/max_spare_servers), spawning 16 children, there are 0 idle, and 88 total children
- php-fpm日志：大量类似提示：child 16194 exited with code 0 after 54418.456656 seconds from start
可能的原因及解决方案
1.php-cgi不够用，增加maxchildren
2.一台服务器上运行着nginx php(fpm) xcache，访问量日均 300W pv左右
最近经常会出现这样的情况： php页面打开很慢，cpu使用率突然降至很低，系统负载突然升至很高，查看网卡的流量，也会发现突然降到了很低。这种情况只持续数秒钟就恢复了
检查php-fpm的日志文件发现了一些线索
Sep 30 08:32:23.289973 [NOTICE] fpm_unix_init_main(), line 271: getrlimit(nofile): max:51200, cur:51200
Sep 30 08:32:23.290212 [NOTICE] fpm_sockets_init_main(), line 371: using inherited socket fd=10, “127.0.0.1:9000″
Sep 30 08:32:23.290342 [NOTICE] fpm_event_init_main(), line 109: libevent: using epoll
Sep 30 08:32:23.296426 [NOTICE] fpm_init(), line 47: fpm is running, pid 30587
在这几句的前面，是1000多行的关闭children和开启children的日志
原来，php-fpm有一个参数 max_requests，该参数指明了，每个children最多处理多少个请求后便会被关闭，默认的设置是500。因为php是把请求轮询给每个children，在大流量下，每个childre到达max_requests所用的时间都差不多，这样就造成所有的children基本上在同一时间被关闭。
在这期间，nginx无法将php文件转交给php-fpm处理，所以cpu会降至很低(不用处理php，更不用执行sql)，而负载会升至很高(关闭和开启children、nginx等待php-fpm)，网卡流量也降至很低(nginx无法生成数据传输给客户端)
解决问题很简单，增加children的数量，并且将 max_requests 设置未 0 或者一个比较大的值：
打开 /usr/local/php/etc/php-fpm.conf
调大以下两个参数(根据服务器实际情况，过大也不行)
<value name=”max_children”>5120</value>
<value name=”max_requests”>600</value>
然后重启php-fpm。
3.可能是磁盘IO太高，这里是百度知道上的解答：
Load average 太高 136 怀疑硬盘读写负载太大
iostat查查吧 感觉内存没啥事 可以查查实际是用来多少 估计很多是cach
cat /proc/meminfo |grep -i active
见：http://zhidao.baidu.com/question/434934676.html
可能有效的解决方案：
1.增加php-fpm的max_children没有解决问题。
2.增加max_requests到102400，可能有效果。
3.Mysql使用了swap分区，可以设置系统尽量不用swap分区，见：http://bbs.tecbbs.com/thread-3086-1-1.html。
修改后症状暂时消失，猜测是因为Mysql使用了swap分区，导致磁盘读写速率突然增高，接着致使负载奇高，网页打开也就慢了。
| 
|小黑屋|手机版|知行技术社区
( 湘ICP备11020288号-1 )
