http 502 和 504 的区别

阅读 7205
收藏 68
2017-02-01
原文链接:github.com

首先看一下概念:

  • 502:作为网关或者代理工作的服务器尝试执行请求时,从上游服务器接收到无效的响应。
  • 503:由于临时的服务器维护或者过载,服务器当前无法处理请求。这个状况是临时的,并且将在一段时间以后恢复。如果能够预计延迟时间,那么响应中可以包含一个 Retry-After 头用以标明这个延迟时间。如果没有给出这个 Retry-After 信息,那么客户端应当以处理500响应的方式处理它。  注意:503状态码的存在并不意味着服务器在过载的时候必须使用它。某些服务器只不过是希望拒绝客户端的连接。
  • 504:作为网关或者代理工作的服务器尝试执行请求时,未能及时从上游服务器(URI标识出的服务器,例如HTTP、FTP、LDAP)或者辅助服务器(例如DNS)收到响应。  注意:某些代理服务器在DNS查询超时时会返回400或者500错误。

通俗的来说,nginx作为一个代理服务器,将请求转发到其他服务器或者php-cgi来处理,当nginx收到了无法理解的响应时,就返回502。当nginx超过自己配置的超时时间还没有收到请求时,就返回504错误。

502

上面说到nginx收到了无法理解的响应,什么是无法理解的响应呢?

  • nginx无法与php-fpm进行连接。
  • nginx在连接php-fpm一段时间后发现与php-fpm的连接被断开。

那么什么时候会出现上面的情况呢?

  • php-fpm没有启动,nginx无法将请求交给php-fpm
  • php-fpm运行脚本超时,php-fpm终止了脚本的执行和执行脚本的Worker进程,nginx发现自己与php-fpm的连接断开。

我们逐一实验上述的情况:

php-fpm没有启动

我们关闭php-fpm。

[root@localhost ~]# service php-fpm stop
Stopping php-fpm:                                          [  OK  ]

刷新页面,发现返回502错误:
screenshot

nginx的error_log:

2016/11/06 11:03:01 [error] 3860#0: *37 connect() failed (111: Connection refused) while connecting to upstream, client: 127.0.0.1, server: _, request: "GET /www/muke/index.php HTTP/1.1", upstream: "fastcgi://127.0.0.1:9000", host: "127.0.0.1"
php-fpm请求超时

我们首先将php-fpm.conf中的max_terminate_request改成5s:

request_terminate_timeout = 5

在php脚本中添加如下语句:

sleep(20);

刷新页面,发现返回502错误:
screenshot

查看php-fpm的error_log,有如下日志:

[06-Nov-2016 12:26:07] WARNING: [pool www] child 6669, script '/usr/share/nginx/html/www/muke/index.php' (request: "GET /www/muke/index.php") execution timed out (5.482902 sec), terminating
[06-Nov-2016 12:26:07] WARNING: [pool www] child 6669 exited on signal 15 (SIGTERM) after 647.401329 seconds from start
[06-Nov-2016 12:26:07] NOTICE: [pool www] child 6774 started

查看nginx的error_log,有如下日志:

2016/11/06 12:26:07 [error] 6228#0: *46 recv() failed (104: Connection reset by peer) while reading response header from upstream, client: 127.0.0.1, server: _, request: "GET /www/muke/index.php HTTP/1.1", upstream: "fastcgi://127.0.0.1:9000", host: "127.0.0.1"
php-fpm max_children

另外,关于网上说的适当增加max_children参数可能会解决502的问题,我没有实验出来,但是说一下我的实验过程:

关于502与max_children之间的关系,有这样的说法:

max_children最大子进程数,在高并发请求下,达到php-fpm最大响应数,后续的请求就会出现502错误的。

首先我很怀疑这样的说法,因为假设php-fpm的max_children设置为10,即有10个worker子进程。那么假设此时同时有10个并发请求都在占用worker进程进行处理,那么这时第11个请求到来时,就直接拒绝这个请求,连一个等待队列都没有吗?

为了证实我的想法,首先修改max_children的选项如下:

pm.max_children = 1

具体修改过程conf里有详细的说明,pm的值在这里需要为static。

重启php-fpm,查看worker子进程的数量:

[root@localhost ~]# ps aux | grep php-fpm
root       7596  0.0  0.1 245812  3808 ?        Ss   14:10   0:00 php-fpm: master process (/etc/php-fpm.conf)
apache     7597  0.0  0.3 245844  6120 ?        S    14:10   0:00 php-fpm: pool www    

确实变为了一个。

为了增加实验效果,在php文件中增加:

sleep(20);

此时同时打开三个页面,同时发3个请求。如果按照上面的说法,只有一个请求被worker进程处理,其余2个请求因为没有多余的worker处理而被拒绝,返回502。但是实验的结果并不是如此,三个页面最终都返回了http code 200。说明是有一个等待队列存在的。那么这个等待队列是什么呢?

在网上搜寻了一段时间,发现有如下的想法:

当backlog队列满了,会出现502错误

什么是backlog队列呢?
首先我们使用ss命令,观察当前活跃的套接字:

[root@localhost ~]# ss -ln
State       Recv-Q Send-Q                                              Local Address:Port                                                Peer Address:Port 
LISTEN      0      128                                                     127.0.0.1:6942                                                           *:*     
LISTEN      0      128                                                             *:56517                                                          *:*     
LISTEN      0      128                                                     127.0.0.1:9000                                                           *:*     
LISTEN      0      50                                                              *:3306                                                           *:*     
LISTEN      0      128                                                     127.0.0.1:63342                                                          *:*     
LISTEN      0      128                                                            :::111                                                           :::*     
LISTEN      0      128                                                             *:111                                                            *:*     
LISTEN      0      128                                                             *:80                                                             *:*     
LISTEN      0      128                                                            :::60816                                                         :::*     
LISTEN      0      128                                                            :::22                                                            :::*     
LISTEN      0      128                                                             *:22                                                             *:*     
LISTEN      0      128                                                     127.0.0.1:631                                                            *:*     
LISTEN      0      128                                                           ::1:631                                                           :::*     
LISTEN      0      100                                                           ::1:25                                                            :::*     
LISTEN      0      100                                                     127.0.0.1:25                                                             *:*    

我们观察127.0.0.1:9000这一行:

LISTEN      0      128                                                     127.0.0.1:9000                                                           *:*     

关注Recv-QSend-Q这两个字段。啥意思呢?我也不懂。参考TCP queue 的一些问题的说法:

  • LISTEN 状态: Recv-Q 表示的当前等待服务端调用 accept 完成三次握手的 listen backlog 数值,也就是说,当客户端通过 connect() 去连接正在 listen() 的服务端时,这些连接会一直处于这个 queue 里面直到被服务端 accept();Send-Q 表示的则是最大的 listen backlog 数值,这就就是上面提到的 min(backlog, somaxconn) 的值。
  • 其余状态: 非 LISTEN 状态之前理解的没有问题。Recv-Q 表示 receive queue 中的 bytes 数量;Send-Q 表示 send queue 中的 bytes 数值。

其余的细节查看刚才贴出的参考链接。

于是,将php-fpm的conf中的listen.backlog修改为1:

; Set listen(2) backlog. A value of '-1' means unlimited.
; Default Value: -1
listen.backlog = 1

重启php-fpm,查看修改结果:

[root@localhost ~]# ss -ln | grep 9000
LISTEN     0      1                 127.0.0.1:9000                     *:*     

修改成功。php-fpm目前的backlog为1,即php-fpm的等待队列里只能有一个请求在等待worker进程进行处理。

同时发三个请求,查看结果:
结果为:三个请求又最终成功返回http code 200。与我猜想的不符和啊,不是backlog为1吗?
最后发现下面一段话:

当 queue 满了之后,服务器并不会按照理论所述,不再对 SYN 进行应答,返回 ETIMEDOUT。根据这篇文档的描述,实际情况并非如此,服务器会随机的忽略收到的 SYN,建立起来的连接数可以无限的增加,只不过客户端会遇到延时以及超时的情况。

再实验一次,同时运行ss -ln

[root@localhost ~]# ss -ln | grep 9000
LISTEN     2      1                 127.0.0.1:9000                     *:*     

过一段时间后:

[root@localhost ~]# ss -ln | grep 9000
LISTEN     1      1                 127.0.0.1:9000                     *:*     

发现Recv-Q字段的值为2,过一段时间变为1,说明php-fpm并没有拒绝后两次请求。

那么最终的结论是:适当增加max_children还是有用的,这样的话php-fpm能同时处理的请求增加,客户端的延迟等待时间也会相应的减小。

fastcgi_buffer系列

还有种说法是当nginx的fastcgi的buffer设置过小时,也会有502。

fastcgi_buffer_size 1k;
fastcgi_buffers 2 1k;
fastcgi_busy_buffers_size 1k;

这个自己也没有实验出来,自己理解的是如果buffer开启过小的话,work进程需要将response body中在buffer放不下的部分放到磁盘上,降低了效率,work进程的响应时间会变慢,效率降低。假如此时有高并发的请求,可能会出现502错误。

504

504即nginx超过了自己设置的超时时间,不等待php-fpm的返回结果,直接给客户端返回504错误。但是此时php-fpm依然还在处理请求(在没有超出自己的超时时间的情况下)。

这里有三个相关的配置:

  • fastcgi_connect_timeout 300;
    指定连接到后端FastCGI的超时时间。
  • fastcgi_send_timeout 300;
    向FastCGI传送请求的超时时间,这个值是指已经完成两次握手后向FastCGI传送请求的超时时间。
  • fastcgi_read_timeout 300;
    接收FastCGI应答的超时时间,这个值是指已经完成两次握手后接收FastCGI应答的超时时间。

这里我们将fastcgi_read_timeout设置为1s,后端还是延迟20s,观测效果:
screenshot

nginx返回504错误。

参考资料:jaseywang.me/2014/07/20/…

评论