haproxy 和 nginx 的负载均衡分析

2016年12月29日 | 0 条评论 | 1445

为了对比Hproxy和Nginx负载均衡的效果,分别在测试机上(以下实验都是在单机上测试的,即负载机器和后端机器都在一台机器上)做了这两个负载均衡环境,并各自抓包分析。
下面说下这两种负载均衡环境下抓包分析后的结果:

1)Haproxy负载均衡环境下的实验记录。后端有一台机器挂掉后,如果还没达到探测的时间点时,请求还会往挂掉的这台机器转发,请求会丢失。
Haproxy负载均衡的实验记录如下:
1--先看下Haproxy的配置。
配置inter 20000为20s检测一次,这个是为了更明显的抓下HAProxy的负载均衡探测机制。
[root@wangshibo ~]# cat /usr/local/haproxy/conf/haproxy.cfg

1
2
3
4
5
6
........
listen test9090
bind 127.0.0.1:9090
mode tcp
server localhost90 127.0.0.1:90 check inter 20000
server localhost91 127.0.0.1:91 check inter 20000

2--后端机器的Nginx的配置
[root@wangshibo ~]# cat /usr/local/nginx/conf/vhost/test.conf

1
2
3
4
5
6
7
server {
    listen  90;
    listen  91;
    location /{
      root /var/www/html;
    }
}

先在/var/www/html里创建一个首页index.html文件
[root@wangshibo ~]# echo "this is test" > /var/www/html/index.html
然后测试访问,并在机器上开两个窗口看下抓包是否均衡正常,两个窗口运行的命令分别如下:
[root@wangshibo ~]# curl 127.0.0.1:9090
[root@wangshibo ~]# tcpdump -i lo -nn 'port 90' 
[root@wangshibo ~]# tcpdump -i lo -nn 'port 91'

blob.png

上面抓包的截图证明Nginx监听的90和91端口都有在监听。使用抓包来检测比看日志来更细点,所以还是用抓包来分析了。

3--抓包查看HAProxy的健康检测机制
因为前面haproxy里配置了inter 20000,也就是告诉HAProxy 20s检测一次,抓包查看也是20s检查一下。
注意:这个检测是在客户端无任务请求的时候进行探测的,也就是处理请求跟探测是分开的。

blob.png

4--模拟线上故障,Nginx挂掉91端口
把listen 91这个Nginx的配置去除,然后reload nginx,会发现前端的请求如果分发到91端口的话,就会挂掉,经抓包发现HAProxy需要探测三次才会把故障的给切下线。我们配置的是20s探测一次,也是最长可能得探测60s才能把故障的切除掉。如果这60s内有1w请求的话,那就会丢掉5k个。如果用在线上的话,探测机制肯定不会是20s一次,一般最多3s会切换掉。

blob.png

2)Nginx负载均衡环境下的实验记录

1--Nginx的反向代理负载均衡配置,如下:
[root@wangshibo ~]# cat /usr/local/nginx/conf/vhost/LB.conf

1
2
3
4
5
6
7
8
9
10
11
upstream backend {  
    server 127.0.0.1:90 weight=1 max_fails=3 fail_timeout=30;
    server 127.0.0.1:91 weight=5 max_fails=3 fail_timeout=30;       
    }
 
server {
     listen 9090;
     location / {
     proxy_pass http://backend;
     }       
    }

前端还是使用9090来监听,把请求转发到90和91端口。
2--后端Nginx配置如下。可在/var/www/html/建个index.html进行测试
[root@wangshibo ~]# cat /usr/local/nginx/conf/vhost/test.conf

1
2
3
4
5
6
7
server {
    listen  90;
    listen  91;
    location /{
      root /var/www/html;
    }
}

在/var/www/html里创建一个首页index.html文件
[root@wangshibo ~]# echo "this is test2" > /var/www/html/index.html

3--抓包查看Nginx反向代理负载均衡的健康检测机制。抓包同样会发生90和91的包都有过来。
抓包会发现Nginx在没有请求的时候,90和91端口上没有任务的请求。也就是在没有请求的时候,是不会对后端的代理服务器进行检测的。

4--模拟线上故障,Nginx挂掉91端口
把listen 91这个Nginx的配置去除,然后reload一下,发现前端的访问没有任务影响。抓包如下,请求有打包91,但由于91没请求到数据。Nginx的均衡还会再次去90上取数据。也就是说,Nginx如果后端挂掉91端口的话,对前端的请求没有任务影响,只要并发支撑得住的话。


blob.png

由上面的实验可知:
1)HAProxy对于后端服务器一直在做健康检测(就算请求没过来的时候也会做健康检查):
后端机器故障发生在请求还没到来的时候,haproxy会将这台故障机切掉,但如果后端机器故障发生在请求到达期间,那么前端访问会有异常。也就是说HAProxy会把请求转到后端的这台故障机上,并经过多次探测后才会把这台机器切掉,并把请求发给其他正常的后端机,这势必会造成一小段时间内前端访问失败。
2)Nginx对于后端的服务器没有一直在做健康检测:
后端机器发生故障,在请求过来的时候,分发还是会正常进行分发,只是请求不到数据的时候,它会再转向好的后端机器进行请求,直到请求正常为止。也就是说Nginx请求转到后端一台不成功的机器的话,还会再转向另外一台服务器,这对前端访问没有什么影响。
3)因此,如果有用HAProxy做为前端负载均衡的话 ,如果后端服务器要维护,在高并发的情况,肯定是会影响用户的。但如果是Nginx做为前端负载均衡的话,只要并发撑得住,后端切掉几台不会影响到用户。

努力研究吧!

技术咨询
换一个