企业实战（22）基于Haproxy负载均衡+Keepalived高可用集群实战详解
一、Haproxy概述
一种高效、可靠、免费的高可用及负载均衡软件，非常适合于高负载站点的七层数据请求。客户端通过Haproxy代理服务器获得站点页面，而代理服务器收到客户请求后根据负载均衡的规则将请求数据转发给后端真实服务器，实现了一种事件驱动、单一进程模型，能支持非常大的并发连接数。
同一客户端访问服务器，Haproxy保持会话的三种方案：
1) Haproxy将客户端ip进行Hash计算并保存，由此确保相同IP访问时被转发到同一真实服务器上。
2) Haproxy依靠真实服务器发送给客户端的cookie信息进行回话保持。
3) Haproxy保存真实服务器的session及服务器标识，实现会话保持功能。
二、Haproxy代理模式
四层Tcp代理：Haproxy仅在客户端和服务器之间双向转发流量，可用于邮件服务内部协议通信服务器、Mysql服务等；
七层应用代理：Haproxy会分析应用层协议，并且能通过运行、拒绝、交换、增加、修改或者删除请求（request）或者回应（reponse）里指定内容来控制协议。可用于HTTP代理或https代理。
无负载均衡
简单的无负载均衡Web应用环境, 用户会直接接入Web服务器，即kevin.com且其中不存在负载均衡机制。如果单一Web服务器发生故障，用户将无法接入该服务器。另，若多位用户同时访问该服务器，且其无法处理该负载，则会出现响应缓慢或者无法接入的情况
四层负载均衡
最为简单的负载均衡方式，将网络流量引导至多台服务器以使用四层（即传输层）负载均衡。这种方式会根据IP范围与端口进行用户流量转发（例如：有请求指向http://kevin.com/anything，则该流量将被转发至backend，即将用户请求转发至后端服务器的web-backend组。被选定的后端服务器将直接响应用户请求），web-backend中的全部服务器都应当拥有同样的内容, 否则用户可能会遭遇内容不一致问题。
七层负载均衡
网络流量使用7层负载均衡意味着均衡器能够根据用户的请求内容将请求转发至不同后端服务器。这种方式允许在同一域名及端口上运行多套Web应用服务器。例如：用户向kevin.com/blog发送请求，则会被转发至blog后端，其包含一组运行有同一blog应用的服务器。其它请求则会被转发至web-backend,其负责运行其它应用。总的来说，它可以根据“IP+端口”的方式进行负载分流，还可以根据网站的URL、访问域名、浏览器类别、语言等决定负载均衡的策略。
三、负载均衡LVS、Haproxy、Nginx对比
总结：
大型网站架构：对性能有严格要求的时候可以使用lvs或者硬件F5，单从负载均衡的角度来说，lvs也许会成为主流，更适合现在大型的互联网公司。
中型网站架构：对于页面分离请求有明确规定，并且性能有严格要求时，可以使用haproxy。
中小型网站架构：比如日访问量小于1000万，需要进行高并发的网站或者对网络不太严格的时候，可以使用nginx。
四、 Haproxy负载均衡算法
HaProxy的负载均衡算法现在具体有如下8种：
roundrobin：轮询
static-rr：权重轮询
leastconn：最少连接者优先
source：根据请求源IP,这个跟Nginx的ip_hash机制类似
ri：根据请求的URI
rl_param：表示根据请求的URI参数‘balance url_param’requires an URL parameter name;
hdr(name)：根据HTTP请求头来锁定每一次HTTP请求
rdp-cookie(name)：根据cookie来锁定并哈希每一次TCP请求
五.Haproxy的配置
Haproxy的配置过程分为3个主要部分：
命令行参数，这是最优先的；
global（全局）段，设置进程级参数；
代理配置段，通常位于default,listen,backend这样的形式内。配置文件的语法是由关键字后跟可选的一个或者多个参数（参数之间有空格）组成。如果字符串中包含空格，必须用’\’进行转义。
Haproxy配置中分五大部分：
global：全局参数配置，进程级的，用来控制Haproxy启动前的一些进程及系统设置。defaults：配置一些默认的参数，可以被frontend，backend，listen段集成使用。frontend：用来匹配接收客户所请求的域名，uri等，并针对不同的匹配，做不同的请求处理。backend：定义后端服务器集群，以及对后端服务器集群的一些权重、队列、连接数等选项的设置，类似于nginx中的upstream模块。listen：可以理解为frontend和backend的组合体。
Haproxy配置文件的配置方法主要有两种，一种是由前端（frontend）和后端（backend）配置块组成，前端和后端都可以有多个。第二种方法是只有一个listen配置块来同时实现前端和后端。最常用也是推荐的方法为第一种，即frontend和backend的模式。
1. 配置参数详解
global # 全局参数global模块的设置
log 127.0.0.1 local2 # log语法：log <address_1>[max_level_1] # 全局的日志配置，使用log关键字，指定使用127.0.0.1上的syslog服务中的local0日志设备，记录日志等级为info的日志
chroot /var/lib/haproxy #工作目录
pidfile /var/run/haproxy.pid #进程pid文件
maxconn 4000 #最大连接数
user haproxy #所属用户
group haproxy #所属用户组
daemon #以守护进程方式运行haproxy
stats socket /var/lib/haproxy/stats #定义socket套接字，针对在线维护很有帮助
defaults # defaults模块的设置
mode http #默认的模式{ tcp|http|health},health只会返回OK
log global #应用全局的日志配置
option httplog #启用日志记录HTTP请求，默认不记录HTTP请求日志
option dontlognull # 启用该项，日志中将不会记录空连接。所谓空连接就是在上游的负载均衡器者监控系统为了探测该 服务是否存活可用时，需要定期的连接或者获取某一固定的组件或页面，或者探测扫描端口是否在监听或开放等动作被称为空连接；官方文档中标注，如果该服务上游没有其他的负载均衡器的话，建议不要使用该参数，因为互联网上的恶意扫描或其他动作就不会被记录下来
option http-server-close #每次请求完毕后主动关闭http通道
option forwardfor except 127.0.0.0/8 #如果服务器上的应用程序想记录发起请求的客户端的IP地址，需要在HAProxy上配置此选项， 这样 HAProxy会把客户端的IP信息发送给服务器，在HTTP 请求中添加"X-Forwarded-For"字段。启用 X-Forwarded-For，在requests 头部插入客户端IP发送给后端的server，使后端server获取到客户端的真实IP。
option redispatch # 当使用了cookie时，haproxy将会将其请求的后端服务器的serverID插入到cookie中，以保证会话的SESSION持久性；而此时，如果后端的服务器宕掉 了， 但是客户端的cookie是不会刷新的，如果设置此参数，将会将客户的请 求强制定向到另外一个后端server上，以保证服务的正常。
retries 3 # 定义连接后端服务器的失败重连次数，连接失败次数超过此值后将会将对应后端服务器标记为不可用
timeout http-request 10s #http请求超时时间
timeout queue 1m #一个请求在队列里的超时时间
timeout connect 10s #连接超时
timeout client 1m #客户端超时
timeout server 1m #服务器端超时
timeout http-keep-alive 10s #设置http-keep-alive的超时时间
timeout check 10s #检测超时
maxconn 3000 #每个进程可用的最大连接数
listen stats #定义一个listen模块，用于状态检测
mode http #模式采用http
bind 0.0.0.0:8888 #绑定本机的地址及端口
stats enable #启用状态检测功能
stats uri /haproxy-status #状态检测的URI
stats auth haproxy:123456 #访问检测界面的用户名和密码
frontend main *:80 #frontend模块的设置，定义了一个前端
acl url_static path_beg -i /static /images /javascript /stylesheets
acl url_static path_end -i .jpg .gif .png .css .js #这里定义了一个acl规则
use_backend static if url_static #如果匹配到了acl，则访问后端的static模块
default_backend my_webserver #如果没有匹配到acl，则将请求丢给默认的模块
backend static #定义第一个后端模块，static
balance roundrobin #负载均衡算法为轮询
server static 127.0.0.1:80 check #后端服务器地址
backend my_webserver #定第二个后端，my_wenserver
balance roundrobin #负载均衡算法
server web01 172.31.2.33:80 check inter 2000 fall 3 weight 30 #定义的多个后端
server web02 172.31.2.34:80 check inter 2000 fall 3 weight 30 #定义的多个后端
server web03 172.31.2.35:80 check inter 2000 fall 3 weight 30 #定义的多个后端
2.健康检查
Haproxy作为Loadblance，支持对backend的健康检查，以保证在后端backend不能服务时，把从frontend进来的request分配至其他可以服务的backend，从而保证整体服务的可用性。
相关配置：
httpchk <method><uri><version>
option httpchk HEAD / HTTP/1.0
check：启动健康检测
inter：健康检测时间间隔
rise：检测服务可用的连接次数
fall：检测服务不可用的连接次数
error-limit：往server写数据连续失败次数的上限，执行on-error的设定
observe<mode>：把正常服务过程作为健康检测请求，即实时检测
on-error<mode>：满足error-limit后执行的操作（fastinter、fail-check、sudden-death、mark-down）。其中fastinter表示立即按照fastinter的检测延时进行。fail-check表示改次error作为一次检测；sudden-death表示模仿一次fatal，如果紧接着一次fail则server为down；mark-down表示直接把server设置为down状态。
server web-node2 192.168.56.22:8080 check inter 2000 rise 30 fall 15
3.检测方式
1、通过监听端口进行健康检测
这种检测方式，haproxy只会去检查server的端口，并不能保证服务真正可用。
listen http_proxy 0.0.0.0:80
mode http
cookie SERVERID
balance roundrobin
option httpchk
server web1 192.168.1.1:80 cookie server01 check
server web2 192.168.1.2:80 cookie serve02 check inter 500 rise 1 fall 2
2、通过URI进行健康检测
这种检测方式，是用去GET后端server的web页面，基本可以代表后端服务的可用性。
listen http_proxy 0.0.0.0:80
mode http
cookie SERVERID
balance roundrobin
option httpchk GET /index.html
server web1 192.168.1.1:80 cookie server01 check
server web2 192.168.1.2:80 cookie serve02 check inter 500 rise 1 fall 2
3、通过request获取的头部信息进行匹配进行健康检测
这种检测方式，是基于一些高级、精细的监测需求，通过对后端头部访问的头部信息进行匹配检测。
listen http_proxy 0.0.0.0:80
mode http
cookie SERVERID
balance roundrobin
option httpchk HEAD /index.jsp HTTP/1.1\r\n\Host:\www.xxx.com
server web1 192.168.1.1:80 cookie server01 check
server web2 192.168.1.2:80 cookie serve02 check inter 500 rise 1 fall 2
Keepalived详细介绍篇：
企业实战（14）基于LVS-DR模式负载均衡+Keepalived高可用集群实战详解
六、Haproxy负载均衡集群实战
准备4台Linux服务器，两台做Web服务器，1台安装HAProxy，1台做客户端，实现如下功能：
客户端访问Haproxy，Haproxy分发请求到后端Real Server；
开启Haproxy监控页面，及时查看调度器状态；
设置Haproxy为开机启动；
使用4台虚拟机:
1台作为Haproxy调度器 2台作为Real Server 1台作为客户端
环境介绍：
Haproxy调度服务器：192.168.2.130/24
真实服务器1：192.168.2.128/24
真实服务器2：192.168.2.129/24
客户端：192.168.2.132/24
注意：
一、后端真实服务器配置
1.两台后端服务器128/129分别安装Nginx
[root@localhost ~]# wget http://nginx.org/download/nginx-1.16.1.tar.gz
[root@localhost ~]# yum -y install gcc pcre-devel openssl-devel
[root@localhost ~]# useradd -s /sbin/nologin nginx //创建禁止登陆解释器的用户(为了安全)
[root@localhost ~]# id nginx
uid=1001(nginx) gid=1001(nginx) 组=1001(nginx)
[root@localhost ~]# tar -xf nginx-1.16.1.tar.gz
[root@localhost ~]# cd nginx-1.16.1
[root@localhost nginx-1.16.1]# ./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-http_ssl_module
--prefix=/usr/local/nginx //指定安装路径
--user=nginx //指定用户
--group=nginx //指定组
--with-http_ssl_module //安装ssl模块，开启其中的SSL加密功能(需要什么模块就安装什么模块)
......
......
nginx modules path: "/usr/local/nginx/modules"
nginx configuration prefix: "/usr/local/nginx/conf"
nginx configuration file: "/usr/local/nginx/conf/nginx.conf"
nginx pid file: "/usr/local/nginx/logs/nginx.pid"
nginx error log file: "/usr/local/nginx/logs/error.log"
nginx http access log file: "/usr/local/nginx/logs/access.log"
nginx http client request body temporary files: "client_body_temp"
nginx http proxy temporary files: "proxy_temp"
nginx http fastcgi temporary files: "fastcgi_temp"
nginx http uwsgi temporary files: "uwsgi_temp"
nginx http scgi temporary files: "scgi_temp"
[root@localhost nginx-1.16.1]# make && make install //编译并且安装
......
'/usr/local/nginx/conf/scgi_params.default'
test -f '/usr/local/nginx/conf/nginx.conf' \
|| cp conf/nginx.conf '/usr/local/nginx/conf/nginx.conf'
cp conf/nginx.conf '/usr/local/nginx/conf/nginx.conf.default'
test -d '/usr/local/nginx/logs' \
|| mkdir -p '/usr/local/nginx/logs'
test -d '/usr/local/nginx/logs' \
|| mkdir -p '/usr/local/nginx/logs'
test -d '/usr/local/nginx/html' \
|| cp -R html '/usr/local/nginx'
test -d '/usr/local/nginx/logs' \
|| mkdir -p '/usr/local/nginx/logs'
make[1]: 离开目录“/root/nginx-1.16.1”
[root@localhost ~]# /usr/local/nginx/sbin/nginx -V
nginx version: nginx/1.16.1
built by gcc 4.8.5 20150623 (Red Hat 4.8.5-39) (GCC)
built with OpenSSL 1.0.2k-fips 26 Jan 2017
TLS SNI support enabled
configure arguments: --prefix=/usr/local/nginx --user=nginx --group=nginx --with-http_ssl_module
[root@test2 ~]# /usr/local/nginx/sbin/nginx -V
nginx version: nginx/1.16.1
built by gcc 4.8.5 20150623 (Red Hat 4.8.5-39) (GCC)
built with OpenSSL 1.0.2k-fips 26 Jan 2017
TLS SNI support enabled
configure arguments: --prefix=/usr/local/nginx --user=nginx --group=nginx --with-http_ssl_module
2.创建测试页面
[root@localhost ~]# echo "I am 192.168.2.128" > /usr/local/nginx/html/index.html
[root@test2 ~]# echo "I am 192.168.2.129" > /usr/local/nginx/html/index.html
3.启动Nginx
[root@localhost nginx-1.16.1]# /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf
[root@localhost nginx-1.16.1]# netstat -antulp | grep :80
tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 6079/nginx: master
或者[root@localhost nginx-1.16.1]# netstat -antulp | grep nginx
tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 6079/nginx: master
3.关闭防火墙与selinux
两台后端服务器都需要操作。
[root@test2 ~]# systmctl stop firewalld
[root@test2 ~]# setenforce 0
[root@test2 ~]# getenforce
Disabled
[root@test2 ~]# vim /etc/sysconfig/selinux //永久关闭selinux
SELINUX=disabled
二、调度器部署Haproxy服务
1.安装Haproxy软件
[root@test3 ~]# yum -y install haproxy
2.修改配置文件
[root@test3 ~]# vim /etc/haproxy/haproxy.cfg
global ----> 以下为:全局设置
log 127.0.0.1 local2 ###[err warning info debug]
chroot /usr/local/haproxy //改变当前工作目录
pidfile /var/run/haproxy.pid //haproxy的pid存放路径
maxconn 4000 //最大连接数，默认4000
user haproxy //用户haproxy运行启动服务
group haproxy //用户组为haproxy
daemon //创建1个进程进入deamon模式运行(放到后台)
......
defaults ------> 以下为:默认设置
mode http //默认的模式mode { tcp|http|health } tcp是4层，http是7层，health只会返回OK。
log global //采用全局定义的日志
option dontlognull //不记录健康检查的日志信息
option httpclose //每次请求完毕后主动关闭http通道
option httplog //日志类别http日志格式
option forwardfor //后端服务器可以从Http Header中获得客户端ip
option redispatch //serverid服务器挂掉后强制定向到其他健康服务器
timeout connect 10000 //如果backend没有指定，默认为10s
timeout client 300000 //客户端连接超时
timeout server 300000 //服务器连接超时
maxconn 60000 //最大连接数
retries 3 //3次连接失败就认为服务不可用，也可以通过后面设置
......
------> 以下为:集群配置(手写进去)
listen stats 0.0.0.0:1080 //监听端口
stats refresh 30s //统计页面自动刷新时间
stats uri /stats //统计页面url
stats realm Haproxy Manager //进入管理页面查看状态信息
stats auth admin:admin //统计页面用户名和密码设置
#stats hide-version //隐藏统计页面上HAProxy的版本信息
listen websrv-rewrite 0.0.0.0:80
balance roundrobin //使用轮询算法(rr)
server web1 192.168.2.100:80 check inter 2000 rise 2 fall 5
//每隔2000毫秒做一次健康检查,允许失败5次,连续失败5次后从集群剔除,重新访问2次后算成功,再添加入集群.
server web2 192.168.2.200:80 check inter 2000 rise 2 fall 5
3.启动服务并设置开机自启
[root@test3 ~]# systemctl start haproxy
[root@test3 ~]# systemctl enable haproxy
三、客户端验证
备注：
Queue队列数据的信息（当前队列数量，最大值，队列限制数量）；
Session rate每秒会话率（当前值，最大值，限制数量）；
Sessions总会话量（当前值，最大值，总量，Lbtot: total number of times a server was selected选中一台服务器所用的总时间）；
Bytes（入站、出站流量）；
Denied（拒绝请求、拒绝回应）；
Errors（错误请求、错误连接、错误回应）；
Warnings（重新尝试警告retry、重新连接redispatches）；
Server(状态、最后检查的时间（多久前执行的最后一次检查）、权重、备份服务器数量、down机服务器数量、down机时长)。
如果你觉得这篇文章还不错，就请动动你的发财手为本文留个言，点个在看，或者转发一下吧，因为这将是我持续输出更多优质文章的最强动力！