什么叫高可用负载均衡架构

服务器角色

服务器IP

Nginx Proxy1

192.168.8.14

Nginx Proxy2

192.168.8.15

Nginx Web1

192.168.8.16

Nginx Web2

192.168.8.17

Tomcat1

192.168.8.18

Tomcat2

192.168.8.19

Tcpserver(ftp)1

192.168.8.20

Tcpserver(ftp)2

192.168.8.21

[nginx]

name=nginx repo

baseurl=http://nginx.org/packages/centos/7/$basearch/

gpgcheck=0

enabled=1

user nginx;

worker_processes 4;

worker_cpu_affinity 0001 0010 0100 1000;

error_log logs/error.log notice;

events {

use epoll;

worker_connections 1024;

}

http {

include mime.types;

default_type application/octet-stream;

log_format main '$http_x_forwarded_for - $remote_user [$time_local] "$request" '

'$status $body_bytes_sent "$http_referer" '

'"$http_user_agent" $remote_addr';

#access_log logs/access.log main;

sendfile on;

tcp_nopush on;

tcp_nodelay on;

server_names_hash_bucket_size 128;

large_client_header_buffers 4 128k;

client_max_body_size 128m;

client_header_buffer_size 32k;

keepalive_timeout 120;

fastcgi_connect_timeout 300;

fastcgi_send_timeout 300;

fastcgi_read_timeout 300;

fastcgi_buffer_size 128k;

fastcgi_buffers 4 128k;

fastcgi_busy_buffers_size 256k;

fastcgi_temp_file_write_size 256k;

gzip on;

gzip_vary on;

gzip_min_length 1k;

gzip_buffers 4 64k;

gzip_http_version 1.0;

gzip_comp_level 9;

gzip_types text/plain application/x-javascript text/css text/javascript application/javascript application/xml p_w_picpath/jpeg p_w_picpath/gif p_w_picpath/png;

proxy_cache_path /etc/nginx/cache levels=1:2 keys_zone=cache_one:500m inactive=1d max_size=30g;

upstream testweb {

server 192.168.8.16:80;

server 192.168.8.17:80;

}

upstream testtomcat {

server 192.168.8.18:8080;

server 192.168.8.19:8080;

}

server {

listen 80;

server_name testweb.com.cn;

access_log logs/testweb.access.log main;

location ~ .*\.(css|js|gif|jpg|png)$ {

proxy_pass http://testweb;

proxy_cache cache_one;

proxy_cache_valid 200 301 302 5m;

proxy_cache_valid any 1m;

proxy_cache_key $host$uri$is_args$args;

expires 30d;

}

location / {

proxy_pass http://testweb;

proxy_redirect off;

proxy_set_header Host $host;

proxy_set_header X-Real-IP $remote_addr;

proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

client_max_body_size 10m;

client_body_buffer_size 128k;

proxy_connect_timeout 300;

proxy_send_timeout 300;

proxy_read_timeout 300;

proxy_buffer_size 4k;

proxy_buffers 4 32k;

proxy_busy_buffers_size 64k;

proxy_temp_file_write_size 64k;

}

error_page 500 502 503 504 /50x.html;

location = /50x.html {

root html;

}

}

server {

listen 80;

server_name testtomcat.com.cn;

access_log logs/testtomcat.access.log main;

location / {

proxy_pass http://testtomcat;

proxy_redirect off;

proxy_set_header Host $host;

proxy_set_header X-Real-IP $remote_addr;

proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

client_max_body_size 10m;

client_body_buffer_size 128k;

proxy_connect_timeout 300;

proxy_send_timeout 300;

proxy_read_timeout 300;

proxy_buffer_size 4k;

proxy_buffers 4 32k;

proxy_busy_buffers_size 64k;

proxy_temp_file_write_size 64k;

}

error_page 500 502 503 504 /50x.html;

location = /50x.html {

root html;

}

}

}

[nginx]

name=nginx repo

baseurl=http://nginx.org/packages/centos/7/$basearch/

gpgcheck=0

enabled=1

pasv_enable=YES

pasv_promiscuous=YES

port_enable=YES

port_promiscuous=NO

pasv_min_port=10001

pasv_max_port=10010 #如果用户较多，可以放大

服务器角色

服务器IP

Haproxy

192.168.8.12

Haproxy

192.168.8.13

global

#定义全局日志, 配置在本地, 通过local0 输出, 默认是info级别，可配置两条

log 127.0.0.1 local0 warning

#定义日志级别【error warning info debug】

#log 127.0.0.1 local1 info

#运行路径

chroot /usr/local/haproxy

#PID 文件存放路径

pidfile /var/run/haproxy.pid

#设置每haproxy进程的最大并发连接数, 其等同于命令行选项"-n"; "ulimit -n"自动计算的结果参照此参数设定.

maxconn 4096

#运行haproxy 用户, 或者使用关键字uid

user haproxy

#运行haproxy 用户组, 或者使用关键字gid

group haproxy

#后台运行haproxy

daemon

#设置启动的haproxy进程数量, 只能用于守护进程模式的haproxy;

#默认只启动一个进程, 鉴于调试困难等多方面的原因, 一般只在单进程仅能打开少数文件描述符的场景中才使用多进程模式.

nbproc 1

#设置每进程所能够打开的最大文件描述符数目, 默认情况其会自动进行计算, 因此不推荐修改此选项.

#ulimit-n 819200

#调试级别, 一般只在开启单进程时调试, 且生产环境禁用.

#debug

#haproxy启动后不会显示任何相关信息, 这与在命令行启动haproxy时加上参数"-q"相同

#quiet

#定义统计信息保存位置

stats socket /usr/local/haproxy/stats

#默认配置

defaults

#默认的模式【tcp:4层； http:7层； health:只返回OK】

mode http

#继承全局的日志定义输出

log global

#日志类别, httplog

#option httplog

#如果后端服务器需要记录客户端真实ip, 需要在HTTP请求中添加"X-Forwarded-For"字段;

#但haproxy自身的健康检测机制访问后端服务器时, 不应将记录访问日志，可用except来排除127.0.0.0，即haproxy本身.

#option forwardfor except 127.0.0.0/8

option forwardfor

#开启http协议中服务器端关闭功能, 每个请求完毕后主动关闭http通道, 使得支持长连接，使得会话可以被重用，使得每一个日志记录都会被记录.

option httpclose

#如果产生了一个空连接，那这个空连接的日志将不会记录.

option dontlognull

#当与后端服务器的会话失败(服务器故障或其他原因)时, 把会话重新分发到其他健康的服务器上; 当故障服务器恢复时, 会话又被定向到已恢复的服务器上;

#还可以用"retries"关键字来设定在判定会话失败时的尝试连接的次数

option redispatch

retries 3

#当haproxy负载很高时, 自动结束掉当前队列处理比较久的链接.

option abortonclose

#默认http请求超时时间

timeout http-request 10s

#默认队列超时时间, 后端服务器在高负载时, 会将haproxy发来的请求放进一个队列中.

timeout queue 1m

#haproxy与后端服务器连接超时时间.

timeout connect 5s

#客户端与haproxy连接后, 数据传输完毕, 不再有数据传输, 即非活动连接的超时时间.

timeout client 1m

#haproxy与后端服务器非活动连接的超时时间.

timeout server 1m

#默认新的http请求连接建立的超时时间，时间较短时可以尽快释放出资源，节约资源.

timeout http-keep-alive 10s

#心跳检测超时时间

timeout check 10s

#最大并发连接数

maxconn 2000

#设置默认的负载均衡方式

#balance source

#balnace leastconn

#统计页面配置, frontend和backend的组合体, 监控组的名称可按需自定义

listen admin_status

#配置监控运行模式

mode http

#配置统计页面访问端口

bind 0.0.0.0:1080

#统计页面默认最大连接数

maxconn 10

#http日志格式

option httplog

#开启统计

stats enable

#隐藏统计页面上的haproxy版本信息

stats hide-version

#监控页面自动刷新时间

stats refresh 30s

#统计页面访问url

stats uri /stats

#统计页面密码框提示文本

stats realm mCloud\ Haproxy

#监控页面的用户和密码:admin, 可设置多个用户名

stats auth admin:admin

#手工启动/禁用后端服务器, 可通过web管理节点

stats admin if TRUE

#设置haproxy错误页面

errorfile 400 /usr/local/haproxy/errorfiles/400.http

errorfile 403 /usr/local/haproxy/errorfiles/403.http

errorfile 408 /usr/local/haproxy/errorfiles/408.http

errorfile 500 /usr/local/haproxy/errorfiles/500.http

errorfile 502 /usr/local/haproxy/errorfiles/502.http

errorfile 503 /usr/local/haproxy/errorfiles/503.http

errorfile 504 /usr/local/haproxy/errorfiles/504.http

#监控haproxy后端服务器的监控状态

listen site_status

bind 0.0.0.0:1081 #监听端口

mode http #http的7层模式

log 127.0.0.1 local2 err #[err warning info debug]

monitor-uri /site_status #网站健康检测URL，用来检测HAProxy管理的网站是否可以用，正常返回200，不正常返回503

acl site_dead nbsrv(php_server) lt 1 #定义网站down时的策略当挂在负载均衡上的指定backend的中有效机器数小于1台时返回true

acl site_dead nbsrv(html_server) lt 1

acl site_dead nbsrv(backend_default) lt 1

monitor fail if site_dead #当满足策略的时候返回503，网上文档说的是500，实际测试为503

monitor-net 192.168.4.171/32 #来自192.168.4.152的日志信息不会被记录和转发

monitor-net 192.168.4.172/32

#frontend, 名字自定义

frontend HAproxy_Cluster

#定义前端监听端口, 建议采用bind *:80的形式，否则做集群高可用的时候有问题，vip切换到其余机器就不能访问.

bind 0.0.0.0:80

#acl后面是规则名称，当请求的url末尾是以.php结尾时,匹配触发php_web规则，以下两种写法均可.

#当请求的url末尾是以.css、.jpg、.png、.jpeg、.js、.gif结尾时，匹配并触发static_web规则.

#acl static_web path_end .gif .png .jpg .css .js .jpeg

#acl static_web url_reg /*.(css|jpg|png|jpeg|js|gif)$

#-i为忽略大小写，当被请求的是以www.test.com开头的主机时，匹配并触发dns_name规则.

acl html_web hdr_beg(host) -i www.haproxytest.com

#acl html_web hdr_beg(host) 10.11.4.152

#当客户端的IP是x.x.x.x时，匹配并触发src_ip规则.

#acl src_ip src x.x.x.x

#如果匹配acl规则php_web，将请求转交到php_server组处理；如果匹配acl规则html_web，将请求转交到html_server组处理.

use_backend php_server if php_web

use_backend html_server if html_web

#如果以上规则都不匹配时，将请求转交到default_backend组处理.

default_backend backend_default

#backend后端配置, 配置php_server组与html_server组

backend php_server

#定义负载均衡方式为roundrobin方式, 即基于权重进行轮询调度的算法, 在服务器性能分布较均匀情况下推荐.

#另有如下几种负载均衡方式：

#-- static-rr: 也是基于权重进行轮转调度, 但属于静态方法, 运行时调整后端机组权重不会使用新的权重;

#-- source: 基于请求源IP进行hash运算匹配后端服务器组;

#-- leastconn: 不适合会话较短的环境, 如基于http的应用;

#-- uri: 对整个URI进行hash运算;

#-- uri_param: 对URI中的参数进行转发;

#-- hdr():根据http头进行转发, 无该头部则转为使用roundrobin.

balance roundrobin

mode http

#允许插入serverid到cookie中，serverid后面可定义

cookie SERVERID

#心跳检测方式为检测后端服务器index.html文件，还有其他方式

option httpchk GET /index.html

#后端服务器定义, maxconn 1024表示该服务器的最大连接数, cookie 1表示serverid为1, weight代表权重(默认1，最大为265，0则表示不参与负载均衡),

#check inter 1500是检测心跳频率, rise 2是2次正确认为服务器可用, fall 3是3次失败认为服务器不可用.

server php1 192.168.4.171:80 maxconn 1024 cookie 1 weight 3 check inter 1500 rise 2 fall 3

backend html_server

balance source

mode http

server html1 192.168.4.172:80 maxconn 1024 cookie 1 weight 3 check inter 1500 rise 2 fall 3

backend backend_default

balance source

mode http

server default1 192.168.4.171:80 maxconn 1024 cookie 1 weight 3 check inter 1500 rise 2 fall 3

global

log 127.0.0.1 local0 warning

chroot /usr/local/haproxy

pidfile /var/run/haproxy.pid

maxconn 4096

user haproxy

group haproxy

daemon

nbproc 1

stats socket /usr/local/haproxy/stats

defaults

mode http

log global

option forwardfor except 127.0.0.0/8

option httpclose

option dontlognull

option redispatch

retries 3

option abortonclose

timeout http-request 10s

timeout queue 1m

timeout connect 5s

#timeout client 1m

#timeout server 1m

timeout http-keep-alive 10s

timeout check 10s

maxconn 200000

listen admin_status

mode http

bind 0.0.0.0:1080

maxconn 10

option httplog

stats enable

stats hide-version

stats refresh 30s

stats uri /stats

stats realm mCloud\ Haproxy

stats auth admin:123456

stats admin if TRUE

errorfile 400 /usr/local/haproxy/errorfiles/400.http

errorfile 403 /usr/local/haproxy/errorfiles/403.http

errorfile 408 /usr/local/haproxy/errorfiles/408.http

errorfile 500 /usr/local/haproxy/errorfiles/500.http

errorfile 502 /usr/local/haproxy/errorfiles/502.http

errorfile 503 /usr/local/haproxy/errorfiles/503.http

errorfile 504 /usr/local/haproxy/errorfiles/504.http

listen site_status

bind 0.0.0.0:1081

mode http

log 127.0.0.1 local2 err

monitor-uri /site_status

acl site_dead nbsrv(nginx_proxy1) lt 1

monitor fail if site_dead

monitor-net 192.168.8.14/32

monitor-net 192.168.8.15/32

monitor-net 192.168.8.20/32

monitor-net 192.168.8.21/32

frontend nginx_cluster

mode http

bind 0.0.0.0:80

acl nginx_1 hdr_beg(host) -i testweb.com.cn

acl nginx_2 hdr_beg(host) -i testtomcat.com.cn

use_backend nginx_proxy1 if nginx_1

use_backend nginx_proxy1 if nginx_2

backend nginx_proxy1

mode http

balance roundrobin

server nginx1 192.168.8.14:80 maxconn 10240 cookie 1 weight 3 check inter 1500 rise 2 fall 3

server nginx2 192.168.8.15:80 maxconn 10240 cookie 2 weight 3 check inter 1500 rise 2 fall 3

listen ftp_service

bind 0.0.0.0:21

bind 0.0.0.0:10001-10010

mode tcp

option tcplog

balance roundrobin

server ftp_20 192.168.8.20 weight 2 check port 21 inter 10s rise 1 fall 2

server ftp_21 192.168.8.21 weight 2 check port 21 inter 10s rise 1 fall 2

# Provides UDP syslog reception

$ModLoad imudp

$UDPServerRun 514

# haproxy.log

#

local0.* /usr/local/haproxy/log/haproxy.log

#local1.* /usr/local/haproxy/log/haproxy.log

local2.* /usr/local/haproxy/log/haproxy.log

&~

服务器角色

服务器IP

VIP1

192.168.8.100

LVS1

192.168.8.10

LVS2

192.168.8.11

! Configuration File for keepalived

global_defs {

notification_email {

acassen@firewall.loc #设置报警邮件地址，可以设置多个，每行一个。

failover@firewall.loc #需开启本机的sendmail服务

sysadmin@firewall.loc

}

notification_email_from Alexandre.Cassen@firewall.loc #设置邮件的发送地址

smtp_server 127.0.0.1 #设置smtp server地址

smtp_connect_timeout 30 #设置连接smtp server的超时时间

router_id LVS_DEVEL #表示运行keepalived服务器的一个标识。发邮件时显示在邮件主题的信息

}

vrrp_instance VI_1 {

state BACKUP #指定keepalived的角色，MASTER表示此主机是主服务器，BACKUP表示此主机是备用服务器，但主挂了之后，再恢复会导致抢资源现象。所以这边都设置BACKUP，为了防止抢资源。

interface eth0 #指定HA监测网络的接口

virtual_router_id 51 #虚拟路由标识，这个标识是一个数字，同一个vrrp实例使用唯一的标识。即同一vrrp_instance下，MASTER和BACKUP必须是一致的

priority 100 #定义优先级，数字越大，优先级越高，在同一个vrrp_instance下，MASTER的优先级必须大于BACKUP的优先级

advert_int 1 #设定MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位是秒

nopreempt #不抢占资源，意思就是它活了之后也不会再把主抢回来

authentication { #设置验证类型和密码

auth_type PASS #设置验证类型，主要有PASS和AH两种

auth_pass 1111 #设置验证密码，在同一个vrrp_instance下，MASTER与BACKUP必须使用相同的密码才能正常通信

}

virtual_ipaddress { #设置虚拟IP地址，可以设置多个虚拟IP地址，每行一个

192.168.8.97

}

}

virtual_server 192.168.8.97 3306 { #设置虚拟服务器，需要指定虚拟IP地址和服务端口，IP与端口之间用空格隔开

delay_loop 6 #设置运行情况检查时间，单位是秒

lb_algo rr #设置负载调度算法，这里设置为rr，即轮询算法

lb_kind DR #设置LVS实现负载均衡的机制，有NAT、TUN、DR三个模式可选

nat_mask 255.255.255.0

persistence_timeout 50 #会话保持时间，单位是秒。这个选项对动态网页是非常有用的，为集群系统中的session共享提供了一个很好的解决方案。有了这个会话保持功能，用户的请求会被一直分发到某个服务节点，直到超过这个会话的保持时间。需要注意的是，这个会话保持时间是最大无响应超时时间，也就是说，用户在操作动态页面时，如果50秒内没有执行任何操作那么接下来的操作会被分发到另外的节点，但是如果用户一直在操作动态页面，则不受50秒的时间限制

protocol TCP #指定转发协议类型，有TCP和UDP两种

real_server 192.168.8.90 3306 { #配置服务节点1，需要指定real server的真实IP地址和端口，IP与端口之间用空格隔开

weight 1 #配置服务节点的权值，权值大小用数字表示，数字越大，权值越高，设置权值大小可以为不同性能的服务器。分配不同的负载，可以为性能高的服务器设置较高的权值，而为性能较低的服务器设置相对较低的权值，这样才能合理地利用和分配系统资源

TCP_CHECK { #realserver的状态检测设置部分，单位是秒

connect_timeout 3 #表示3秒无响应超时

nb_get_retry 3 #表示重试次数

delay_before_retry 3 #表示重试间隔

connect_port 3306 #健康检查端口

}

}

real_server 192.168.8.91 3306 { #配置服务节点1，需要指定real server的真实IP地址和端口，IP与端口之间用空格隔开

weight 1 #配置服务节点的权值，权值大小用数字表示，数字越大，权值越高，设置权值大小可以为不同性能的服务器。分配不同的负载，可以为性能高的服务器设置较高的权值，而为性能较低的服务器设置相对较低的权值，这样才能合理地利用和分配系统资源

TCP_CHECK { #realserver的状态检测设置部分，单位是秒

connect_timeout 3 #连接超时时间

nb_get_retry 3 #重连次数

delay_before_retry 3 #表示重试间隔

connect_port 3306 #健康检查端口

}

}

}

! Configuration File for keepalived

global_defs {

notification_email {

acassen@firewall.loc

failover@firewall.loc

sysadmin@firewall.loc

}

notification_email_from Alexandre.Cassen@firewall.loc

smtp_server 192.168.200.1

smtp_connect_timeout 30

router_id LVS_DEVEL

}

vrrp_instance VI_1 {

state BACKUP

interface ens160

virtual_router_id 51

priority 100

advert_int 1

authentication {

auth_type PASS

auth_pass 123456

}

virtual_ipaddress {

192.168.8.100

}

}

virtual_server 192.168.8.100 80 {

delay_loop 6

lb_algo rr

lb_kind DR

nat_mask 255.255.255.0

persistence_timeout 50

protocol TCP

real_server 192.168.8.12 80 {

weight 1

TCP_CHECK {

connect_timeout 3

nb_get_retry 3

delay_before_retry 3

connect_port 80

}

}

real_server 192.168.8.13 80 {

weight 1

TCP_CHECK {

connect_timeout 3

nb_get_retry 3

delay_before_retry 3

connect_port 80

}

}

}

virtual_server 192.168.8.100 21 {

delay_loop 6

lb_algo rr

lb_kind DR

nat_mask 255.255.255.0

persistence_timeout 50

protocol TCP

real_server 192.168.8.12 21 {

weight 1

TCP_CHECK {

connect_timeout 3

nb_get_retry 3

delay_before_retry 3

connect_port 21

}

}

real_server 192.168.8.13 21 {

weight 1

TCP_CHECK {

connect_timeout 3

nb_get_retry 3

delay_before_retry 3

connect_port 21

}

}

}

! Configuration File for keepalived

global_defs {

notification_email {

acassen@firewall.loc

failover@firewall.loc

sysadmin@firewall.loc

}

notification_email_from Alexandre.Cassen@firewall.loc

smtp_server 192.168.200.1

smtp_connect_timeout 30

router_id LVS_DEVEL

}

vrrp_instance VI_1 {

state BACKUP

interface ens160

virtual_router_id 51

priority 90

advert_int 1

authentication {

auth_type PASS

auth_pass 123456

}

virtual_ipaddress {

192.168.8.100

}

}

virtual_server 192.168.8.100 80 {

delay_loop 6

lb_algo rr

lb_kind DR

nat_mask 255.255.255.0

persistence_timeout 50

protocol TCP

real_server 192.168.8.12 80 {

weight 1

TCP_CHECK {

connect_timeout 3

nb_get_retry 3

delay_before_retry 3

connect_port 80

}

}

real_server 192.168.8.13 80 {

weight 1

TCP_CHECK {

connect_timeout 3

nb_get_retry 3

delay_before_retry 3

connect_port 80

}

}

}

virtual_server 192.168.8.100 21 {

delay_loop 6

lb_algo rr

lb_kind DR

nat_mask 255.255.255.0

persistence_timeout 50

protocol TCP

real_server 192.168.8.12 21 {

weight 1

TCP_CHECK {

connect_timeout 3

nb_get_retry 3

delay_before_retry 3

connect_port 21

}

}

real_server 192.168.8.13 21 {

weight 1

TCP_CHECK {

connect_timeout 3

nb_get_retry 3

delay_before_retry 3

connect_port 21

}

}

}

#!/bin/bash

#description: Config realserver

VIP=192.168.8.100

/etc/rc.d/init.d/functions

case "$1" in

start)

/sbin/ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP

/sbin/route add -host $VIP dev lo:0

echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce

echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

sysctl -p >/dev/null 2>&1

echo "RealServer Start OK"

;;

stop)

/sbin/ifconfig lo:0 down

/sbin/route del $VIP >/dev/null 2>&1

echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore

echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce

echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore

echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce

echo "RealServer Stoped"

;;

*)

echo "Usage: $0 {start|stop}"

exit 1

esac

exit 0