LVS实现nat,dr

LVS实现nat,dr

1.lvs：Linux Virtual Server
(1)l4四层路由器，四层交换机；
VS：根据请求报文的目标IP和目标协议及端口将其调度转发至某RealServer，根据调度算法来挑选RS；
(2)lvs: ipvsadm/ipvs

ipvsadm：用户空间的命令行工具，规则管理器，用于管理集群服务及相关的RealServer；ipvs：工作于内核空间的netfilter的INPUT钩子之上的框架；

(3)lvs集群类型中的术语：

vs：Virtual Server, Director, Dispatcher, Balancerrs：Real Server, upstream server, backend serverCIP：Client IP, VIP: Virtual serve IP, RIP: Real server IP, DIP: Director IPCIP <--> VIP == DIP <--> RIP 

(4)lvs集群的类型：
(a)lvs-nat：修改请求报文的目标IP；多目标IP的DNAT；

多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发；(1）RIP和DIP必须在同一个IP网络，且应该使用私网地址；RS的网关要指向DIP；(2）请求报文和响应报文都必须经由Director转发；Director易于成为系统瓶颈；(3）支持端口映射，可修改请求报文的目标PORT；(4）vs必须是Linux系统，rs可以是任意系统；

(b)lvs-dr：Direct Routing，直接路由；
通过为请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目标IP/PORT均保持不变；
Director和各RS都得配置使用VIP；

(1) 确保前端路由器将目标IP为VIP的请求报文发往Director：(a) 在前端网关做静态绑定；(b) 在RS上使用arptables；(c) 在RS上修改内核参数以限制arp通告及应答级别；arp_announcearp_ignore(2) RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向DIP，以确保响应报文不会经由Director；(3) RS跟Director要在同一个物理网络；(4) 请求报文要经由Director，但响应不能经由Director，而是由RS直接发往Client；(5) 不支持端口映射；

(c)lvs-tun：
转发方式：不修改请求报文的IP首部（源IP为CIP，目标IP为VIP），而是在原IP报文之外再封装一个IP首部（源IP是DIP，目标IP是RIP），将报文发往挑选出的目标RS；RS直接响应给客户端（源IP是VIP，目标IP是CIP）；

(1) DIP, VIP, RIP都应该是公网地址；(2) RS的网关不能，也不可能指向DIP；(3) 请求报文要经由Director，但响应不能经由Director；(4) 不支持端口映射；(5) RS的OS得支持隧道功能；

(d)lvs-fullnat：
通过同时修改请求报文的源IP地址和目标IP地址进行转发；
CIP <--> DIP
VIP <--> RIP

(1) VIP是公网地址，RIP和DIP是私网地址，且通常不在同一IP网络；因此，RIP的网关一般不会指向DIP；(2) RS收到的请求报文源地址是DIP，因此，只能响应给DIP；但Director还要将其发往Client；(3) 请求和响应报文都经由Director；(4) 支持端口映射；注意：此类型默认不支持；

(5)调度算法ipvs scheduler:
根据其调度时是否考虑各RS当前的负载状态，可分为静态方法和动态方法两种：
(a)静态方法：仅根据算法本身进行调度；

RR：roundrobin，轮询；WRR：Weighted RR，加权轮询；SH：Source Hashing，实现session DH：Destination Hashing；目标地址哈希，将发往同一个目标地址的请求始终转发至第一次挑中的RS，典型使用场景是正向代理缓存场景中的负载均衡；

(b)动态方法：主要根据每RS当前的负载状态及调度算法进行调度；

LC：least connections Overhead=activeconns*256+inactiveconnsWLC：Weighted LC Overhead=(activeconns*256+inactiveconns)/weightSED：Shortest Expection DelayOverhead=(activeconns+1)*256/weightNQ：Never QueueLBLC：Locality-Based LC，动态的DH算法；LBLCR：LBLC with Replication，带复制功能的LBLC；

2.ipvsadm：
(1)程序包：ipvsadm

    Unit File: ipvsadm.service    主程序：/usr/sbin/ipvsadm    规则保存工具：/usr/sbin/ipvsadm-save    规则重载工具：/usr/sbin/ipvsadm-restore    配置文件：/etc/sysconfig/ipvsadm-config

(2)ipvsadm命令：
核心功能：
集群服务管理：增、删、改；
集群服务的RS管理：增、删、改；
(a)查看：

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] [--pe persistence_engine] [-b sched-flags]ipvsadm -D -t|u|f service-addressipvsadm -Cipvsadm -Ripvsadm -S [-n]ipvsadm -a|e -t|u|f service-address -r server-address [options]ipvsadm -d -t|u|f service-address -r server-addressipvsadm -L|l [options]ipvsadm -Z [-t|u|f service-address]

(b)管理集群服务：增、改、删；

增、改：        ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]删：        ipvsadm -D -t|u|f service-addressservice-address：    -t|u|f：        -t: TCP协议的端口，VIP:TCP_PORT        -u: UDP协议的端口，VIP:UDP_PORT        -f：firewall MARK，是一个数字；   [-s scheduler]：指定集群的调度算法，默认为wlc；

(c)管理集群上的RS：增、改、删；

  增、改：        ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]    删：        ipvsadm -d -t|u|f service-address -r server-addressserver-address：    rip[:port]选项：    lvs类型：        -g: gateway, dr类型        -i: ipip, tun类型        -m: masquerade, nat类型    -w weight：权重

(b)清空定义的所有内容：

ipvsadm -C查看：ipvsadm -L|l [options]--numeric, -n：numeric output of addresses and ports--exact：expand numbers (display exact values)--connection， -c：output of current IPVS connections--stats：output of statistics information--rate ：output of rate information保存和重载：    ipvsadm -S = ipvsadm-save    ipvsadm -R = ipvsadm-restore

3.实现lvs-nat模型:
(1)实验环境:
三台服务器，一台作为 director，两台作为 real server，director 有一个外网网卡(192.168.1.29) 和一个内网ip(192.168.100.1)，两个 real server 上只有内网 ip (192.168.100.2) 和 (192.168.100.2)，并且需要把两个 real server 的内网网关设置为 director 的内网 ip(192.168.0.8)
(2)安装配置:
两个 real server 上都安装 httpd 服务
#yum install -y httpd
Director 上安装 ipvsadm
#yum install -y ipvsadm
(3)Director配置:

[root@localhost /]#echo 1 > /proc/sys/net/ipv4/ip_forward:打开核心转发[root@localhost /]# ipvsadm -A  -t  192.168.1.29:80  -s wrr[root@localhost /]# ipvsadm -a -t  192.168.1.29:80 -r 192.168.100.2:80 -m [root@localhost /]# ipvsadm -a -t  192.168.1.29:80 -r 192.168.100.3:80 -m 

(4)查看ipvsadm设置的规则

[root@localhost /]# ipvsadm -LIP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags  -> RemoteAddress:Port           Forward Weight ActiveConn InActConnTCP  localhost.localdomain:http wrr  -> 192.168.100.2:http           Masq    1      0          0           -> 192.168.100.3:http           Masq    1      0          0 

4.实现lvs-dr模型:
(1)实验环境
三台服务器，一台作为 director，两台作为 real server，director中dip为172.20.10.9 ，两个 real server 上只有内网 rip1 (172.20.10.8),rip2(172.20.10.10),设置vip为172.20.10.12
(2)rs的配置脚本:

[root@node6 ~]# vim rs.sh #!/bin/bash#vip=172.20.10.12mask=255.255.255.255case $1 instart)    echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore    echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore    echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce    echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce    ifconfig lo:0 $vip netmask $mask broadcast $vip up    route  add -host $vip dev lo:0    ;;stop)    ifconfig lo:0 down    echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore    echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce    ;;*)   echo "Usage $(basename $0) start|stop"   exit 1   ;;esac

[root@node6 ~]# yum instal -y  httpd[root@node6 ~]# vim /var/www/html/index.htmlnode6 web page

(3)director上配置:

[root@node5 ~]ifconfig ens33:0 172.20.10.12 netmask 255.255.255.255 broadcast 172.20.10.12 up[root@node5 ~]# ipvsadm -A  -t 172.20.10.12:80 -s wrr[root@node5 ~]# ipvsadm -a -t 172.20.10.12:80 -r 172.20.10.8:80 -g -w 1 [root@node5 ~]# ipvsadm -a -t 172.20.10.12:80 -r 172.20.10.10:80 -g -w 2

(4)查看ipvsadm设置的规则:

[root@node5 ~]# ipvsadm -LnIP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags  -> RemoteAddress:Port           Forward Weight ActiveConn InActConnTCP  172.20.10.12:80 wrr  -> 172.20.10.8:80               Route   1      0          0           -> 172.20.10.10:80              Route   2      0          0