如何在Centos系统中安装配置Varnish

这篇文章主要为大家分在Centos系统中安装配置Varnish缓存代理服务的方法。文中还介绍了Varnish的概述、Varnish和Squid的区别以及Varnish的工作原理，希望大家通过这篇文章能有所收获。

一.Varnish概述

1.Varnish 简介

Varnish是一款高性能且开源的反向代理服务器和HTTP加速器，其采用全新的软件体系机构，和现在的硬件体系紧密配合。与传统的squid相比，Varnish具有高性能、速度快、管理更加方便等优点，目前很多大型的网站都开始尝试使用Varnish来代替squid，这便是Varnish迅速发展的最根本的原因。

Varnish的主要特征：

（1）缓存代理位置：可以使用内存也可以使用磁盘；（2）日志存储：日志存储在内存中；（3）支持虚拟内存的使用；（4）有精确的时间管理机制，即缓存的时间属性控制；（5）状态引擎架构：在不同的引擎上完成对不同的缓存和代理数据进行处理；（6）缓存管理：以二叉堆管理缓存数据，做到数据的及时清理；

2.Varnish 与 Squid 的对比

相同点

都是开源软件；都是一个反向代理服务器； 

Varnish 的优势

（1）稳定性：Varnish和Squid在完成相同负载的工作时，Squid服务器发生故障的几率要高于Varnish，因为使用Squid需要经常重启；（2）访问速度更快：Varnish所有缓存的数据都是直接从内存中读取，而Squid是从硬盘中读取；（3）支持更多的并发连接：因为Varnish的TCP连接和释放的速度比Squid快很多

Varnish 的劣势

（1）Varnish进程一旦重启，缓存数据都会从内存中完全释放，此时所有请求都会发送到后端服务器，在高并发情况下，会给后端服务器造成很大压力；（2）在Varnish使用中如果使用单个URL的请求通过负载均衡时，则每次请求都会落在不同的Varnish服务器中，造成请求都会到后端服务器；而且同样的秦桂在多台服务器上缓存，也会造成Varnish的缓存资源的浪费，造成性能下降；

Varnish 劣势的解决方案

针对劣势一：在访问量很大的情况下推荐使用 varnish 的内存缓存方式启动，而且后面需要 跟多台 squid/nginx 服务器。主要为了防止前面的 varnish 服 务、服务器被重启的情况下， 大量请求穿透 varnish，这样 squid/nginx 可以就担当第二层 CACHE，而且也弥补了 varnish 缓 存在内存中重启都会释放的问题；针对劣势二：可以在负载均衡上做 url 哈希，让单个 url 请求固定请求到一台 varnish 服务器 上; 

3.Varnish的工作原理

当Varnish服务器收到客户端的请求时，首选检查缓存中是否有数据，如果有，则直接响应客户端；如果没有则向后端服务器请求相应的资源，缓存到Varnish服务器本地，再响应客户端；

根据规则和请求页面的类型选择数据是否需要进行缓存，可以根据请求头中Cache-Contorl判断是否缓存，以及cookis是否有标记，这些功能都可以通过编写配置文件的方式来实现。

4.Varnish简单架构

Varnish分为management进程和child进程

management进程：对child进程进行管理，同事对VCL配置进行编译，并应用到不同的状态引擎中；child进程：生成线程池，负责对用户请求进行处理，并通过hash查找返回用户结果；

child进程生成的常见线程有

accept线程：接收新的连接请求并响应；worker线程：会话，处理请求资源；expiry线程：清除缓存中过期的内容；

5.varnish 主要配置部分

后端配置：给Varnish添加反向代理服务器节点，最少配置一个；ACL配置：给Varnish添加访问控制列表，可以指定这些列表访问或禁止访问；probes配置：给Varnish添加探测后端服务器是否正常的规则，方便切换或禁止对应后端服务器；directors配置：给Varnish添加负载均衡模式管理多个后端服务器；核心子程序配置：给Varnish添加后端服务器切换，请求缓存、访问控制、错误处理等规则；

6.VCL 中内置预设变量：变量(也叫 object)：

如图

（1）req：客户端请求Varnish服务器时可用的变量；（2）bereq：Varnish服务器请求后端服务器可用的变量；（3）beresp：后端服务器响应Varnish服务器请求，并返回结果时，使用的变量；（4）resp：Varnish服务器响应客户端请求是使用的变量；（5）obj：高速缓存对象，缓存后端响应请求内容；（6）now：作用就是返回当前的时间戳；

客户端

Clienet.ip：返回客户端的IP地址 Client.port：获取客户端请求的端口号（在vatnish5.0以后需要调取std模块才能使用）语法为 import std；  std.port(client.ip)Client.identiy 获取客户端标识码，软件在安装过程中会生成一个序列号，用来标识身份

服务器

Server.hostname：服务器主机名Server.identiy：获取服务器标识码Server.ip：获取服务器IP地址Server.prot：获取服务器IP端口号，需要调用std模块

客户端请求req （客户端请求发送的对象）

Req：整个请求的数据结构req.bachend_hint：指定请求后端节点 如gif 给图片服务器 Req.can_gzip：客户端是否接受gzip传输编码（通常浏览器支持所有压缩格式）req.hash_always_miss：是否从缓存中读取数据req.hash_ignore_busy： 忽略缓存中忙碌的数据 死锁（如两台varnish服务器在处理过程中共同争抢一个资源造成堵塞，如果不手动停止则会僵持支持僵持下去）req.http：对应请求http的headerreq.method ：请求类型或者请求的方式（如gt，post）req.proto：客户端请求使用的http协议的版本req.restarts：重新启动次数，默认最大值是4（通常用于判断是否访问过服务器）req.url：请求的urlreq.xid：唯一id，varnish服务器访问时在头部增加了X-varnish，后面的数字是varnish的id，第一个数据是请求的标识id，第二个数据是缓存的标识id 

varnish请求后端服务器（bereq）

bereq：整个后端请求的数据结构bereq.backend：所请求后端节点的配置bereq.between_bytes_timeout：从后端每接收一个字节之间的等待时间或者超时时间bereq.http：对应发送到后端的http的头部信息bereq.method： 发送到后端的请求类型或者请求方式bereq.proto：发送到后端的请求的http协议版本bereq.retires：相同请求重试计数bereq.uncacheable：请求数据没有被缓存，或者请求不缓存bereq.url：发送到后端请求的urlbereq.xid：请求唯一id

后端服务器向varnish返回数据beresq

Beresp：后端服务器响应数据Beresp.backend.ip：后端响应（处理请求数据）服务器的IP地址Beresp.backend.name：后端响应服务器的节点名Beresp.do_gunzip：默认为false，缓存前解压改对象Beresp.grace：设置缓存过期的额外宽限时间Beresp.http：响应时http的头部Beresp.keep：对象缓存后带保持时间Beresp.proto：响应的http版本Beresp.reason ：后端服务器返回的http状态信息Beresp.status：后端服务器返回的在状态码Beresp.storage_hint：指定保存的的特定存储器（内存）Beresp.ttl：改对象缓存的剩余时间，指定统一缓存剩余时间Beresp,uncacheable：对数据不进行缓存

存储

Storage..free_space：存储可用空间（字节数）Storage..used_space：存储剩余时间（字节数）Storage..happy：存储节点状态deliver将数据发送给客户端，返回的数据fetch从后端获取数据，并将数据缓存到本地

7.特定功能语句

Ban（expression）：清除指定对象缓存；Call(subroutine)：调用子程序；Hash_data（input）：根据input的子程序的值生成hash键；New（）：创建新的vcl对象，只能在vcl_init 子进程中；Return（）：结束当前子程序，并指定继续下一步动作；Rollback()：恢复 HTTP 头到原来状态，已经弃用，使用 std.rollback() 代替；Synthetic （STRING）：合成器，定义返回给客户端页面和状态码；Regsub（str，regex，sub）使用正则表达式替换第一次出现的字符串；Regsuball（str，regex,sub）替换所有出现的字符串；

8.varnish请求处理的步骤

如图

varnish请求处理的步骤

Receive 状态（vcl_recv）。也就是请求处理的入口状态，根据 VCL 规则判断该请求应该 pass（vcl_pass）或是 pipe（vcl_pipe），还是进入 lookup（本地查询）。Lookup 状态。进入该状态后，会在 hash 表中查找数据，若找到，则进入 hit（vcl_hit）状态，否则进入 miss（vcl_miss）状态。Pass（vcl_pass）状态。在此状态下，会直接进入后端请求，即进入 fetch（vcl_fetch）状态Fetch（vcl_fetch）状态。在 fetch 状态下，对请求进行后端获取，发送请求，获得数据，并根据设置进行本地存储。Deliver（vcl_deliver）状态。将获取到的数据发给客户端，然后完成本次请求。Pipe状态。建立客户端和服务器之间的直接连接，从后端服务器调取数据

 vcl_recv 子程序： 开始处理请求，通过 return (动作);  vcl_pipe 子程序： pipe 模式处理，该模式主要用于直接取后端响应内容返回客户端，可定义响应内容返回客户端。 vcl_pass 子程序： pass 模式处理，该模式类似 hash 缓存模式，仅不做缓存处理. vcl_hit 子程序： hash 缓存模式时，存在 hash 缓存时调用，用于缓存处理，可放弃或修改缓存. vcl_miss 子程序： hash 缓存模式时，不存在 hash 缓存时调用，用于判断性的选择进入后端取响应内容，可以 修改为 pass 模式。  vcl_hash 子程序： hash缓存模式，生成hash值作为缓存查找键名提取缓存内容，主要用于缓存hash键值处理， 可使用 hash_data(string) 指定键值组成结构，可在同一个页面通过 IP 或 cookie 生成不同的 缓存键值。  vcl_purge 子程序： 清理模式，当查找到对应的缓存时清除并调用，用于请求方法清除缓存，并报告 vcl_deliver 子程序： 客户端交付子程序，在 vcl_backend_response 子程序后调用（非 pipe 模式），或 vcl_hit 子程 序后调用，可用于追加响应头信息，cookie 等内容。  vcl_backend_fetch 子程序： 发送后端请求之前调用，可用于改变请求地址或其它信息，或放弃请求。  vcl_backend_response 子程序： 后端响应后调用，可用于修改缓存时间及缓存相关信息。  vcl_backend_error 子程序： 后端处理失败调用，异常页面展示效果处理，可自定义错误响应内容，或修改 beresp.status 与 beresp.http.Location 重定向等。  vcl_synth 子程序： 自定义响应内容。可以通过 synthetic（）和返回值 synth 调用，这里可以自定义异常显示 内容，也可以修改 resp.status 与 resp.http.Location 重定向。  vcl_init 子程序： 加载 vcl 时最先调用，用于初始化 VMODs，该子程序不参与请求处理，仅在 vcl 加载时调用 一次。  vcl_fini 子程序： 卸载当前 vcl 配置时调用，用于清理 VMODs，该子程序不参与请求处理，仅在 vcl 正常丢弃 后调用。 

二.安装Varnish

下载varnish软件包

除了一台varnish服务器，可以再开俩台web服务器，提供web页面就可以。

[root@localhost ~]# yum -y install autoconf automake libedit-devel libtool ncurses-devel pcre-devel  pkgconfig python-docutils python-sphinx[root@localhost ~]# tar zxf varnish-4.0.3.tar.gz [root@localhost ~]# cd varnish-4.0.3/[root@localhost varnish-4.0.3]# ./configure && make && make install[root@localhost varnish-4.0.3]# cp etc/example.vcl /usr/local/var/varnish///复制Varnish主配置文件[root@localhost /]# vim /usr/local/var/varnish/example.vcl //编辑Varnish主配  看原来的修改vcl 4.0;import directors;import std;backend default {    .host = "127.0.0.1";    .port = "80";}probe backend_healthcheck {        .url="/";        .interval = 5s;        .timeout = 1s;        .window = 5;        .threshold = 3;}backend web1 {        .host = "192.168.148.132";        .port = "80";        .probe = backend_healthcheck;}backend web2 {        .host = "192.168.148.133";        .port = "80";        .probe = backend_healthcheck;}acl purgers {        "127.0.0.1";        "localhost";        "192.168.148.0/24";        !"192.168.148.133";}sub vcl_init  {        new  web_cluster=directors.round_robin();        web_cluster.add_backend(web1);        web_cluster.add_backend(web2);}//把原来的全部删除添加如下sub vcl_recv {        set req.backend_hint = web_cluster.backend();        if (req.method == "PURGE") {                if (!client.ip ~ purgers) {                        return (synth(405, "Not Allowed."));        }        return (purge);}if (req.method != "GET" &&        req.method != "HEAD" &&        req.method != "PUT" &&        req.method != "POST" &&        req.method != "TRACE" &&        req.method != "OPTIONS" &&        req.method != "PATCH" &&        req.method != "DELETE") {                return (pipe);        }if (req.method != "GET" && req.method != "HEAD") {        return (pass);}if (req.url ~ "\.(php|asp|aspx|jsp|do|ashx|shtml)($|\?)") {        return (pass);}if (req.http.Accept-Encoding) {        if  (req.url  ~ "\.(bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)$") {        unset req.http.Accept-Encoding;} elseif (req.http.Accept-Encoding ~ "gzip") {                set req.http.Accept-Encoding = "gzip";        } elseif (req.http.Accept-Encoding ~ "deflate") {                set req.http.Accept-Encoding = "deflate";        } else {        unset req.http.Accept-Encoding;        }     }if  (req.url  ~ "\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") {        unset req.http.cookie;        return (hash);}if (req.restarts == 0) {        if (req.http.X-Forwarded-For) {                set req.http.X-Forwarded-For = req.http.X-Forwarded-For + ", " + client.ip;        } else {       set req.http.X-Forwarded-For = client.ip;        }}return (hash);}sub vcl_hash {        hash_data(req.url);        if (req.http.host) {        hash_data(req.http.host);        } else {                hash_data(server.ip);        }        return (lookup);}sub vcl_hit {        if (req.method == "PURGE") {                return (synth(200, "Purged."));        }        return (deliver);}sub vcl_miss {    if (req.method == "PURGE") {                return (synth(404, "Purged."));        }        return (fetch);}sub vcl_deliver {        if (obj.hits > 0) {                set resp.http.CXK = "HIT-from-varnish";                set resp.http.X-Cache-Hits = obj.hits;        } else {        set resp.http.X-Cache = "MISS";        }        unset resp.http.X-Powered-By;        unset resp.http.Server;        unset resp.http.X-Drupal-Cache;        unset resp.http.Via;        unset resp.http.Link;        unset resp.http.X-Varnish;        set resp.http.xx_restarts_count = req.restarts;        set resp.http.xx_Age = resp.http.Age;        set resp.http.hit_count = obj.hits;                unset resp.http.Age;                        return (deliver);                        }sub vcl_purge {        return (synth(200,"success"));}sub vcl_backend_error {        if (beresp.status == 500 ||                beresp.status == 501 ||                beresp.status == 502 ||                beresp.status == 503 ||                beresp.status == 504) {                return (retry);        }}sub vcl_fini {        return (ok);}[root@localhost /]# varnishd -f /usr/local/var/varnish/example.vcl -s malloc,200M -a 0.0.0.0:80//启动服务

• 第一台web提供页面

[root@localhost ~]# yum -y install httpd[root@localhost ~]# echo aaa > /var/www/html/index.html[root@localhost ~]# systemctl stop firewalld[root@localhost ~]# systemctl start httpd

• 第二台

[root@localhost ~]# yum -y install httpd[root@localhost ~]# echo bbb > /var/www/html/index.html[root@localhost ~]# systemctl stop firewalld[root@localhost ~]# systemctl start httpd

• 如果重启Varnishd如下：

[root@localhost /]# netstat -anpt | grep 80[root@localhost /]# killall -9 varnishd[root@localhost /]# varnishd -f /usr/local/var/varnish/example.vcl -s malloc,200M -a 0.0.0.0:80

• 客户端访问如下：

刷新一下

[root@localhost /]# curl -X "PURGE" 192.168.148.130//清除缓存

• Varnish配置文件解释

vcl 4.0;import directors;import std;# Default backend definition. Set this to point to your content server.probe backend_healthcheck {        .url="/"; #访问后端服务器根路径        .interval = 5s;   #请求时间间隔        .timeout = 1s;   #请求超时时间        .window = 5;    #指定轮询次数5次        .threshold = 3;   #如果出现3次失败则表示后端服务器异常}backend web1 {    #定义后端服务器        .host = "192.168.1.7";  #要转向主机（即后端主机）的 IP 或域名        .port = "80";  #指定后端服务器的端口号        .probe = backend_healthcheck;  #健康检查调用backend_healthcheck定义的内容}backend web2 {        .host = "192.168.1.8";        .port = "80";        .probe = backend_healthcheck;}acl purgers { #定义访问控制列表        "127.0.0.1";        "localhost";        "192.168.1.0/24";        !"192.168.1.8";}sub vcl_init  {     #调用 vcl_init 初始化子程序创建后端主机组，即 directors        new  web_cluster=directors.round_robin(); #使用 new 关键字创建 drector 对象,使用 round_robin(轮询) 算法        web_cluster.add_backend(web1);   #添加后端服务器节点        web_cluster.add_backend(web2);}sub vcl_recv {        set req.backend_hint = web_cluster.backend(); #指定请求的后端节点web_cluster定义的后端节点        if (req.method == "PURGE") {   #判断客户端的请求头部是否是PURGE                if (!client.ip ~ purgers) {   #如果是，再判断客户端的IP地址是不是在ACL访问控制列表中.                        return (synth(405, "Not Allowed."));  #如果不是，返回给客户端405状态码并且返回定义的页面.        }        return (purge);   #如果是ACL定义的，则交给purge处理.}if (req.method != "GET" &&        req.method != "HEAD" &&        req.method != "PUT" &&        req.method != "POST" &&        req.method != "TRACE" &&        req.method != "OPTIONS" &&        req.method != "PATCH" &&        req.method != "DELETE") {      #判断客户端的请求类型                return (pipe);        }if (req.method != "GET" && req.method != "HEAD") {        return (pass);      #如果不是GET及HEAD则交给pass.}if (req.url ~ "\.(php|asp|aspx|jsp|do|ashx|shtml)($|\?)") {        return (pass);   #当客户端访问的是.php等结尾的交给pass处理.}if (req.http.Accept-Encoding) {        if  (req.url  ~ "\.(bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)$") {        unset req.http.Accept-Encoding;   #取消客户端接收的压缩类型        } elseif (req.http.Accept-Encoding ~ "gzip") {                set req.http.Accept-Encoding = "gzip";  #如果有gzip类型，标记gzip类型.        } elseif (req.http.Accept-Encoding ~ "deflate") {                set req.http.Accept-Encoding = "deflate";        } else {        unset req.http.Accept-Encoding;  #其他未定义的页面也取消客户但接收的压缩类型.        }     }if  (req.url  ~ "\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") {        unset req.http.cookie;  #取消客户端的cookie值.        return (hash);    #将请求转发给hash子程序，也就是查看本地缓存.}if (req.restarts == 0) {  #判断客户端是不是第一次请求        if (req.http.X-Forwarded-For) {     #如果是第一次请求，设置获取客户端的IP地址.                set req.http.X-Forwarded-For = req.http.X-Forwarded-For + ", " + client.ip;        } else {       set req.http.X-Forwarded-For = client.ip;        }}return (hash);}sub vcl_hash {        hash_data(req.url);   #查看客户端请求的页面，并且进行hash        if (req.http.host) {                hash_data(req.http.host);  #设置客户端的主机        } else {                hash_data(server.ip);    #设置服务器的IP        }        return (lookup);}sub vcl_hit {        if (req.method == "PURGE") {   #如果是HIT并且当客户端请求的类型是PURGE返回的200的状态码，并返回相应页面.                return (synth(200, "Purged."));        }        return (deliver);}sub vcl_miss {    if (req.method == "PURGE") {                return (synth(404, "Purged."));   #如果是miss返回404        }        return (fetch);}sub vcl_deliver {        if (obj.hits > 0) {                set resp.http.CXK = "HIT-from-varnish"; #设置http头部X-Cache =hit                set resp.http.X-Cache-Hits = obj.hits;  #返回命令的次数        } else {        set resp.http.X-Cache = "MISS";        }        unset resp.http.X-Powered-By;  #取消显示web版本        unset resp.http.Server;    #取消显示varnish服务        unset resp.http.X-Drupal-Cache;   #取消显示缓存的框架        unset resp.http.Via;    #取消显示文件内容来源        unset resp.http.Link;  #取消显示HTML的超链接地址        unset resp.http.X-Varnish;  #取消显示varnish的id        set resp.http.xx_restarts_count = req.restarts;   #设置客户端请求的次数        set resp.http.xx_Age = resp.http.Age;   #显示缓存文件的时长        #set resp.http.hit_count = obj.hits;   #显示缓存命中的次数        #unset resp.http.Age;        return (deliver);}sub vcl_pass {        return (fetch);   #将后端服务器返回的数据缓存到本地}sub vcl_backend_response {        set beresp.grace = 5m;   #缓存额外宽限时间        if (beresp.status == 499 || beresp.status == 404 || beresp.status == 502) {                set beresp.uncacheable = true;   #当后端服务器相应状态码是449等，不缓存        }        if (bereq.url ~ "\.(php|jsp)(\?|$)") {                set beresp.uncacheable = true;  #当是PHP的页面不缓存        } else {                if (bereq.url ~ "\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico)($|\?)") {                set beresp.ttl = 15m;  #当是上面结尾的，缓存15分钟                unset beresp.http.Set-Cookie;                } elseif (bereq.url ~ "\.(gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") {                        set beresp.ttl = 30m; #缓存30分钟                        unset beresp.http.Set-Cookie;                } else {                        set beresp.ttl = 10m;  #生存时间10分钟                        unset beresp.http.Set-Cookie;                }        }        return (deliver);}sub vcl_purge {        return (synth(200,"success"));}sub vcl_backend_error {        if (beresp.status == 500 ||                beresp.status == 501 ||                beresp.status == 502 ||                beresp.status == 503 ||                beresp.status == 504) {                return (retry);  #如果状态码是上述其中之一，则重新请求        }}sub vcl_fini {        return (ok);}

看完上述内容，你们对Varnish有进一步的了解吗？如果还想学到更多技能或想了解更多相关内容，欢迎关注行业资讯频道，感谢各位的阅读。