01 . Varnish簡介,原理,配置快取

阿新 • • 發佈：2021-06-21

簡介

Varnish是高效能開源的反向代理伺服器和HTTP快取伺服器，其功能與Squid伺服器相似，都可以用來做HTTP快取。可以安裝 varnish 在任何web前端，同時配置它快取內容。與傳統的 squid 相比，varnish 具有效能更高、速度更快、管理更加方便等諸多優點。有一部分企業已經在生產環境中使用其作為舊版本的 squid的替代方案，以在相同的伺服器成本下提供更好的快取效果，Varnish 更是作為 CDN 快取伺服器的可選服務之一。

Varnish 的作者Poul-Henning Kamp是FreeBSD的核心開發者之一，他認為現在的計算機比起1975年已經複雜許多。在1975年時，儲存媒介只有兩種：記憶體與硬碟。但現在計算機系統的記憶體除了主存外，還包括了CPU內的L1、L2，甚至有L3快取。硬碟上也有自己的快取裝置，因此Squid Cache自行處理物件替換的架構不可能得知這些情況而做到最佳化，但作業系統可以得知這些情況，所以這部份的工作應該交給作業系統處理，這就是 Varnish cache設計架構。

varnish專案是2006年釋出的第一個版本0.9.距今已經十多年多了，此文件之前也提過varnish還不穩定，那是2007年時候編寫的，經過varnish開發團隊和網友們的辛苦耕耘，現在的varnish已經很健壯。很多入口網站已經部署了varnish，並且反應都很好，甚至反應比squid還穩定，且效率更高，資源佔用更少。相信在反向代理，web加速方面，varnish已經有足夠能力代替squid。

varnish的官網為https://www.varnish-cache.org，rpm，rpm包的下載位置為：http://repo.varnish-cache.org。

特性

快取位置：可以使用記憶體也可以使用磁碟。如果要使用磁碟的話推薦 SSD 做 RAID1；

日誌儲存：日誌也儲存在記憶體中。儲存策略：固定大小，迴圈使用；
支援虛擬記憶體的使用；
有精確的時間管理機制，即快取的時間屬性控制；
狀態引擎架構：在不同的引擎上完成對不同的快取和代理資料進行處理。可以通過特定的配置語言設計不同的控制語句，以決定資料在不同位置以不同方式快取，在特定的地方對經過的報文進行特定規則的處理；
快取管理：以二叉堆格式管理快取資料，做到資料的及時清理。

Varnish與Squid對比

相同點

都是一個反向代理伺服器。
都是開源軟體。

Varnish的優勢

Varnish 的穩定性很高。兩者在完成相同負荷的工作時，Squid伺服器發生故障的機率要高於Varnish，因為使用Squid要經常重啟;
Varnish 訪問速度更快。因為採用了“Visual Page Cache”技術，所有快取資料都直接從記憶體讀取，而squid是從硬碟讀取，因而Varnish在訪問速度方面會更快;
Varnish 可以支援更多的併發連線。因為Varnish的TCP連線釋放要比Squid快，因而在高併發連線情況下可以支援更多TCP連線;
Varnish 可以通過管理埠，使用正則表示式批量的清除部分快取，而Squid是做不到的;
Squid屬於是單程序使用單核CPU，但Varnish是通過fork形式開啟多程序來做處理，所以可以合理的使用所有核來處理相應的請求;

varnish與squid相比，都是一個反向代理快取伺服器，並且都是開源的，varnish的穩定性很高，並且訪問速度很快，因為Squid是從硬碟讀取快取的資料，而Varnish把資料存放在記憶體中，直接從讀取記憶體，避免了頻繁在記憶體、磁碟中交換檔案，所以Varnish要相對更高效，varnish可以支援更多的併發連線，因為varnish的TCP連線釋放要比squid快；varnish也可以通過管理埠，使用正則表示式批量的清除部分快取，而squid是做不到的；squid 屬於是單程序使用單核 CPU，但 Varnish 是通過 fork 形式開啟多程序來做處理，所以可以合理的使用所有核來處理相應的請求。

Varnish的劣勢

Varnish程序一旦Hang、Crash或者重啟，快取資料都會從記憶體中完全釋放，此時所有請求都會發送到後端伺服器，在高併發情況下，會給後端伺服器造成很大壓力。
在Varnish使用中如果單個url的請求通過HA/F5等負載均衡，則每次請求落在不同的varnish伺服器中，造成請求都會被穿透到後端；而且同樣的請求在多臺伺服器上快取，也會造成varnish的快取的資源浪費，造成效能下降。

劣勢解決方案

針對劣勢一：在訪問量很大的情況下推薦使用varnish的記憶體快取方式啟動，而且後面需要跟多臺squid伺服器。主要為了防止前面的varnish服務、伺服器被重啟的情況下，大量請求穿透varnish，這樣squid可以就擔當第二層CACHE，而且也彌補了varnish快取在記憶體中重啟都會釋放的問題;
針對劣勢二：可以在負載均衡上做url雜湊，讓單個url請求固定請求到一臺varnish伺服器上;

原理

系統架構

1.png

varnish主要執行兩個程序：Management程序和Child程序（也叫Cache程序）。

Management程序主要實現應用新的配置、編譯VCL、監控varnish、初始化varnish以及提供一個命令列介面等。Management程序會每隔一段時間探測一下Child程序以判斷其是否正常執行，如果在指定的時長內未得到Child程序的迴應，Mangagement將會重啟此Child程序;

Child程序包含多種型別的執行緒，常見的如:

Acceptor程序：接受新的連線請求並響應

worker程序：child程序會為每個使用者啟動一個worker程序，因此，在高併發的場景中可能會出現數百個worker程序甚至更多;

Expiry程序：從快取中清理過期內容

Varnish依賴“工作區（workspace）”以降低執行緒在申請或修改記憶體時出現競爭的可能性。在varnish內部有多種不同的工作區，其中最關鍵的當屬用於管理會話資料的session工作區;

如何工作

Varnish 的master程序負責啟動工作，master程序讀取配置檔案，根據指定的空間大小（例如管理員分配了2G記憶體）來建立儲存空間，建立並管理child程序；然後child程序來處理後續任務，它會分配一些執行緒來執行不同的工作，例如：接受http請求、為快取物件分配儲存空間、清除過期快取物件、釋放空間、碎片整理等。

http請求處理過程如下：
1、有一個專門負責接收http請求的執行緒，一直監聽請求埠，當有請求過來時，負責喚起一個工作執行緒來處理請求，工作執行緒會分析http請求的uri，知道了這個請求想要什麼，就到快取中查詢是否有這個物件，如果有，就把快取物件直接返回給使用者，如果沒有，會把請求轉給後端伺服器處理，並等待結果，工作執行緒從後端得到結果內容後，先把內容作為一個快取物件儲存到快取空間（以備下次請求這個物件時快速響應），然後再把內容返回給使用者

分配快取過程如下：
有一個物件需要快取時，根據這個物件的大小，到空閒快取區中查詢大小最適合的空閒塊，找到後就把這個物件放進去，如果這個物件沒有填滿這個空閒塊，就把剩餘的空間做為一個新的空閒塊，如果空閒快取區中沒地方了，就要先刪除一部分快取來騰出地方，刪除是根據最近最少使用原則。

釋放快取過程如下:
有一個執行緒來負責快取的釋放工作，他定期檢查快取中所有物件的生存週期，如果某個物件在指定的時間段內沒有被訪問，就把這個物件刪除，釋放其佔用的快取空間，釋放空間後，檢查一下臨近的記憶體空間是否是空閒的，如果是，就整合為一個更大的空閒塊，實現空間碎片的整理。

安裝

安裝配置varnish

[root@varnish ~]# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo  
#下載阿里映象站的repo檔案
[root@varnish ~]# yum -y install libedit-devel pcre-devel python-docutils    #安裝依賴包
[root@varnish ~]# cd /usr/src        #切換至指定目錄
[root@varnish src]# rz      #上傳我提供的varnish原始碼包
[root@varnish src]# tar zxf varnish-4.0.3.tar.gz         #解包
[root@varnish src]# cd varnish-4.0.3/           #進入解壓後的目錄
[root@varnish varnish-4.0.3]# ./configure && make && make install        #編譯安裝
[root@varnish varnish-4.0.3]# cp etc/example.vcl /usr/local/var/varnish/     #複製模板到指定路徑
[root@varnish varnish-4.0.3]# cd !$        #切換到varnish安裝目錄下
[root@varnish varnish]# vim example.vcl          #編輯其模板配置檔案，根據自己所需功能，編寫以下內容：
vcl 4.0;
import directors;
import std;
# Default backend definition. Set this to point to your content server.
probe backend_healthcheck {
.url="/"; #訪問後端伺服器根路徑
.interval = 5s;   #請求時間間隔
.timeout = 1s;   #請求超時時間
.window = 5;    #指定輪詢次數5次
.threshold = 3;   #如果出現3次失敗則表示後端伺服器宕機
}
backend web1 {    #定義後端伺服器
.host = "192.168.171.134";  #要轉向主機（即後端主機）的 IP 或域名
.port = "80";  #指定後端伺服器的埠號
.probe = backend_healthcheck;  #健康檢查呼叫backend_healthcheck定義的內容
}
backend web2 {
.host = "192.168.171.132";     
.port = "80";
.probe = backend_healthcheck;
}
acl purgers { #定義訪問控制列表
        "127.0.0.1";
        "localhost";
        "192.168.171.0/24";
        !"192.168.171.132";
}
sub vcl_init  {     #呼叫 vcl_init 初始化子程式建立後端主機組，即 directors
        new  web_cluster=directors.round_robin(); #使用 new 關鍵字建立 drector 物件,使用 round_robin(輪詢) 演算法
        web_cluster.add_backend(web1);   #新增後端伺服器節點
        web_cluster.add_backend(web2);
}
sub vcl_recv {
        set req.backend_hint = web_cluster.backend(); #指定請求的後端節點web_cluster定義的後端節點
        if (req.method == "PURGE") {   #判斷客戶端的請求頭部是否是PURGE
                if (!client.ip ~ purgers) {   #如果是，再判斷客戶端的IP地址是不是在ACL訪問控制列表中.
                        return (synth(405, "Not Allowed."));  #如果不是，返回給客戶端405狀態碼並且返回定義的頁面.
        }
        return (purge);   #如果是ACL定義的，則交給purge處理.
}
if (req.method != "GET" &&
        req.method != "HEAD" &&
        req.method != "PUT" &&
        req.method != "POST" &&
        req.method != "TRACE" &&
        req.method != "OPTIONS" &&
        req.method != "PATCH" &&
        req.method != "DELETE") {      #判斷客戶端的請求型別
                return (pipe);
        }
if (req.method != "GET" && req.method != "HEAD") {
        return (pass);      #如果不是GET及HEAD則交給pass.
}
if (req.url ~ "\.(php|asp|aspx|jsp|do|ashx|shtml)($|\?)") {
        return (pass);   #當客戶端訪問的是.php等結尾的交給pass處理.
}
if (req.http.Authorization) {
        return (pass);    #當客戶端請求的頁面型別是需要認證的，交給pass處理
}
if (req.http.Accept-Encoding) {
        if  (req.url  ~ "\.(bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)$") {
        unset req.http.Accept-Encoding;   #取消客戶端接收的壓縮型別
        } elseif (req.http.Accept-Encoding ~ "gzip") {
                set req.http.Accept-Encoding = "gzip";  #如果有gzip型別，標記gzip型別.
        } elseif (req.http.Accept-Encoding ~ "deflate") {
                set req.http.Accept-Encoding = "deflate";
        } else {
        unset req.http.Accept-Encoding;  #其他未定義的頁面也取消客戶但接收的壓縮型別.
        }
     }
if  (req.url  ~ "\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") {
        unset req.http.cookie;  #取消客戶端的cookie值.
        return (hash);    #將請求轉發給hash子程式，也就是檢視本地快取.
}
if (req.restarts == 0) {  #判斷客戶端是不是第一次請求
        if (req.http.X-Forwarded-For) {     #如果是第一次請求，設定獲取客戶端的IP地址.
                set req.http.X-Forwarded-For = req.http.X-Forwarded-For + ", " + client.ip;
        } else {
       set req.http.X-Forwarded-For = client.ip;
        }
}
return (hash);
}
sub vcl_hash {
        hash_data(req.url);   #檢視客戶端請求的頁面，並且進行hash
        if (req.http.host) {
                hash_data(req.http.host);  #設定客戶端的主機
        } else {
                hash_data(server.ip);    #設定伺服器的IP
        }
        return (lookup);
}
sub vcl_hit {
        if (req.method == "PURGE") {   #如果是HIT並且當客戶端請求的型別是PURGE返回的200的狀態碼，並返回相應頁面.
                return (synth(200, "Purged."));
        }
        return (deliver);
}

sub vcl_miss {
    if (req.method == "PURGE") {
                return (synth(404, "Purged."));   #如果是miss返回404
        }
        return (fetch);
}
sub vcl_deliver {
        if (obj.hits > 0) {
                set resp.http.CXK = "HIT-from-varnish"; #設定http頭部X-Cache =hit
                set resp.http.X-Cache-Hits = obj.hits;  #返回命令的次數
        } else {
        set resp.http.X-Cache = "MISS";
        }
        unset resp.http.X-Powered-By;  #取消顯示web版本
        unset resp.http.Server;    #取消顯示varnish服務
        unset resp.http.X-Drupal-Cache;   #取消顯示快取的框架
        unset resp.http.Via;    #取消顯示檔案內容來源
        unset resp.http.Link;  #取消顯示HTML的超連結地址
        unset resp.http.X-Varnish;  #取消顯示varnish的id
        set resp.http.xx_restarts_count = req.restarts;   #設定客戶端請求的次數
        set resp.http.xx_Age = resp.http.Age;   #顯示快取檔案的時長
        #set resp.http.hit_count = obj.hits;   #顯示快取命中的次數
        #unset resp.http.Age;
        return (deliver);
}
sub vcl_pass {
        return (fetch);   #將後端伺服器返回的資料快取到本地
}
sub vcl_backend_response {
        set beresp.grace = 5m;   #快取額外寬限時間
        if (beresp.status == 499 || beresp.status == 404 || beresp.status == 502) {
                set beresp.uncacheable = true;   #當後端伺服器相應狀態碼是449等，不快取
        }
        if (bereq.url ~ "\.(php|jsp)(\?|$)") {
                set beresp.uncacheable = true;  #當是PHP的頁面不快取
        } else {
                if (bereq.url ~ "\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico)($|\?)") {
                set beresp.ttl = 15m;  #當是上面結尾的，快取15分鐘
                unset beresp.http.Set-Cookie;
                } elseif (bereq.url ~ "\.(gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") {
                        set beresp.ttl = 30m; #快取30分鐘
                        unset beresp.http.Set-Cookie;
                } else {
                        set beresp.ttl = 10m;  #生存時間10分鐘
                        unset beresp.http.Set-Cookie;
                }
        }
        return (deliver);
}
sub vcl_purge {
        return (synth(200,"success"));
}
sub vcl_backend_error {
        if (beresp.status == 500 ||
                beresp.status == 501 ||
                beresp.status == 502 ||
                beresp.status == 503 ||
                beresp.status == 504) {
                return (retry);  #如果狀態碼是上述其中之一，則重新請求
        }
}
sub vcl_fini {
        return (ok);
}
                                                                    

#編輯完成後，儲存退出後即可。
[root@varnish varnish]# varnishd -f /usr/local/var/varnish/example.vcl -s malloc,200M -a 0.0.0.0:80
#啟動varnish服務，監聽本機所有IP的80埠，-f為指定vcl檔案，-s是指定用來存放快取的容量
[root@varnish ~]# varnishlog   #varnish啟動後，可以執行此命令檢視其日誌。

訪問,清空快取硬性載入網頁;
2.png

驗證ACL清除快取配置

# 在varnish允許的IP上進行清除快取操作
curl -X "PURGE"  42.193.126.123

<!DOCTYPE html>
<html>
  <head>
    <title>200 success</title>
  </head>
  <body>
    <h1>Error 200 success</h1>
    <p>success</p>
    <h3>Guru Meditation:</h3>
    <p>XID: 65543</p>
    <hr>
    <p>Varnish cache server</p>
  </body>
</html>

若想實現varnish的快取功能，通過以下基本的定義即可實現（example.vcl檔案中有以下內容即可)

vcl 4.0;
import directors;
probe backend_healthcheck {
        .url = "/";
        .timeout = 1s;
        .interval = 5s;
        .window = 5;
        .threshold = 3;
}
backend web1 {
        .host = "192.168.171.134";
        .port = "80";
        .probe = backend_healthcheck;
}
backend web2 {
        .host = "192.168.171.132";
        .port = "80";
        .probe = backend_healthcheck;
}
sub vcl_init {
        new web_cluster = directors.round_robin();
        web_cluster.add_backend(web1);
        web_cluster.add_backend(web2);
}
sub vcl_recv {
        set req.backend_hint = web_cluster.backend();
}

01 . Varnish簡介,原理,配置快取

簡介

Varnish與Squid對比

相同點

Varnish的優勢

Varnish的劣勢

劣勢解決方案

原理

系統架構

如何工作

安裝

安裝配置varnish

驗證ACL清除快取配置

01 . Varnish簡介,原理,配置快取

01 . etcd簡介原理,應用場景及部署,簡單使用

01 . Vue簡介,原理,環境安裝

04 . Filebeat簡介原理及配置檔案和一些案例

01 . Gluster儲存簡介,原理,部署使用

MySQL半同步複製原理配置與介紹詳解

01 SQL 簡介

01 Ruby 簡介

Spring簡介和配置

Logstash簡介與配置&logstash收集Java日誌

運維學習之DNS配置快取記憶體

Go之NSQ簡介,原理和使用

2020.11.01 Spring Cloud 原理

lvs負載簡介,原理,常見使用案例及Keepalived高可用

06 Vue路由簡介,原理,實現及巢狀路由,動態路由

01-03 category 原理概述

Nginx簡介及配置詳解(二)

Nginx簡介及配置詳解(一)

Spring原始碼01---容器重新整理前配置

postgresql 引數替換遊標_阿里Druid簡介及配置引數

01 . Varnish簡介,原理,配置快取

簡介

Varnish與Squid對比

相同點

Varnish的優勢

Varnish的劣勢

劣勢解決方案

原理

系統架構

如何工作

安裝

安裝配置varnish

驗證ACL清除快取配置

相關推薦