Varnish的部署與使用

指令碼及原始碼安裝包連結

概述

• Varnish是一款高效能且開源的反向代理伺服器和http加速器
• 與傳統的Squid相比，Varnish具有效能更高，速度更快，管理更方便等諸多優點。

編譯安裝

這裡展示指令碼檔案的一部分

tar -xf $INSTALL_FILE
cd $CODE_DIR
[ -f configure ] && ./configure --prefix=/usr/local/varnish  &> $NULL || exit 40
echo "configure success."
make &> $NULL
 

[ $? -eq 0 ] && echo "make success."  || exit 41
make install &> $NULL
[ $? -eq 0 ] && echo "make install success." || exit 42

由於這是原始碼包安裝，所以安裝後並不能像其他服務那樣會在etc下有相應的配置檔案等，
雖然這些檔案在原始碼包中都有，所以很明顯我們需要將一些對應的檔案進行操作。

##進行配置檔案的複製操作；
cp redhat/varnish.initrc /etc/init.d/varnish
cp redhat/varnish.sysconfig
 
  /etc/sysconfig/varnish
cp redhat/varnish_reload_vcl /usr/bin/
ln -s /usr/local/varnish/sbin/varnishd /usr/sbin/
mkdir /etc/varnish
cp /usr/local/varnish/etc/varnish/default.vcl /etc/varnish/
uuidgen > /etc/varnish/secret

檔案的具體說明：

• /etc/varnish/ ：配置檔案目錄
  
  • /etc/init.d/varnish :varnish的啟動程式
  • /etc/sysconfig/varnish :配置檔案，varnish定義自身屬性
  • /etc/varnish/default.vcl ：預設配置檔案，定義後端節點的
• /usr/bin/varnish_reload_vcl ：載入vcl
• /usr/bin/varnishadm ： 客戶端程式
• /usr/bin/varnishstat ：狀態監控

配置檔案引數說明：

[root@svr5 ~]# vim /etc/sysconfig/varnish
VARNISH_VCL_CONF=/etc/varnish/default.vcl                #vcl檔案路徑
VARNISH_LISTEN_PORT=80                                #預設埠
VARNISH_SECRET_FILE=/etc/varnish/secret                #金鑰檔案
VARNISH_STORAGE_SIZE=64M                                #快取大小
VARNISH_STORAGE="malloc,${VARNISH_STORAGE_SIZE}"        #基於記憶體方式

[root@svr5 ~]# vim  /etc/varnish/default.vcl
backend default {
     .host = "192.168.4.205";   ##後端web伺服器的ip
     .port = "80";      ##後端web伺服器的httpd使用的埠號
 }

操作例項

例項需求

通過配置Varnish快取伺服器，實現如下目標：

• 使用Varnish加速後端Apache Web服務
• 使用varnishadm管理快取頁面
• 使用varnishstat檢視Varnish狀態

具體操作

使用3臺RHEL6虛擬機器，其中一臺Web伺服器，一臺Varnish代理伺服器，一臺作為測試用的Linux客戶機。
這幾臺伺服器都不需要配閘道器，客戶端計算機和web伺服器不能之間ping通，具體的ip地址見下文。

首先在進行web伺服器的搭建，這裡我們進行最簡單的httpd的伺服器就可以了，以便於測試。

[[email protected] ~]# ifconfig eth1
eth1      Link encap:Ethernet  HWaddr 54:52:01:01:16:02  
          inet addr:192.168.2.16  Bcast:192.168.2.255  Mask:255.255.255.0
[[email protected] ~]# yum clean all
[[email protected] ~]# yum repolist
...
repolist: 3,819
[[email protected] ~]# yum -y install httpd
[[email protected] ~]# echo "This is index.html." > /var/www/html/index.html
[[email protected] ~]# service httpd restart
停止 httpd：                                               [失敗]
正在啟動 httpd：httpd: apr_sockaddr_info_get() failed for web02.wolf.cn
httpd: Could not reliably determine the server's fully qualified domain name, using 127.0.0.1 for ServerName
                                                           [確定]
[[email protected] ~]# chkconfig httpd on
//測試web服務，測試web服務正常
[[email protected] ~]# curl http://192.168.2.16
This is index.html.

然後進行代理伺服器的配置和搭建，這裡使用自己編寫的指令碼進行服務的安裝和部署，
指令碼檔案和原始碼包都放在gethub上了，連結：

[root@proxy02 varnish]# ifconfig eth0
eth0      Link encap:Ethernet  HWaddr 54:52:01:01:13:01  
          inet addr:192.168.4.6  Bcast:192.168.4.255  Mask:255.255.255.0
[root@proxy02 varnish]# ifconfig eth1
eth1      Link encap:Ethernet  HWaddr 54:52:01:01:13:02  
          inet addr:192.168.2.6  Bcast:192.168.2.255  Mask:255.255.255.0
[root@proxy02 varnish]# ll
total 2008
-rwxr-xr-x. 1 root root    2969 Jan  5 12:27 install_varnish.sh
-rw-r--r--. 1 root root 2049810 Jan  5 09:47 varnish-3.0.6.tar.gz
[root@proxy02 varnish]# ./install_varnish.sh 
configure success.
make success.
make install success.
//對於對應的配置檔案的修改，都在指令碼中使用sed進行修改，
//在這裡就直接開啟服務，並設定為開機啟動即可。
[root@proxy02 varnish]# service varnish restart
Stopping Varnish Cache:                                    [確定]
Starting Varnish Cache:                                    [確定]
[root@proxy02 varnish]# chkconfig varnish on
[root@proxy02 varnish]# chkconfig varnish --list
varnish         0:off   1:off   2:on    3:on    4:on    5:on    6:off

最後進行客戶端的測試即可。

[root@client02 ~]# ifconfig eth0
eth0      Link encap:Ethernet  HWaddr 54:52:01:01:15:01  
          inet addr:192.168.4.15  Bcast:192.168.4.255  Mask:255.255.255.0
//這裡就可以看到我們訪問的是代理伺服器的ip就可以訪問web服務
[root@client02 ~]# curl http://192.168.4.6
This is index.html.

當對網頁的資訊更新頻率要求很高時，就可以使用下列命令進行設定
[[email protected] varnish]#ln -s /usr/local/varnish/bin/* /usr/bin/
[[email protected] varnish]#varnishadm -S /etc/varnish/secret -T 127.0.0.1:6082 ban.url index.html
[[email protected] varnish]#varnishadm -S /etc/varnish/secret -T 127.0.0.1:6082 ban.url “.*”

附指令碼全文

#!/bin/bash
#LANG=en_US.UTF-8
#      exit code
# exit 39 yum error
# exit 40 configure error
# exit 41 make error
# exit 42 make install errot

#static variable
INSTALL_FILE="varnish-3.0.6.tar.gz"
CODE_DIR=$(tar -tf $INSTALL_FILE | head -1)
NULL=/dev/null

test_yum () {
#set yum configure file do not display Red Hat Subscription Management info.
    if [ -f /etc/yum/pluginconf.d/subscription-manager.conf ];then
        sed -i '/enabled/s/1/0/' /etc/yum/pluginconf.d/subscription-manager.conf
    fi
    yum clean all &>$NULL
    repolist=$(yum repolist 2>/dev/null |awk '/repolist:/{print $2}'|sed 's/,//')
    if [ $repolist -le 0 ];then
        exit 39
    fi
}

test_yum
##安裝variable需要依賴包
yum -y install gcc* readline-devel pcre-devel &> $NULL

##新增對應使用者，以該使用者進行操作後續
useradd -s /sbin/nologin varnish

tar -xf $INSTALL_FILE
cd $CODE_DIR
[ -f configure ] && ./configure --prefix=/usr/local/varnish  &> $NULL || exit 40
echo "configure success."
make &> $NULL
[ $? -eq 0 ] && echo "make success."  || exit 41
make install &> $NULL
[ $? -eq 0 ] && echo "make install success." || exit 42
##進行配置檔案的複製操作；
cp redhat/varnish.initrc /etc/init.d/varnish
cp redhat/varnish.sysconfig  /etc/sysconfig/varnish
cp redhat/varnish_reload_vcl /usr/bin/
ln -s /usr/local/varnish/sbin/varnishd /usr/sbin/
mkdir /etc/varnish
cp /usr/local/varnish/etc/varnish/default.vcl /etc/varnish/
uuidgen > /etc/varnish/secret

#最大的執行緒數和最小執行緒數受計算機的配置有關，其中什麼時候增加程序，在有些配置檔案會新增一個空
#閒執行緒的引數，通過該引數進行相關的操作
#VARNISH_ADMIN_LISTEN_ADDRESS 最小執行緒數
#VARNISH_MAX_THREADS=1000 最大執行緒數
#VARNISH_STORAGE_SIZE=64M 快取大小,快取大小受業務和快取總容量影響。
#VARNISH_STORAGE="malloc,${VARNISH_STORAGE_SIZE}" 使用記憶體快取頁面，記憶體大小為64M,
#還可以使用硬碟進行快取操作，不過那樣速度會慢，無法體現出varnish的優勢
# VARNISH_VCL_CONF=/etc/varnish/default.vcl  

#sed -n '/VARNISH_VCL_CONF=/p' /etc/sysconfig/varnish 
#VARNISH_LISTEN_PORT 預設埠,修改為httpd預設的埠
sed -i '/VARNISH_LISTEN_PORT=/  s/=.*/=80/' /etc/sysconfig/varnish
sed -i '/VARNISH_MIN_THREADS=/ s/=.*/=1000/' /etc/sysconfig/varnish
sed -i '/VARNISH_MAX_THREADS=/ s/=.*/=10000/' /etc/sysconfig/varnish
sed -i '/VARNISH_STORAGE_SIZE=/ s/=.*/=128M/' /etc/sysconfig/varnish
sed -i '/VARNISH_STORAGE=/ s/=.*/="malloc,${VARNISH_STORAGE_SIZE}"/' /etc/sysconfig/varnish 

#修改主配置檔案（定義後臺伺服器）default.vcl
#backend default {
#     .host = "192.168.2.100";
#         .port = "80";
#      }
sed -i '/backend default/ s/.*back/back/' /etc/varnish/default.vcl
sed -i '/.host =/ s/.*\.host =.*/    .host = "192.168.2.16";/' /etc/varnish/default.vcl
sed -i '/.port =/ s/.*\.port =.*/    .port = "80";/' /etc/varnish/default.vcl
sed -i '/.port =/a }' /etc/varnish/default.vcl

#當對網頁的資訊更新頻率要求很高時，就可以使用下列命令進行設定
#ln -s /usr/local/varnish/bin/* /usr/bin/
#varnishadm -S /etc/varnish/secret -T 127.0.0.1:6082 ban.url index.html
#varnishadm -S /etc/varnish/secret -T 127.0.0.1:6082 ban.url ".*"