十周四次課

阿新 • • 發佈：2018-05-26

日誌切割靜態元素

11.22 訪問日誌不記錄靜態文件

網站大多元素為靜態文件，如圖片、css、js等，這些元素可以不用記錄
如果不想在日誌中記錄這些文件訪問日誌

[root@localhost ~]# vim /etc/httpd24/extra/httpd-vhosts.conf  
<VirtualHost *:80>
    ServerAdmin [email protected]
    DocumentRoot "/home/wwwroot/111.com"
    ServerName 111.com
    ServerAlias www.123.cn
    <IfModule mod_rewrite.c>
        RewriteEngine on
        RewriteCond %{HTTP_HOST} !^111.com$
        RewriteRule ^/(.*)$ http://111.com/$1 [R=301.L]
    </IfModule>
#    <Directory /home/wwwroot/111.com> #目錄認證
#    <FilesMatch yhtz.php> #匹配文件認證
#        AllowOverride AuthConfig
#       AuthName "賬號密碼訪問"
#       AuthType Basic
#       AuthUserFile /data/.htpasswd
#       require valid-user
#    </FilesMatch>
#    </Directory>
#這些定義為img
    SetEnvIf Request_URI ".*\.gif$" img
    SetEnvIf Request_URI ".*\.jpg$" img
    SetEnvIf Request_URI ".*\.png$" img
    SetEnvIf Request_URI ".*\.bmp$" img
    SetEnvIf Request_URI ".*\.swf$" img
    SetEnvIf Request_URI ".*\.js$" img
    SetEnvIf Request_URI ".*\.css$" img

    ErrorLog "logs/111.com-error_log"
    CustomLog "logs/111.com-access_log" combined env=!img  #!img為記錄非img
</VirtualHost>

檢查，重載配置：

# apachectl  -t
# apachectl graceful

mkdir /data/wwwroot/111.com/img   //創建目錄，並在這目錄下上傳圖片

[root@localhost ~]# curl -xlocalhost:80 111.com/img/snipaste20171121_225348.png -I
HTTP/1.1 200 OK
Date: Thu, 08 Mar 2018 17:27:03 GMT
Server: Apache/2.4.29 (Unix) PHP/7.2.1
Last-Modified: Tue, 21 Nov 2017 14:53:51 GMT
ETag: "1f5ef-55e7f5efc3dc0"
Accept-Ranges: bytes
Content-Length: 128495
Content-Type: image/png
[root@localhost ~]# tail -f /usr/local/apache2.4/logs/111.com-access_log              
::1 - - [09/Mar/2018:01:03:29 +0800] "GET HTTP://www.123.cn/ HTTP/1.1" 301 223 "-" "curl/7.29.0"
::1 - - [09/Mar/2018:01:03:33 +0800] "GET HTTP://111.com/ HTTP/1.1" 200 8 "-" "curl/7.29.0"
192.168.0.190 - aiker [09/Mar/2018:01:03:42 +0800] "GET / HTTP/1.1" 200 8 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36"
192.168.0.190 - aiker [09/Mar/2018:01:08:25 +0800] "GET / HTTP/1.1" 200 8 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36"
192.168.0.190 - aiker [09/Mar/2018:01:16:12 +0800] "GET / HTTP/1.1" 200 8 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36"
192.168.0.190 - aiker [09/Mar/2018:01:16:16 +0800] "GET / HTTP/1.1" 200 8 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36"
192.168.0.190 - aiker [09/Mar/2018:01:16:18 +0800] "GET / HTTP/1.1" 200 8 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36"
192.168.0.190 - aiker [09/Mar/2018:01:16:26 +0800] "GET / HTTP/1.1" 200 8 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36"
192.168.0.190 - - [09/Mar/2018:01:17:09 +0800] "GET /near-gradient%2845deg,%20 HTTP/1.1" 404 219 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36"
192.168.0.190 - - [09/Mar/2018:01:19:21 +0800] "GET /img/ HTTP/1.1" 403 213 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36"
::1 - - [09/Mar/2018:01:32:16 +0800] "HEAD HTTP://111.com/img/ HTTP/1.1" 403 - "-" "curl/7.29.0"
^E^C

11.23 訪問日誌切割

日誌一直記錄總有一天會把整個磁盤占滿，所以有必要讓它自動切割，並刪除老的日誌文件，apache自帶日誌切割工具rotatelogs，在t對應的vhos配置就可以了

把虛擬主機配置文件改成如下：

[root@localhost ~]# vim /etc/httpd24/extra/httpd-vhosts.conf  
<VirtualHost *:80>
    ServerAdmin [email protected]
    DocumentRoot "/home/wwwroot/111.com"
    ServerName 111.com
    ServerAlias www.123.cn
    <IfModule mod_rewrite.c>
        RewriteEngine on
        RewriteCond %{HTTP_HOST} !^111.com$
        RewriteRule ^/(.*)$ http://111.com/$1 [R=301.L]
    </IfModule>
#    <Directory /home/wwwroot/111.com> #目錄認證
#    <FilesMatch yhtz.php> #匹配文件認證
#        AllowOverride AuthConfig
#       AuthName "賬號密碼訪問"
#       AuthType Basic
#       AuthUserFile /data/.htpasswd
#       require valid-user
#    </FilesMatch>
#    </Directory>
    SetEnvIf Request_URI ".*\.gif$" img
    SetEnvIf Request_URI ".*\.jpg$" img
    SetEnvIf Request_URI ".*\.png$" img
    SetEnvIf Request_URI ".*\.bmp$" img
    SetEnvIf Request_URI ".*\.swf$" img
    SetEnvIf Request_URI ".*\.js$" img
    SetEnvIf Request_URI ".*\.css$" img

    ErrorLog "logs/111.com-error_log"
    CustomLog "|/usr/local/apache2.4/bin/rotatelogs -l logs/111.com-access_%Y%m%d.log 86400" combined env=!img #配置日誌切割
</VirtualHost>

檢查並重載配置

apachectl -t
apachectl graceful

curl -xlocalhost:80 111.com/img/ -I

ls /usr/local/apache2.4/logs  //查看日誌目錄

11.24 靜態元素過期時間

瀏覽器訪問網站的圖片時會把靜態的文件緩存在本地電腦裏，這樣下次再訪問時就不用去遠程下載了

需要打開expires_module,編輯httpd.conf去掉註釋即可打開

增加配置

 <IfModule mod_expires.c>
    ExpiresActive on  //打開該功能的開關
    ExpiresByType image/gif  "access plus 1 days"
    ExpiresByType image/jpeg "access plus 24 hours"
    ExpiresByType image/png "access plus 24 hours"
    ExpiresByType text/css "now plus 2 hour"
    ExpiresByType application/x-javascript "now plus 2 hours"
    ExpiresByType application/javascript "now plus 2 hours"
    ExpiresByType application/x-shockwave-flash "now plus 2 hours"
    ExpiresDefault "now plus 0 min"
</IfModule>

修改後的配置：

[root@localhost ~]# vim /etc/httpd24/extra/httpd-vhosts.conf  

<VirtualHost *:80>
    ServerAdmin [email protected]
    DocumentRoot "/home/wwwroot/111.com"
    ServerName 111.com
    ServerAlias www.123.cn
    <IfModule mod_rewrite.c>
        RewriteEngine on
        RewriteCond %{HTTP_HOST} !^111.com$
        RewriteRule ^/(.*)$ http://111.com/$1 [R=301.L]
    </IfModule>
#    <Directory /home/wwwroot/111.com> #目錄認證
#    <FilesMatch yhtz.php> #匹配文件認證
#        AllowOverride AuthConfig
#       AuthName "賬號密碼訪問"
#       AuthType Basic
#       AuthUserFile /data/.htpasswd
#       require valid-user
#    </FilesMatch>
#    </Directory>
<IfModule mod_expires.c>
    ExpiresActive on  #打開該功能的開關
    ExpiresByType image/gif  "access plus 1 days"
    ExpiresByType image/jpeg "access plus 24 hours"
    ExpiresByType image/png "access plus 24 hours"
    ExpiresByType text/css "now plus 2 hour"
    ExpiresByType application/x-javascript "now plus 2 hours"
    ExpiresByType application/javascript "now plus 2 hours"
    ExpiresByType application/x-shockwave-flash "now plus 2 hours"
    ExpiresDefault "now plus 0 min"
</IfModule>

    SetEnvIf Request_URI ".*\.gif$" img
    SetEnvIf Request_URI ".*\.jpg$" img
    SetEnvIf Request_URI ".*\.png$" img
    SetEnvIf Request_URI ".*\.bmp$" img
    SetEnvIf Request_URI ".*\.swf$" img
    SetEnvIf Request_URI ".*\.js$" img
    SetEnvIf Request_URI ".*\.css$" img

    ErrorLog "logs/111.com-error_log"
    CustomLog "|/usr/local/apache2.4/bin/rotatelogs -l logs/111.com-access__%Y%m%d.log 86400" combined env=!img
</VirtualHost>

curl測試，看cache-control: max-age
也可以在瀏覽器查看

擴展

apache日誌記錄代理IP以及真實客戶端IP

默認情況下log日誌格式為：

LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined

其中%h 是記錄訪問者的IP，如果在web的前端有一層代理，那麽這個%h其實就是代理機器的IP，這不是我們想要的。在這種情況下，
%{X-FORWARDED-FOR}i 字段會記錄客戶端真實的IP。所以log日誌改為：

LogFormat "%h %{X-FORWARDED-FOR}i %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined

apache只記錄指定URI的日誌

我的需求是，把類似請求 www.aaa.com/aaa/... 這樣的請求才記錄日誌。
在httpd.conf 或者相關的虛擬主機配置文件中添加

SetEnvIf Request_URI "^/aaa/.*" aaa-request CustomLog "|/usr/local/apache/bin/rotatelogs -l /usr/local/apache/logs/aaa-access_%Y%m%d.log 86400" combined env=aaa-request

這樣就可以了。這個原理和不記錄圖片等靜態訪問的日誌一樣

apache日誌記錄客戶端請求的域名

正常情況下，根本就沒有必要記錄這一項，畢竟咱們大都根據虛擬主機來設置相應的訪問日誌，但也有個別的情況，比如
ServerName *.abc.com
這樣泛解析的形式，所以有必要記錄一下用戶請求的域名到底是哪個。
而apache的LogFormat 中正好有一項值滿足了這個需求。即 %V 這裏是大寫的V ,小寫的v 記錄的是咱們在虛擬主機中設置的ServerName ，這個的確是沒有必要記錄的。

apache 日誌切割問題

apache的日誌是可以自動切割的。
方法一：使用 cronolog 為每一天建立一個新的日誌

CustomLog "|bin/cronolog logs/access_%Y%m%d.log" combined

也可以按小時

CustomLog "|bin/cronolog logs/access_%Y%m%d%h.log" combined

方法二：使用 rotatelogs 每一天記錄一個日誌

CustomLog "|bin/rotatelogs -l logs/access_%Y%m%d.log 86400" combined

每小時

CustomLog "|bin/rotatelogs -l logs/access_%Y%m%d%H.log 3600" combined

再看apache rotatelogs語法

rotatelogs [ -l ] logfile [ rotationtime [ offset ]] | [ filesizeM ]

選項

-l

使用本地時間代替GMT時間作為時間基準。註意：在一個改變GMT偏移量(比如夏令時)的環境中使用-l會導致不可預料的結果。所以一定要加上-l 否則出現的日誌時間和實際時間是相差8小時的。

logfile

它加上基準名就是日誌文件名。如果logfile中包含”%”，則它會被視為用於strftime()的格式字符串；否則它會被自動加上以秒為單位的”.nnnnnnnnnn”後綴。這兩種格式都表示新的日誌開始使用的時間。

rotationtime

日誌文件滾動的以秒為單位的間隔時間。

offset

相對於UTC的時差的分鐘數。如果省略，則假定為”0″並使用UTC時間。比如，要指定UTC時差為”-5小時”的地區的當地時間，則此參數應為”-300″。

filesizeM

指定以filesizeM文件大小滾動，而不是按照時間或時差滾動。

十周四次課

十周四次課

11.23 訪問日誌切割

11.24 靜態元素過期時間

擴展

apache日誌記錄代理IP以及真實客戶端IP

apache只記錄指定URI的日誌

apache日誌記錄客戶端請求的域名

apache 日誌切割問題

十周四次課（3月5日）

十周四次課

十六周四次課

Linux學習筆記十二周四次課（4月26日）

十二周四次課

十五周四次課

十七周四次課

Python學習——七周四次課（12月7日）

七周四次課（1月25日）

十周第一次課（2月28日）

十周第二次課（3月1日）

七周四次課 iptables filter表案例以及iptables nat表應用

十三周四次課

十三周四次課（3月22日

2018.3.22 一周四次課

linux七周四次課（3月22日）

十四周四次課（3月29日）

七周四次課

十三周四次課更改root密碼、mysql連接、常用命令

LiNUX20180509七周四次課（5月9日）IPTABLES

十周四次課

11.23 訪問日誌切割

11.24 靜態元素過期時間

擴展

apache日誌記錄代理IP以及真實客戶端IP

apache只記錄指定URI的日誌

apache日誌記錄客戶端請求的域名

apache 日誌切割問題

相關推薦