立Flag 學習Ng - 日誌切割

阿新 • • 發佈：2021-01-13

技術標籤：分散式#nginx nginx

立Flag 學習Ng - 日誌切割

內容：

日誌配置引數
日誌切割

日誌切割

先來看日誌格式化

Nginx 有一個非常靈活的日誌記錄模式。每個級別的配置可以有各自獨立的訪問日誌。日誌格式通過 log_format命令來定義。 ngx_http_log_module 是用來定義請求日誌格式的。

下面的內容其實在上一篇中的配置項中都有，這裡屬於專題學習

日誌相關配置項（指令）

access_log

access_log path [format [buffer=size [flush=time]]];
access_log path format gzip[ 
=level] [buffer=size] [flush=time];
access_log syslog:server=address[,parameter=value] [format];
access_log off;

gzip 壓縮等級
buffer 設定記憶體快取區大小。
flush 儲存在快取區中的最長時間

預設值:

access_log logs/access.log combined;

配置段:

http, server, location, if in location, limit_except

不記錄日誌：

access_log off;

使用預設 combined 格式記錄日誌：

access_log logs/access.log
# 或
access_log logs/access.log combined;

log_format

log_format name string …;

name 表示格式名稱
string 表示等義的格式

預設值

log_format combined “…” ;

配置段:

http

log_format 有一個預設的無需設定的 combined 日誌格式，相當於apache 的 combined 日誌格式，如下所示：

log_format combined '$remote_addr - $remote_user [$time_local 
] '
' "$request" $status $body_bytes_sent '
' "$http_referer" "$http_user_agent" ';

如果 nginx 位於負載均衡器， squid， nginx 反向代理之後， web 伺服器無法直接獲取到客戶端真實的 IP 地址了。$remote_addr 獲取反向代理的 IP 地址。反向代理伺服器在轉發請求的 http 頭資訊中，可以增加 X-ForwardedFor 資訊，用來記錄客戶端 IP 地址和客戶端請求的伺服器地址。如下所示：

log_format porxy '$http_x_forwarded_for - $remote_user [$time_local] '
' "$request" $status $body_bytes_sent '
' "$http_referer" "$http_user_agent" ';

日誌格式允許包含的變數註釋如下：

$remote_addr, $http_x_forwarded_for 記錄客戶端 IP 地址
$remote_user 記錄客戶端使用者名稱稱
$request 記錄請求的 URL 和 HTTP 協議
$status 記錄請求狀態
$body_bytes_sent 傳送給客戶端的位元組數，不包括響應頭的大小；該變數與 Apache 模組 mod_log_config 裡的“%B”引數相容。
$bytes_sent 傳送給客戶端的總位元組數。
$connection 連線的序列號。
$connection_requests 當前通過一個連接獲得的請求數量。
$msec 日誌寫入時間。單位為秒，精度是毫秒。
$pipe 如果請求是通過 HTTP 流水線(pipelined)傳送， pipe 值為“p”，否則為“.”。
$http_referer 記錄從哪個頁面連結訪問過來的
$http_user_agent 記錄客戶端瀏覽器相關資訊
$request_length 請求的長度（包括請求行，請求頭和請求正文）。
$request_time 請求處理時間，單位為秒，精度毫秒；從讀入客戶端的第一個位元組開始，直到把最後一個字元傳送給客戶端後進行日誌寫入為止。
$time_iso8601 ISO8601 標準格式下的本地時間。
$time_local 通用日誌格式下的本地時間。

open_log_file_cache

對於每一條日誌記錄，都將是先開啟檔案，再寫入日誌，然後關閉。可以使用 open_log_file_cache 來設定日誌檔案快取(預設是 off)。

open_log_file_cache max=N [inactive=time] [min_uses=N] [valid=time];
open_log_file_cache off;

預設值:

open_log_file_cache off;

配置段:

http, server, location

引數註釋如下：

max:設定快取中的最大檔案描述符數量，如果快取被佔滿，採用 LRU 演算法將描述符關閉。
inactive:設定存活時間，預設是 10s
min_uses:設定在 inactive 時間段內，日誌檔案最少使用多少次後，該日誌檔案描述符記入快取中，預設是 1 次
valid:設定檢查頻率，預設 60s
off：禁用快取

示例：

open_log_file_cache max=1000 inactive=20s valid=1m min_uses=2;

log_subrequest

是否在 access_log 中記錄子請求的訪問日誌。預設不記錄。

log_subrequest on | off;

預設值:

log_subrequest off;

配置段:

http, server, location

log_not_found

是否在 error_log 中記錄不存在的錯誤。預設是。

語法:

log_not_found on | off;

預設值:

log_not_found on;

配置段:

http, server, location

rewrite_log

由 ngx_http_rewrite_module 模組提供的。用來記錄重寫日誌的。對於除錯重寫規則建議開啟。

啟用時將在 error log 中記錄 notice 級別的重寫日誌。

語法:

rewrite_log on | off;

預設值:

rewrite_log off;

配置段:

http, server, location, if

error_log

配置錯誤日誌。

語法:

error_log file | stderr | syslog:server=address[,parameter=value] [debug | info | notice |
warn | error | crit | alert | emerg];

預設值:

error_log logs/error.log error;

配置段:

main, http, server, location

切割

shell指令碼

#!/bin/bash

LOGS_PATH=/usr/local/nginx/logs
HISTORY_PATH=/usr/local/nginx/logs/history
YESTERDAY=$(date -d "yesterday" +%Y-%m-%d)

# 按照日期分割訪問日誌檔案
mv "${LOGS_PATH}/access.log" "${HISTORY_PATH}/access_${YESTERDAY}.log"
# 按照日期分割錯誤日誌檔案
mv "${LOGS_PATH}/error.log" "${HISTORY_PATH}/error_${YESTERDAY}.log"
# 重新開啟日誌檔案
kill -USR1 $(cat /usr/local/nginx/logs/nginx.pid)

新增定時任務

# 將指令碼檔案放在 /usr/local/nginx/sbin 目錄下
# 賦予執行許可權
chmod +x /usr/local/nginx/sbin/log_split.sh
# 設定定時任務，每天0分0點執行一次
# 新增定時任務 
crontab -e
0 0 1 * * /usr/local/nginx/sbin/og_split.sh
# 檢視定時任務 
crontab -l
# 刪除定時任務
# 使用下面命令開啟檔案，刪除相應資訊
crontab -e