2. 程式人生 > >rsyslogd、syslog遠端傳輸、日誌儲存、轉存

rsyslogd、syslog遠端傳輸、日誌儲存、轉存

阿新 • • 發佈：2018-12-13

一、產生本地日誌

1、/etc/resolv.conf 配置檔案 local0~local7是使用者自定義的日誌
這裡我們使用local1，新增以下   local1.* /www/admin/admin/log/web_log 配置完需要重啟 rsyslogd程式  /etc/init.d/rsyslog restart

2、程式中用以下記入日誌     openlog("audit_as_cgi", LOG_PID, LOG_LOCAL1);
    syslog(LOG_DEBUG,"%s",write_buf);
    closelog();
audit_as_cgi ：
是日誌字首
LOG_PID：每條日誌都包含程序號
 LOG_LOCAL1：是我們自定義的日誌型別
 LOG_DEBUG：日誌等級
3、產生的本地日誌，如下所示


二、遠端傳送日誌

rsyslog提供三個遠端日誌傳輸方式：

  • UDP: 資料包傳輸可信度不高
  • TCP: 資料包傳輸可信度比較高
  • RELP: 資料包傳輸可信度最高，避免資料丟失，比較新的協議，目前應用較少

關於RELP的更進一步瞭解可以參考 Using TLS with RELP

 RELP Input Module RELP Output Module (omrelp)

TCP配置和UDP類似，如下

Server端配置
/etc/rsyslog.conf 
# Provides TCP syslog reception
$ModLoad imtcp
$InputTCPServerRun 514
$AllowedSender TCP, 192.168.80.0/24

# 根據客戶端的IP單獨存放主機日誌在不同目錄       
$template Remote,"/var/log/syslog/%fromhost-ip%/%fromhost-ip%_%$YEAR%-%$MONTH%-%$DAY%.log"
 


# 排除本地主機IP日誌記錄，只記錄遠端主機日誌
:fromhost-ip, !isequal, "127.0.0.1" ?Remote
& ~
Client端配置
/etc/rsyslog.conf ，這裡我們把使用者自定義的local1型別日誌傳送給2.108裝置 
local1.*	    @@192.168.2.108:514

當然，如果你是用的之前老版本的syslogd程式，則傳送端不需要配置檔案，直接syslogd -R 伺服器地址即可，只不過syslogd好像是UDP協議的514埠，照樣可以用rsyslogd接收。

客戶端和服務端重啟相關服務即可在伺服器（192.168.2.108）端看的如下結果：


重啟rsyslogd之後如果沒有收到日誌，檢視防火牆是否開啟了514埠，沒有開啟就在伺服器端開啟514埠

 iptables -I INPUT -p tcp --dport 514 -j ACCEPT
 iptables -I OUTPUT -p tcp --dport 514 -j ACCEPT

三、日誌自動轉存-logrotate程式

logrotate是個十分有用的工具，它可以自動對日誌進行截斷（或輪循）、壓縮以及刪除舊的日誌檔案。例如，你可以設定logrotate，讓/var/log/foo日誌檔案每30天輪循，並刪除超過6個月的日誌。配置完後，logrotate的運作完全自動化，不必進行任何進一步的人為干預。另外，舊日誌也可以通過電子郵件傳送，不過該選項超出了本教程的討論範圍。

1、在/etc/logrotate.d/ 路徑下建立自己的日誌配置檔案，如下所示：

第一行：要管理的日誌檔案

daily： 按天轉存

dateext： 按日誌備份檔案

rotate： 共備份5份，之後會依次替換掉最舊的檔案

size=1M：當日志文件達到1M時，才備份

最後3句：必須重啟rsyslogd程式，否則日誌轉存之後，不會寫入最新的檔案


另外，如果你的遠端伺服器沒有建立好連線，也會影響本地日誌的生產速度


四、logrotate觸發過程

centos從6開始，daily   hourly  monthly weekly等這些資料夾裡面的任務已經不用crond處理，而是交給了anacron處理

1、/etc/cron.hourly/0anacron 會每小時定時執行，由 /etc/cron.d/0hourly 每小時呼叫一次

/etc/cron.hourly/0anacron 內容如下

if test -r /var/spool/anacron/cron.daily; then
    day=`cat /var/spool/anacron/cron.daily`
fi
if [ `date +%Y%m%d` = "$day" ]; then
    exit 0;
fi


# Do not run jobs when on battery power
if test -x /usr/bin/on_ac_power; then
    /usr/bin/on_ac_power >/dev/null 2>&1
    if test $? -eq 1; then
    exit 0
    fi
fi
/usr/sbin/anacron -s

它會檢測系統當前時間和/var/spool/anacron/cron.daily（誰寫入的還沒搞清楚）檔案裡的日期是否一致，一致就退出，否則執行anacron 


2、anacron 程式啟動，它的配置檔案為/etc/anacrontab ，內容如下：

# /etc/anacrontab: configuration file for anacron
# See anacron(8) and anacrontab(5) for details.

SHELL=/bin/sh
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root
# the maximal random delay added to the base delay of the jobs
RANDOM_DELAY=54   （延時54分、預設延時最小為6分）
# the jobs will be started during the following hours only
START_HOURS_RANGE=3-22  這個設定就是你看到日誌切割的時間範圍，一般是凌晨3點+RANDOM_DELAY+5 大約是凌晨3:59切割檔案

下面任務列表：第一列是輪詢天數、第2列是延時時間（單位分鐘）、第3、4列是任務描述和命令，在此呼叫daily、weekly、monthly任務
#period in days   delay in minutes   job-identifier   command
15cron.dailynice run-parts /etc/cron.daily
725cron.weeklynice run-parts /etc/cron.weekly
@monthly 45cron.monthlynice run-parts /etc/cron.monthly


3、由上面的anacron 呼叫cron.daily任務後，logrotate程式得以執行

cat /etc/cron.daily/logrotate ，內容如下：

#!/bin/sh
/usr/sbin/logrotate -s /var/lib/logrotate.status /etc/logrotate.conf    （這裡的路徑要注意，有的是 /var/lib/logrotate/logrotate.status）
EXITVALUE=$?
if [ $EXITVALUE != 0 ]; then
    /usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"
fi
exit 0

logrotate程式呼叫配置檔案/etc/logrotate.conf 及/etc/logrotate.d/路徑下的配置，生成按天、周、月為週期的檔案。


遺留問題：

logrotate生成的備份日誌，日期不太對，沒有明確的分隔點。例如16號生成的日誌，備份到了17號檔案裡，而17檔案裡包含部分18號的內容。

我感覺這類問題，應該通過START_HOURS_RANGE這個引數來設定以儘量縮小時間誤差。

一、產生本地日誌

1、/etc/resolv.conf 配置檔案 local0~local7是使用者自定義的日誌
這裡我們使用local1，新增以下   local1.* /www/admin/admin/log/web_log 配置完需要重啟 rsyslogd程式  /etc/init.d/rsyslog restart

2、程式中用以下記入日誌     openlog("audit_as_cgi", LOG_PID, LOG_LOCAL1);
    syslog(LOG_DEBUG,"%s",write_buf);
    closelog();
audit_as_cgi ：是日誌字首
LOG_PID：每條日誌都包含程序號
 LOG_LOCAL1：是我們自定義的日誌型別
 LOG_DEBUG：日誌等級
3、產生的本地日誌，如下所示


二、遠端傳送日誌

rsyslog提供三個遠端日誌傳輸方式：

  • UDP: 資料包傳輸可信度不高
  • TCP: 資料包傳輸可信度比較高
  • RELP: 資料包傳輸可信度最高，避免資料丟失，比較新的協議，目前應用較少

關於RELP的更進一步瞭解可以參考 Using TLS with RELP RELP Input Module RELP Output Module (omrelp)

TCP配置和UDP類似，如下

Server端配置
/etc/rsyslog.conf 
# Provides TCP syslog reception
$ModLoad imtcp
$InputTCPServerRun 514
$AllowedSender TCP, 192.168.80.0/24

# 根據客戶端的IP單獨存放主機日誌在不同目錄       
$template Remote,"/var/log/syslog/%fromhost-ip%/%fromhost-ip%_%$YEAR%-%$MONTH%-%$DAY%.log"

# 排除本地主機IP日誌記錄，只記錄遠端主機日誌
:fromhost-ip, !isequal, "127.0.0.1" ?Remote
& ~
Client端配置
/etc/rsyslog.conf ，這裡我們把使用者自定義的local1型別日誌傳送給2.108裝置 
local1.*	    @@192.168.2.108:514

當然，如果你是用的之前老版本的syslogd程式，則傳送端不需要配置檔案，直接syslogd -R 伺服器地址即可，只不過syslogd好像是UDP協議的514埠，照樣可以用rsyslogd接收。

客戶端和服務端重啟相關服務即可在伺服器（192.168.2.108）端看的如下結果：


重啟rsyslogd之後如果沒有收到日誌，檢視防火牆是否開啟了514埠，沒有開啟就在伺服器端開啟514埠

 iptables -I INPUT -p tcp --dport 514 -j ACCEPT
 iptables -I OUTPUT -p tcp --dport 514 -j ACCEPT

三、日誌自動轉存-logrotate程式

logrotate是個十分有用的工具，它可以自動對日誌進行截斷（或輪循）、壓縮以及刪除舊的日誌檔案。例如，你可以設定logrotate，讓/var/log/foo日誌檔案每30天輪循，並刪除超過6個月的日誌。配置完後，logrotate的運作完全自動化，不必進行任何進一步的人為干預。另外，舊日誌也可以通過電子郵件傳送，不過該選項超出了本教程的討論範圍。

1、在/etc/logrotate.d/ 路徑下建立自己的日誌配置檔案，如下所示：

第一行：要管理的日誌檔案

daily： 按天轉存

dateext： 按日誌備份檔案

rotate： 共備份5份，之後會依次替換掉最舊的檔案

size=1M：當日志文件達到1M時，才備份

最後3句：必須重啟rsyslogd程式，否則日誌轉存之後，不會寫入最新的檔案


另外，如果你的遠端伺服器沒有建立好連線，也會影響本地日誌的生產速度


四、logrotate觸發過程

centos從6開始，daily   hourly  monthly weekly等這些資料夾裡面的任務已經不用crond處理，而是交給了anacron處理

1、/etc/cron.hourly/0anacron 會每小時定時執行，由 /etc/cron.d/0hourly 每小時呼叫一次

/etc/cron.hourly/0anacron 內容如下

if test -r /var/spool/anacron/cron.daily; then
    day=`cat /var/spool/anacron/cron.daily`
fi
if [ `date +%Y%m%d` = "$day" ]; then
    exit 0;
fi


# Do not run jobs when on battery power
if test -x /usr/bin/on_ac_power; then
    /usr/bin/on_ac_power >/dev/null 2>&1
    if test $? -eq 1; then
    exit 0
    fi
fi
/usr/sbin/anacron -s

它會檢測系統當前時間和/var/spool/anacron/cron.daily（誰寫入的還沒搞清楚）檔案裡的日期是否一致，一致就退出，否則執行anacron 


2、anacron 程式啟動，它的配置檔案為/etc/anacrontab ，內容如下：

# /etc/anacrontab: configuration file for anacron
# See anacron(8) and anacrontab(5) for details.

SHELL=/bin/sh
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root
# the maximal random delay added to the base delay of the jobs
RANDOM_DELAY=54   （延時54分、預設延時最小為6分）
# the jobs will be started during the following hours only
START_HOURS_RANGE=3-22  這個設定就是你看到日誌切割的時間範圍，一般是凌晨3點+RANDOM_DELAY+5 大約是凌晨3:59切割檔案

下面任務列表：第一列是輪詢天數、第2列是延時時間（單位分鐘）、第3、4列是任務描述和命令，在此呼叫daily、weekly、monthly任務
#period in days   delay in minutes   job-identifier   command
15cron.dailynice run-parts /etc/cron.daily
725cron.weeklynice run-parts /etc/cron.weekly
@monthly 45cron.monthlynice run-parts /etc/cron.monthly


3、由上面的anacron 呼叫cron.daily任務後，logrotate程式得以執行

cat /etc/cron.daily/logrotate ，內容如下：

#!/bin/sh
/usr/sbin/logrotate -s /var/lib/logrotate.status /etc/logrotate.conf    （這裡的路徑要注意，有的是 /var/lib/logrotate/logrotate.status）
EXITVALUE=$?
if [ $EXITVALUE != 0 ]; then
    /usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"
fi
exit 0

logrotate程式呼叫配置檔案/etc/logrotate.conf 及/etc/logrotate.d/路徑下的配置，生成按天、周、月為週期的檔案。


遺留問題：

logrotate生成的備份日誌，日期不太對，沒有明確的分隔點。例如16號生成的日誌，備份到了17號檔案裡，而17檔案裡包含部分18號的內容。

我感覺這類問題，應該通過START_HOURS_RANGE這個引數來設定以儘量縮小時間誤差。

相關推薦

rsyslogd、syslog遠端傳輸、日誌儲存、轉存

一、產生本地日誌 1、/etc/resolv.conf 配置檔案 local0~local7是使用者自定義的日誌 這裡我們使用local1，新增以下   local1.* /www

51.php-fpm的pool、php-fpm慢執行日誌open_basedir、php-fpm進程

php-fpm的pool php-fpm慢執行日誌 open_basedir php-fpm進程管理 一、php-fpm的pool vim /usr/local/php-fpm/etc/php-fpm.conf //在[global]部分增加 include = etc/p

關於syslog日誌功能詳解 事件日誌分析、EventLog Analyzer

linux 活動 數據 linu type 監控 roc oracle windows系統 關於syslog日誌功能詳解 事件日誌分析、EventLog Analyzer 一、日誌管理保障網絡安全Windows系統日誌分析Syslog日誌分析應用程序日誌分析Windows

日誌分析工具、日誌管理系統、syslog分析

用戶 程序 方案 安全 inux aix 高效 應用 監控 日誌分析工具、日誌管理系統、syslog分析 系統日誌（Syslog）管理是幾乎所有企業的重要需求。系統管理員將syslog看作是解決網絡上系統日誌支持的系統和設備性能問題的關鍵資源。人們往往低估了對完整的sys-

WEB——驗證碼生成、IO儲存、二進位制傳輸

執行下段程式，瀏覽器訪問127.0.0.1:8000 即可在頁面展現驗證碼 程式碼包含了驗證碼的生成　io儲存　二進位制資料傳輸等知識點 # coding=utf-8 # wsgi_server.py import random import string import base64

ElasticSearch 設定索引、node、日誌儲存位置

原文： ElasticSearch 設定索引、node、日誌儲存位置 好端端的突然 ElasticSearch 叢集 的 節點2，3 兩臺機器一起 Down 掉，偏偏節點1沒有掛掉。難道節點1 天生就比2和3要吊嗎？ 檢視日誌後發現 low memory ，於是新增 boots

基於ElasticSearch+Logstash+Kibana的日誌分析、儲存、展示

ELK簡介 ELK是一套完整的日誌解決方案，由ElasticSearch、Logstash、 Kibana這三款開源軟體組成。 EastiSearch是基於Lucene開發的分散式儲存檢引擎，用來儲存各類日誌; Logstash對日誌進行收集、分析，並將其儲存供以後使用: Ki

Linux日誌系統分析：rsyslog、syslog和klog

ubuntu版本：ubuntu-gnome-16.04-desktop-amd64，gnome版 --------------------------------------------------------------------------------- 1.

syslog遠端日誌儲存/514埠

A機做日誌資料儲存伺服器 B機是syslog日誌產生 兩個主機的/etc/syslog.conf怎麼設定，才能實現日誌遠端儲存？ B機修改/etc/syslog.conf，加入以下語句 .info @A A機修改/etc/syslog.conf，加入以下語句 .info /var/log/every

msyql 日誌分類、儲存、啟動，慢查詢日誌（一）

Mysql日誌的分類： 出錯日誌（error log）：（log_error）這個日誌記載著伺服器啟動和關閉的情況，還記載著關於故障或異常狀況的訊息。 我們安裝完資料庫之後，啟動資料庫如果發生異常，我們應該首先查這個日誌檔案。 常規查詢日誌：（log）該日誌包括客戶連線的記

計算機中儲存、網路傳輸計量單位

目錄 1.儲存單位 1.1.位 1.2.位元組 1.3.字 1.4.兩種計量單位 1.5.硬碟縮水原因 2.網路傳輸單位 2.1.服務商單位 2.2.軟體單位 2.3.解釋20M寬頻實際下載速度 1.儲存單位 1.1.位 英文bit，又稱“

ffmpeg中的日誌控制、儲存日誌到指定檔案、處理進度查詢

ffmpeg預設就會輸出一些日誌，包含編譯的工具（gcc版本）、可用的元件（--enable-xxxx）、元件版本號碼，如下圖 ![log](https://blog-static.cnblogs.com/files/daner1257/1.gif) 這些資訊是預設輸出的，每次執行合作都會列印在控制檯中，如

mysql進階（二）之細談索引、分頁與慢日誌

連表 組合索引 rar 偏移量 最小值 num glob 要求 for 索引 1、數據庫索引 　　數據庫索引是一種數據結構，可以以額外的寫入和存儲空間為代價來提高數據庫表上的數據檢索操作的速度，以維護索引數據結構。索引用於快速定位數據，而無需在每次訪問數據庫表時搜索數據

文件歸檔、壓縮及傳輸

文件歸檔、壓縮及傳輸1.文件歸檔文件歸檔，就是把多個文件變成一個歸檔文件tar c 創建 f 指定歸檔文件名稱 t 顯示歸檔文件中的內容 r

日誌、文件服務器（vsftp、NFS）

日誌、文件服務器（vsftp、nfs、samba下面介紹的是）日誌、文件服務器（vsftp、NFS、samba一、日誌1、日誌基礎（1）、日誌 日誌 -----------記錄具有一定意義的歷史事件。 事件 -----------時間、事件本身的內容、事件的關鍵程度（級別） 最開始的日誌系統為： syslog

防火墻（ASA）高級配置之URL過濾、日誌管理、透明模式

防火墻 url過濾 透明模式 楊書凡 asa日誌管理 對於防火墻產品來說，最重要的一個功能就是對事件進行日誌記錄。本篇博客將介紹如何對ASA進行日誌管理與分析、ASA透明模式的原理與配置、利用ASA防火墻的IOS特性實施URL過濾。一、URL過濾 利用ASA防火墻IOS的特性

三、 TCP（傳輸控制協議）

我想 機器 ref ack 大小 機制 以及 請求 傳輸 　　它建立在網際層協議（IP）提供的數據包傳輸技術之上，。TCP使應用程序可使用連續的數據進行通信。除非由於網絡故障導致連接中斷或凍結，TCP都能保證數據流完好地傳輸。而不會發生丟包 ，重包或是亂序的問題。 1 TC

vi的使用—命令行界面的儲存、離開、行號等

vi、vim:w 將編輯的數據寫入硬盤文件中（常用）:w! 若文件屬性為“只讀”時，強制寫入該文件:q! 不存儲強制退出:wq 儲存後退出，若為 :wq! 則為強制儲存後離開 （常用）ZZ 若文件沒有更動，則不儲存離開，若文件已經被更動過，則儲存後離開:w [filename] 另存為新文件:

訪問日誌不記錄靜態文件、訪問日誌切割、靜態元素過期時間

lamp架構訪問日誌不記錄靜態文件當訪問很多圖片，文檔等靜態資源的時候，會加大你日誌的容量，日誌容量占用你磁盤空間後，會出現服務器宕機等很嚴重的問題，這時需要將日誌進行配置優化。當訪問網頁時不記錄這些圖片、css、js等信息日誌。1、[root@centos7 111.com]# vi /usr/local/

linux-RAID磁盤陣列、進程管理、日誌管理、systemctl控制

達內/linux/計算機/雲維/雲計算/紅帽/RAID磁盤陣列 廉價冗余磁盤陣列RAID– Redundant Arrays of Inexpensive Disks– 通過硬件/軟件技術,將多個較小/低速的磁盤整合成一個大磁盤– 陣列的價值:提升I/O效率、硬件級別的數據冗余– 不同RAID級別的功能、特性