日誌分析基礎
________________________________________
補充知識：
________________________________________
1、sed：處理緩沖區中的字符串，然後輸出的標準輸出。
(1)行單位增刪 sed ‘2,7d’ 但是刪除，2起始行，7結尾行（$代表最後一行）
(2)行單位替換 sed ‘2,5c xxxxxxx’,把2到5行替換成xxxxx
(3)行單位顯示 sed -n ‘3,13p’ p顯示
(4)數據搜索 sed ‘/root/p’ 搜索root 並顯示
(5)數據替換 sed ’s/要被取代的字串/新的字串/g‘
________________________________________
2、sort：排序。
-b 忽略每行前面開始出的空格字符
-c 檢查文件是否已經按照順序排序
-d 排序時，處理英文字母、數字及空格字符外，忽略其他的字符
-f 排序時，將小寫字母視為大寫字母
-i 排序時，除了040至176之間的ASCII字符外，忽略其他的字符
-M 將前面3個字母依照月份的縮寫進行排序
-n 依照數值的大小排序
-o<輸出文件> 將排序後的結果存入指定的文件
-r 以相反的順序來排序
________________________________________
3、uniq：去重類作用。
-c或–count 在每列旁邊顯示該行重復出現的次數
-d或–repeated 僅顯示重復出現的行列
-u或–unique 僅顯示出一次的行列
________________________________________
4、awk：文本分析作用。
(1)awk [選項參數] ‘script’ var=value file
(2)輸出文本1 4 行 awk ‘{print $1,$4}’ log.txt
(3)正則 awk ‘/re/ ’ log.txt ~ 表示模式開始 /中間是模式/
________________________________________
1、日誌分類：
1.1操作系統日誌
1.1.1UNIX/LINUX系統日誌
@1登錄時間日誌 /var/log/wtmp && /var/run/utmp
@2進程統計日誌
@3錯誤記錄日誌/var/log/message/…
@4lastlog 二進制 maillog略
1.1.2Windows系統日誌
@1windows_server_8 ^ && windows_7 ^ path=%SystemRoot%\System32\Winevt\Logs
1Applacation: path\Application.evtx
2Security: path\Security.evtx
3System: path\System.evtx
4FW: %SystemRoot%\System32\LogFiles\Firewall\pfirewall.evtx
1.2網絡設備日誌
@1locallog
@2syslog
@3maillog
1.3應用系統日誌
找不到日誌文件的可以先查詢/var/log/message @1 WEB 1 Apache (1)Config_File : /etc/apachex/apachex.conf or httpd.conf (2)Access_Log : /var/log/apachex/access_log(Ubuntu)
(3)Access_Log : /usr/local/apachex/logs or /usr/local/apachex/logs
(4)Error_Log : the same as access log
(5)format:
|remote_ip|-|-|time|timezone|method|URL|protocol|response_code|size
(6)other linux or unixlike system’s position of it’s logs:
please use find or locate command to find
2 Nginx
(1)Config_file : nginx.conf
(2)Access_Log : /usr/local/nginx/logs/access.log
(3)Error_Log : /usr/local/nginx/logs/error.log
3 Tomcat
(1)Config_File : /etc/tomcat7/server.xml
(2)Access_Log : /var/log/tomcat7/
(3)the format is the same as Apache’s
@2 FTP
1 log’s position
(1)Config_File : /etc/vsftp/vsftp.conf
(2)Log : /var/log/vsftp/ vsftpd.log && xferlog
2 vsftpd.log
|time|pid|command|context|
3 xferlog
|time|transport_time|remote_ip|file_size|file_path|transport_mode|-|transport_direction|connect_mode|username|ftp|Auth_way|ID|transport_state
@3 Squid
1 Config_File : 、/etc/squid/squid.conf
2 Log_File : /var/log/squid (1)access.log
(2)cache.log
(3)store.log
3 Access Log Format
|unix_time|time_to_last|ip|squid_state_code|size|method|url|-|code_level|http_header|
@4 NFS
1 Config_File : /etc/nfs/nfslog.conf
2 Log : /var/log/nfs
3 Format |time|time_to_last|ip_or_host|file_size|path|data_type|_|cmd|connect_mode|ID|service_type|auth|-|
@5 IPTABLES
1 Config_File : /var/log/iptables.log
2 Log_File : /var/log/iptables/……
@6 Samba
1 Config_File : smb.conf
2 logfile = /var/log/samba/
@7 DNS
1 /var/log/messages
@8 DHCP
1 /var/log/messages
2 /var/lib/dhcp/db/dhcpd.leases
@9 Mail
1 Sendmail /var/log/maillog
*2 Postfix /var/log/maillog

日誌分析基礎