Linux系統是否被植入木馬的排查流程梳理
阿新 • • 發佈:2018-02-08
ado 別人 什麽 業務 utils sniffer 行鎖 ebo boot 在日常繁瑣的運維工作中,對linux服務器進行安全檢查是一個非常重要的環節。今天,分享一下如何檢查linux系統是否遭受了入侵?
一、是否入侵檢查
1)檢查系統日誌 檢查系統錯誤登陸日誌,統計IP重試次數(last命令是查看系統登陸日誌,比如系統被reboot或登陸情況) [root@localhost ~]# last 2)檢查系統用戶 查看是否有異常的系統用戶 [root@localhost ~]# cat /etc/passwd 查看是否產生了新用戶,UID和GID為0的用戶 [root@localhost ~]# grep "0" /etc/passwd 查看passwd的修改時間,判斷是否在不知的情況下添加用戶 [root@localhost ~]# ls -l /etc/passwd 查看是否存在特權用戶 [root@localhost ~]# awk -F: '$3==0 {print $1}' /etc/passwd 查看是否存在空口令帳戶 [root@localhost ~]# awk -F: 'length($2)==0 {print $1}' /etc/shadow 3)檢查異常進程 註意UID為0的進程 使用ps -ef命令查看進程 察看該進程所打開的端口和文件 [root@localhost ~]# lsof -p pid命令查看 檢查隱藏進程 [root@localhost ~]# ps -ef | awk '{print }' | sort -n | uniq >1 [root@localhost ~]# ls /porc |sort -n|uniq >2 [root@localhost ~]# diff 1 2 4)檢查異常系統文件 [root@localhost ~]# find / -uid 0 –perm -4000 –print [root@localhost ~]# find / -size +10000k –print [root@localhost ~]# find / -name "…" –print [root@localhost ~]# find / -name ".." –print [root@localhost ~]# find / -name "." –print [root@localhost ~]# find / -name " " –print 5)檢查系統文件完整性 [root@localhost ~]# rpm –qf /bin/ls [root@localhost ~]# rpm -qf /bin/login [root@localhost ~]# md5sum –b 文件名 [root@localhost ~]# md5sum –t 文件名 6)檢查RPM的完整性 [root@localhost ~]# rpm -Va #註意相關的/sbin,/bin,/usr/sbin,/usr/bin 輸出格式說明: S – File size differs M – Mode differs (permissions) 5 – MD5 sum differs D – Device number mismatch L – readLink path mismatch U – user ownership differs G – group ownership differs T – modification time differs 7)檢查網絡 [root@localhost ~]# ip link | grep PROMISC(正常網卡不該在promisc模式,可能存在sniffer) [root@localhost ~]# lsof –i [root@localhost ~]# netstat –nap(察看不正常打開的TCP/UDP端口) [root@localhost ~]# arp –a 8)檢查系統計劃任務 [root@localhost ~]# crontab –u root –l [root@localhost ~]# cat /etc/crontab [root@localhost ~]# ls /etc/cron.* 9)檢查系統後門 [root@localhost ~]# cat /etc/crontab [root@localhost ~]# ls /var/spool/cron/ [root@localhost ~]# cat /etc/rc.d/rc.local [root@localhost ~]# ls /etc/rc.d [root@localhost ~]# ls /etc/rc3.d 10)檢查系統服務 [root@localhost ~]# chkconfig —list [root@localhost ~]# rpcinfo -p(查看RPC服務) 11)檢查rootkit [root@localhost ~]# rkhunter -c [root@localhost ~]# chkrootkit -q
二、linux系統被入侵/中毒的表象
比較常見的中毒表現在以下三個方面: 1)服務器出去的帶寬會跑高這個是中毒的一個特征。 因為服務器中毒之後被別人拿去利用,常見的就是拿去當肉雞攻擊別人;再者就是拿你的數據之類的。 所以服務器帶寬方面需要特別註意下,如果服務器出去的帶寬跑很高,那肯定有些異常,需要及時檢查一下! 2)系統裏會產生多余的不明的用戶 中毒或者被入侵之後會導致系統裏產生一些不明用戶或者登陸日誌,所以這方面的檢查也是可以看出一些異常的。 3)開機是否啟動一些不明服務和crond任務裏是否有一些來歷不明的任務? 因為中毒會隨系統的啟動而啟動的,所以一般會開機啟動,檢查一下啟動的服務或者文件是否有異常,一般會在/etc/rc.local和crondtab -l 顯示出來。
三、順便說下一次Linux系統被入侵/中毒的解決過程
在工作中碰到系統經常卡,而且有時候遠程連接不上,從本地以及遠程檢查一下這個系統,發現有不明的系統進程。 初步判斷就是可能中毒了!!! 解決過程: 1)在監控裏檢查一下這臺服務器的帶寬,發現服務器出去的帶寬跑很高,所以才會導致遠程連接卡甚至連接不上,這是一個原因。 為什麽服務器出去的帶寬這麽高且超出了開通的帶寬值?這個原因只能進入服務器系統裏檢查了。 2)遠程進入系統裏檢查了下, ps -aux查到不明進程 ,立刻關閉它。 3)檢查一下開機啟動項: #chkconfig --list | grep 3:on 服務器啟動級別是3的,我檢查一下了開機啟動項,沒有特別明顯的服務。 然後檢查了一下開機啟動的一個文件 #more /etc/rc.local 看到這個文件裏被添加了很多未知項,註釋了它。 4)然後在遠程連接這臺服務器的時候,還是有些卡。 檢查了一下系統的計劃任務crond,使用crondtab -l 命令進行查看,看到很多註釋行。 這些註釋行與/etc/rc.local的內容差不多。最後備份下/var/spool/cron/root文件(也就是root下的crontab計劃任務內容),就刪除了crontab內容,然後停止crond任務,並chkconfig crond off 禁用它開機啟動。 5)為了徹底清除危害,我檢查了一下系統的登陸日誌(last命令查看),看到除了root用戶之外還有其它的用戶登陸過。 檢查了一下/etc/passwd ,看到有不明的用戶,立刻用usermod -L XXX 禁用這些用戶。 然後更新了下系統的復雜密碼。 ---------------------------------------------------- 禁用/鎖定用戶登錄系統的方法 1. usermod -L username 鎖定用戶 usermod -U username 解鎖 2. passwd -l username 鎖定用戶 passwd -u username 解鎖 3.修改用戶的shell類型為/sbin/nologin(/etc/passwd文件裏修改) 4.在/etc/下創建空文件nologin,這樣就鎖定了除root之外的全部用戶 ----------------------------------------------------
四、怎樣確保linux系統安全
1)從以往碰到的實例來分析,密碼太簡單是一個錯 用戶名默認,密碼太簡單是最容易被入侵的對象,所以切忌不要使用太過於簡單的密碼,先前碰到的那位客戶就是使用了太簡單的且規則的密碼 1q2w3e4r5t, 這種密碼在掃描的軟件裏是通用的,所以很容易被別人掃描出來的。 2)不要使用默認的遠程端口,避免被掃描到 掃描的人都是根據端口掃描,然後再進行密碼掃描,默認的端口往往就是掃描器的對象,他們掃描一個大的IP 段,哪些開放22端口且認為是ssh服務的linux系統,所以才會猜這機器的密碼。更改遠程端口也是安全的一個措施! 3)使用一些安全策略進行保護系統開放的端口 使用iptables或者配置/etc/hosts.deny 和/etc/hosts.allow進行白名單設置 可以對/etc/passwd、/etc/group、/etc/sudoers、/etc/shadow等用戶信息文件進行鎖定(chattr +ai) 4)禁ping設置 # echo 1 > /proc/sys/net/ipv4/icmp_echo_ignore_all --------------------------------------------------------- 發現一次服務器被getshell滲透的解決辦法: 1)使用top命令發現一個python程序占用了95%的cpu 2)使用ps -ef|grep python發現下面程序: python -c import pty;pty.spamn("/bin/sh") 這個程序命令表示通過webshell反彈shell回來之後獲取真正的ttyshell進行滲透到服務器裏。kill掉這個進程! 3)發現在/var/spool/cron下面設置了一個nobody的定時執行上面獲取getshell的滲透命令!果斷刪除這個任務! 4)ss -a發現一個可疑ip以及它的進程,果斷在iptables裏禁止這個ip的所有請求: -I INPUT -s 180.125.131.192 -j DROP ----------------------------------------------------------------------------------------------------------- 比如: 在一臺服務器上,已經啟動了80端口的nginx進程,但是執行“lsof -i:80”或者"ps -ef"命令後,沒有任何信息輸出!這是為什麽? 懷疑機器上的ps命令被人黑了!執行: [root@locahost ~]# which ps /bin/ps [root@locahost ~]# ls -l /bin/ps -rwxr-xr-x. 1 root root 85304 5月 11 2016 /bin/ps [root@locahost ~]# stat /bin/ps File: "/bin/ps" Size: 85304 Blocks: 168 IO Block: 4096 普通文件 Device: fc02h/64514d Inode: 13549 Links: 1 Access: (0755/-rwxr-xr-x) Uid: ( 0/ root) Gid: ( 0/ root) Access: 2017-05-07 17:14:37.862999884 +0800 Modify: 2016-05-11 07:23:09.000000000 +0800 Change: 2017-05-07 17:14:37.146999967 +0800 發現ps命令的二進制文件果然在近期被改動過。 解決辦法:可以拷貝別的機器上的/bin/ps二進制文件覆蓋本機的這個文件。 -------------------------記一次Linux操作系統被入侵的排查過程-------------------------------------- 某天突然發現IDC機房一臺測試服務器的流量異常,幾乎占滿了機房的總帶寬,導致其他服務器程序運行業務受阻! 意識到了這臺測試機被人種了木馬,於是開始了緊張的排查過程: 1)運行ps和top命令 發現了兩個陌生名稱的程序(比如mei34hu)占用了大部分CPU資源,顯然這是別人植入的程序! 果斷嘗試kill掉這兩個進程,kill後,測試機流量明顯降下去。然而不幸的是,不一會兒又恢復了之前的狀態。 2)將IDC這臺測試機的外網關閉。遠程通過跳板機內網登陸這臺機器。 3)查看這些陌生程序所在路徑 查找程序路徑: ls /proc/進程號/exe,然後再次kill掉進程,又會生成一個新的進程名,發現路徑也是隨機在PATH變量的路徑中變換,有時在/bin目錄,有時在/sbin,有時在/usr/bin目錄中。 看來還有後臺主控程序在作怪,繼續查找。 4)嘗試查找跟蹤程序 查看/bin,/sbin,/usr/bin等目錄下是否存在以.開頭的文件名,發現不少,而且部分程序移除後會自動生成。 [root@localhost ~]# ls /usr/bin/. //按Tab鍵補全 ./ ../ .ssh.hmac 這說明還沒找到主控程序。 5)接著用strace命令跟蹤這些陌生程序: [root@localhost ~]# strace /bin/mei34hu 結果發現在跟蹤了這個程序後,它居然自殺了(把自己進程文件幹掉了)!然後想用netstat看下網絡連接情況,結果居然查不到任何對外的網絡連接,於是開始懷疑命令被修改過了。 使用stat 查看系統命令ps、ls 、netstat、pstree等等: [root@localhost ~]# which ps /usr/bin/ps [root@localhost ~]# which ls alias ls='ls --color=auto' /usr/bin/ls [root@localhost ~]# which netstat /usr/bin/netstat [root@localhost ~]# stat /usr/bin/netstat [root@localhost ~]# stat /usr/bin/ps [root@localhost ~]# stat /usr/bin/ls ...... 發現修改時間都是在最近的3天內,這讓我猛然想起傳說中的rootkit用戶態級病毒!! 有可能是這臺測試機剛安裝好系統後,設置了root密碼為123456,之後又把它放到過公網上被人入侵了。 接著查一下它在相關路徑中還放了哪些程序: [root@localhost ~]# find /bin -mtime -3 -type f | xargs rm -f [root@localhost ~]# find /usr/bin -mtime -3 -type f | xargs rm -f [root@localhost ~]# find /use/sbin -mtime -3 -type f | xargs rm -f [root@localhost ~]# find /sbin -mtime -3 -type f | xargs rm -f 將上面查找出的3天前的程序統統都刪掉,並強制斷電,重啟服務器!然而可恨的是這些程序在機器重啟後又好端端的運行以來! 很明顯,這些程序都被設置了開機自啟動 6)查看系統啟動項 [root@localhost ~]# find /etc/rc.d/ -mtime -3 ! -type d 果然這些程序都被設置了開機自啟動。於是,就再來一次刪除,然後暴力重啟服務器。 [root@localhost ~]# find /bin -mtime -3 -type f | xargs rm -f [root@localhost ~]# find /usr/bin -mtime -3 -type f | xargs rm -f [root@localhost ~]# find /use/sbin -mtime -3 -type f | xargs rm -f [root@localhost ~]# find /sbin -mtime -3 -type f | xargs rm -f [root@localhost ~]# find /etc/rc.d/ -mtime -3 ! -type d | xargs rm -f 重啟完服務器後,用top命令查看,系統CPU使用率也不高了。居然這樣就被幹掉了。 7)顧慮到系統常用命令中(如ls,ps等)可能會隱藏啟動進程,這樣一旦執行又會拉起木馬程序。於是再查看下系統中是否創建了除root以外的管理員賬號: [root@localhost ~]# awk -F":" '{if($3 == 0) print $1}' /etc/passwd root 結果發現只輸入了root這一個用戶,說明系統用戶是正常的。 其實,當系統被感染rootkit後,系統已經變得不可靠了,唯一的辦法就是重裝系統了。 8)對於一些常用命令程序的修復思路:找出常用命令所在的rpm包,然後強制刪除,最後在通過yum安裝(由於外網已拿掉,可以通過squid代理上網的yum下載) [root@localhost ~]# rpm -qf /bin/ps [root@localhost ~]# rpm -qf /bin/ls [root@localhost ~]# rpm -qf /bin/netstat [root@localhost ~]# rpm -qf /usr/bin/pstree 然後將上面命令查找出來的rpm包強制卸載 [root@localhost ~]# rpm -e --nodeps ...... [root@localhost ~]# rpm -e --nodeps ...... [root@localhost ~]# rpm -e --nodeps ...... [root@localhost ~]# rpm -e --nodeps ...... 接著再重新安裝 [root@localhost ~]# yum install -y procps coreutils net-tools psmisc 最後重啟下系統即可。除了上面這次排查之外,還可以: 1)結合服務器的系統日誌/var/log/messages、/var/log/secure進行仔細檢查。 2)將可疑文件設為不可執行,用chattr +ai將幾個重要目錄改為不可添加和修改,再將進程殺了,再重啟 3)chkrootkit之類的工具查一下 對於以上這些梳理的木馬排查的思路要清楚,排查手段要熟練。遇到問題不要慌,靜下心,細查系統日誌,根據上面的排查思路來一步步處理,這樣Hacker就基本"投降"了~~~
Linux系統是否被植入木馬的排查流程梳理