Linux系統運維中的十大經典問題及其解決方法
今天在網上看到一些Linux系統維護過程中比較常見且經典的問題及其解決方法,在這裡彙總給大家。
1. 執行shell指令碼報錯”bad interpreter: No such file or directory”
問題:某天研發某同事找我說幫他看看他寫的shell指令碼,死活不執行,報錯。我看了下,指令碼很簡單,也沒有常規性的錯誤,報“: bad interpreter: No such file or directory”錯。一看這錯,我就問他是不是在windows下編寫的指令碼,然後在上傳到linux伺服器的……果然。
原因:在DOS/Windows裡,文字檔案的換行符為rn,而在*nix系統裡則為n,所以DOS/Windows裡編輯過的文字檔案到了*nix裡,每一行都多了個^M。
解決:
2. crontab輸出佔用系統空間
問題:/var/spool/clientmqueue目錄佔用空間超過100G
原因:cron中執行的程式有輸出內容,輸出內容會以郵件形式發給cron的使用者,而sendmail沒有啟動所以就產生了/var/spool/clientmqueue目錄下的那些檔案,日積月累可能撐破磁碟。
解決:1)直接手動刪除:ls |xargs rm -f ; 2)徹底解決:在cron的自動執行語句後加上 >/dev/null 2>&1
3. telnet很慢
問題:某天研發某同事說10.50訪問10.52memcached服務異常,讓我們檢查下看網路/服務/系統是否有異常。檢查發現系統正常,服務正常,10.50ping10.52也正常,但10.50telnet10.52很慢。同時發現該機器的namesever是不起作用的。
原因:because your PC doesn’t do a reverse DNS lookup on your IP then… when you telnet/ftp into your linux box, it’ll do a dns lookup on you。
解決:1)修改/etc/hosts使hostname和ip對應; 2)在/etc/resolv.conf註釋掉nameserver或者找一個“活的”nameserver。
4. Read-only file system
問題:同事在mysql裡建表建不成功,提示如下:
mysql>create table wosontest (colddname1 char(1));
ERROR 1005 (HY000): Can’t create table ‘wosontest’ (errno: 30)
經檢查mysql使用者許可權以及相關目錄許可權沒問題;用perror 30提示資訊為:OS error code 30: Read-only file system
可能原因:1)檔案系統損壞;2)磁碟又壞道;3)fstab檔案配置錯誤,如分割槽格式錯誤錯誤(將ntfs寫成了fat)、配置指令拼寫錯誤等。
解決:1)由於是測試機,重啟機器後恢復;2)網上說用mount可解決。
5. 檔案刪了磁碟空間沒釋放
問題:某天發現某臺機器df -h已用磁碟空間為90G,而du -sh /*顯示所有使用空間加起來才30G,囧。
原因:可能某人直接用rm刪除某個正在寫的檔案,導致檔案刪了但磁碟空間沒釋放的問題
解決:
1)最簡單重啟系統或者重啟相關服務。
2)幹掉程序
/usr/sbin/lsof|grep deleted
ora 25575 data 33u REG 65,65 4294983680 /oradata/DATAPRE/UNDOTBS009.dbf (deleted)
從lsof的輸出中,我們可以發現pid為25575的程序持有著以檔案描述號(fd)為 33開啟的檔案/oradata/DATAPRE/UNDOTBS009.dbf。在我們找到了這個檔案之後可以通過結束程序的方式來釋放被佔用的空間:echo > /proc/25575/fd/33
3)刪除正在寫的檔案一般用 cat /dev/null > file
6. find檔案
問題:在tmp目錄下有大量包含picture_*的臨時檔案,每天晚上2:30對一天前的檔案進行清理。之前在crontab下跑如下指令碼,但是發現指令碼效率很低,每次執行時負載猛漲,影響到其他服務。
#!/bin/sh
find /tmp -name “picture_*” -mtime +1 -exec rm -f {} ;
原因:目錄下有大量檔案,用find很耗資源。
解決:
#!/bin/sh
cd /tmp
time=`date -d “2 day ago” “+%b %d”`
ls -l|grep “picture” |grep “$time”|awk ‘{print $NF}’|xargs rm -rf
7. 獲取不了閘道器mac地址
問題:從2.14到3.65(對映地址2.141)網路不通,但是從3端的其他機器到3.65網路OK。
原因:
# arp
Address HWtype HWaddress Flags Mask Iface
192.168.3.254 ether incomplet CM bond0
表面現象是機器自動獲取不了閘道器MAC地址,網路工程師說是網路裝置的問題,具體不清。
解決:arp繫結,arp -i bond0 -s 192.168.3.254 00:00:5e:00:01:64
8.問題:某天研發某同事說網站前端+1環境http無法啟動,我上去看了下。報如下錯:
/etc/init.d/httpd start
Starting httpd: [Sat Jan 29 17:49:00 2011] [warn] module antibot_module is already loaded, skipping
Use proxy forward as remote ip : true.
Antibot exclude pattern : .*.[(js|css|jpg|gif|png)]
Antibot seed check pattern : login
(98)Address already in use: make_sock: could not bind to address [::]:7080
(98)Address already in use: make_sock: could not bind to address 0.0.0.0:7080
no listening sockets available, shutting down
Unable to open log [FAILED]
原因:
1)埠被佔用:表面看是7080埠被佔用,於是netstat -npl|grep 7080看了下發現7080沒有佔用;
2)在配置檔案中重複寫了埠,如果在以下兩個檔案同時寫了Listen 7080
/etc/httpd/conf/http.conf
/etc/httpd/conf.d/t.10086.cn.conf
解決:註釋掉/etc/httpd/conf.d/t.10086.cn.conf的Listen 7080,重啟,OK。
9. too many open file終極解決方案
echo “” >> /etc/security/limits.conf
echo “* soft nproc 65535″ >> /etc/security/limits.conf
echo “* hard nproc 65535″ >> /etc/security/limits.conf
echo “* soft nofile 65535″ >> /etc/security/limits.conf
echo “* hard nofile 65535″ >> /etc/security/limits.conf
echo “” >> /root/.bash_profile
echo “ulimit -n 65535″ >> /root/.bash_profile
echo “ulimit -u 65535″ >> /root/.bash_profile
最後重啟機器 或者執行 ulimit -u 655345 && ulimit -n 65535
10.ibdata1和mysql-bin
問題:磁碟空間報警,經查發現ibdata1和mysql-bin日誌佔用空間太多(其中ibdata1超過120G,mysql-bin超過80G)
原因:ibdata1是儲存格式,在INNODB型別資料狀態下,ibdata1用來儲存檔案的資料和索引,而庫名的資料夾裡的那些表文件只是結構而已。
innodb儲存引擎有兩種表空間的管理方式,分別是:
1)共享表空間(可拆分為多個小的表空間檔案),這個是我們目前多數資料庫使用的方法;
2)獨立表空間,每一個表有一個獨立的表空間(磁碟檔案)
對於兩種管理方式,各有優劣,具體如下:
①共享表空間:
優點:可以將表空間分成多個檔案存放到不同的磁碟上(表空間檔案大小不受表大小的限制,一個表可以分佈在不同步的檔案上)。
缺點:所有資料和索引存放在一個檔案中,則隨著資料的增加,將會有一個很大的檔案,雖然可以把一個大檔案分成多個小檔案,但是多個表及索引在表空間中混合儲存,這樣如果對於一個表做了大量刪除操作後表空間中將有大量空隙。對於共享表空間管理的方式下,一旦表空間被分配,就不能再回縮了。當出現臨時建索引或是建立一個臨時表的操作表空間擴大後,就是刪除相關的表也沒辦法回縮那部分空間了。
②獨立表空間:在配置檔案(my.cnf)中設定: innodb_file_per_table
特點:每個表都有自已獨立的表空間;每個表的資料和索引都會存在自已的表空間中。
優點:表空間對應的磁碟空間可以被收回(Drop table操作自動回收表空間,如果對於刪除大量資料後的表可以通過:alter table tbl_name engine=innodb;回縮不用的空間。
缺點:如果單表增加過大,如超過100G,效能也會受到影響。在這種情況下,如果使用共享表空間可以把檔案分開,但有同樣有一個問題,如果訪問的範圍過大同樣會訪問多個檔案,一樣會比較慢。如果使用獨立表空間,可以考慮使用分割槽表的方法,在一定程度上緩解問題。此外,當啟用獨立表空間模式時,需要合理調整innodb_open_files引數的設定。
解決:
1)ibdata1資料太大:只能通過dump,匯出建庫的sql語句,再重建的方法。
2)mysql-bin Log太大:
①手動刪除:
刪除某個日誌:mysql>PURGE MASTER LOGS TO ‘mysql-bin.010′;
刪除某天前的日誌:mysql>PURGE MASTER LOGS BEFORE ’2010-12-22 13:00:00′;
②在/etc/my.cnf裡設定只儲存N天的bin-log日誌
expire_logs_days = 30 //Binary Log自動刪除的天數