kudu tablet server出現異常退出(Too many open files)
阿新 • • 發佈:2018-12-15
某臺tablet server 在停機一斷時間後,再次啟動,某些tablet server出現異常退出,檢視日誌報錯: 開啟資料檔案 報”Too many open files ” 錯誤。 該錯誤明顯開啟的檔案控制代碼數,超過系統設定的ulimit數。 ulimit -a檢視:open files (-n) 65536 已經為65536了,說明tablet server開啟的控制代碼數超過65536個檔案。
[[email protected] data]# ulimit -a core file size (blocks, -c) 0 data seg size (kbytes, -d) unlimited scheduling priority (-e) 0 file size (blocks, -f) unlimited pending signals (-i) 514986 max locked memory (kbytes, -l) unlimited max memory size (kbytes, -m) unlimited open files (-n) 65536 pipe size (512 bytes, -p) 8 POSIX message queues (bytes, -q) 819200 real-time priority (-r) 0 stack size (kbytes, -s) 8192 cpu time (seconds, -t) unlimited max user processes (-u) unlimited virtual memory (kbytes, -v) unlimited file locks (-x) unlimited
檢視程序開啟的檔案: ls /proc/進行ID/fd 開啟的檔案控制代碼超過6萬多
解決辦法:有如下二個
- 修改系統的檔案數限制。
- 在CDH上修改 kudu檔案控制代碼配置(採用了該方法)。 直接在cdh上修改kudu的配置,將“最大程序檔案描述符”設定為: 257447 這樣kudu最大能同時開啟25萬個檔案。