scrapy遇到Couldn't bind: 24: Too many open files.錯誤的解決
阿新 • • 發佈：2019-01-17
編輯 所有 解決 socket 回收 系統 int 探測 句柄
現象為爬蟲日誌報出Couldn‘t bind: 24: Too many open files.錯誤，netstat -natep | grep 代理端口 或爬蟲進程ID，有大量ESTABLISHED的連接。
Socket error 10024，具體錯誤信息就是Too many open files 。
由於爬蟲使用了代理，每次請求切換一次代理IP，代理連接有時會發生異常，在爬蟲高並發的情況下，會產生許多由於代理連接異常導致的半連接假死連接，這些連接系統在進行keepalive探測後會進行回收，但如果回收速度過慢的話，達到最大文件句柄數後所有request請求就無法建立連接，就會報出 Too many open files。
解決辦法：
修改系統最大文件句柄數；
編輯sysctl.conf，添加或修改一下幾個參數：
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_intvl = 15
net.ipv4.tcp_keepalive_time = 120
net.ipv4.tcp_retries1 = 3
net.ipv4.tcp_retries2 = 15
net.ipv4.tcp_syn_retries = 6
net.ipv4.tcp_synack_retries = 5
保存退出並sysctl -p，使修改生效。
原創文章，轉載請標明出處。
scrapy遇到Couldn't bind: 24: Too many open files.錯誤的解決