Web網站如何查看搜索引擎蜘蛛爬蟲的行為
簡介
本文給大家介紹Linux/Nginx如何查看搜索引擎蜘蛛爬蟲的行為,清楚蜘蛛的爬行情況對做SEO優化有很大的幫助。需要的朋友通過本篇文章學習下吧
摘要
做好網站SEO優化的第一步就是首先讓蜘蛛爬蟲經常來你的網站進行光顧,下面的Linux命令可以讓你清楚的知道蜘蛛的爬行情況。
下面我們針對nginx服務器進行分析,日誌文件所在目錄 /usr/local/nginx/logs/access.log
access.log這個文件記錄的應該是最近一天的日誌情況,首先請看看日誌大小,如果很大(超過50MB)建議別用這些命令分析,因為這些命令很消耗CPU,或者更新下來放到分析機上執行,以免影響網站的速度。
Linux shell命令
1. 百度蜘蛛爬行的次數
cat /var/log/nginx/access.log | grep Baiduspider | wc
最左面的數值顯示的就是爬行次數。
2. 百度蜘蛛的詳細記錄(Ctrl C可以終止)
cat /var/www/log/nginx/access.log | grep Baiduspider
也可以用下面的命令:
cat /var/log/nginx/access.log | grep Baiduspider | tail -n 10
cat /var/log/nginx/access.log | grep Baiduspider | head -n 10
只看最後10條或最前10條,這用就能知道這個日誌文件的開始記錄的時間和日期。
3. 百度蜘蛛抓取首頁的詳細記錄
cat /var/log/nginx/access.log | grep Baiduspider | grep “GET / HTTP”
百度蜘蛛好像對首頁非常熱愛每個鐘頭都來光顧,而谷歌和雅虎蜘蛛更喜歡內頁。
4. 百度蜘蛛派性記錄時間點分布
cat /var/log/nginx/access.log | grep “Baiduspider ” | awk ‘{print $4}‘
5. 百度蜘蛛爬行頁面按次數降序列表
cat /var/log/nginx/access.log | grep “Baiduspider ” | awk ‘{print $7}‘ | sort | uniq -c | sort -r
文中的Baiduspider 改成Googlebot都可以查看谷歌的數據,鑒於大陸的特殊性,大家應該對百度的log更為關註。
附:(Mediapartners-Google)Google adsense蜘蛛的詳細爬行記錄
cat access.log | grep Mediapartners
Mediapartners-Google是什麽呢?Google adsense廣告之所以能與內容相關,因為每個包含著adsense的廣告被訪問後,很快就有個Mediapartners-Google蜘蛛來到這個頁面,所以幾分鐘後再刷新就能顯示相關性廣告了,真厲害啊!
Linux下nginx如何啟用網站日誌,查看蜘蛛爬蟲
默認的路徑是你安裝時候指定的
如果用的LNMP之類的安裝包
你可以在SHELL下
where is nginx
找到相應的路徑之後
在NGINX下的CONF文件夾裏看配置文件,日誌文件如果記錄了話,在配置文件裏有路徑的!
總結!我想學滲透了!
本文出自 “李世龍” 博客,謝絕轉載!
Web網站如何查看搜索引擎蜘蛛爬蟲的行為