搜索引擎限制　　

　　user_agent收入的搜索引擎，在搜索引擎中，我們通過百度，谷歌很容易就可以查到相關的一些資料，方便了我們對知識的查找，但在某些特定情況下，我們並不希望有人可以通過某寫搜索引擎直接訪問到我們的網頁。舉例如果我開放了一個公網的服務，這個網頁帶寬很小，只能容納幾個人訪問，所有在這種條件下我們並不希望更多的人通過百度，或者谷歌訪問這個頁面，來消耗我們的帶寬，在這裏我們就可以通過rewirete功能針對%

• {HTTP_USER_AGENT}搜索引擎進行限制。
• %{REQUEST_URI}：網頁鎖定URI文件

方式一

vim httpd-vhosts.conf

 
<ifModule mod_rewrite.c>
    # 開啟功能模塊
    RewriteEngine on
    # 指定引擎*Firefox/4.0
    RewriteCond %{HTTP_USER_AGENT} ^.*Firefox/4.0* [NC,OR]
    # 指定引擎Tomato Bot/1.0
    RewriteCond %{HTTP_USER_AGENT} ^.*Tomato Bot/1.0* [NC]
    # 防止死循環、不匹配404跳轉到這裏
    RewriteCond %{REQUEST_URI} !^/404*
    # 如果指定到搜索引擎就報404錯誤
 

    RewriteRule .* /404.html
</ifModule>

註：請註意，你的404.html千萬別在天傳到其他頁面了，否則很可能就會死循環。

註：其實rewrite到404.html並不是很好的辦法，而apache的rewrite功能有意向就是forbidden，那就是F。

方式二

vim httpd-vhosts.conf

<ifModule mod_rewrite.c>
    # 開啟功能模塊
    RewriteEngine on
    # 指定引擎*Firefox/4.0
    RewriteCond %{HTTP_USER_AGENT} ^.*Firefox/4.0* [NC,OR]
    
 
# 指定引擎Tomato Bot/1.0    
    RewriteCond %{HTTP_USER_AGENT} ^.*Tomato Bot/1.0* [NC]         
    # 如果指定到搜索引擎就顯示forbidden
    RewriteRule .* - [F]
</ifModule>

Apache 搜索引擎限制配置