網站根目錄robots.txt設定
阿新 • • 發佈：2018-12-11
robots.txt檔案用法舉例
例1. 禁止所有搜尋引擎訪問網站的任何部分
User-agent: *
Disallow: /
例2. 允許所有的robot訪問 (或者也可以建一個空檔案 "/robots.txt" file)
User-agent: *
Disallow:
例3. 禁止某個搜尋引擎的訪問
User-agent: BadBot
Disallow: /
例4. 允許某個搜尋引擎的訪問
User-agent: baiduspider
Disallow:
User-agent: *
Disallow: /
例5.一個簡單例子
在這個例子中，該網站有三個目錄對搜尋引擎的訪問做了限制，即搜尋引擎不會訪問這三個目錄。
需要注意的是對每一個目錄必須分開宣告，而不要寫成 "Disallow: /cgi-bin/ /tmp/"。
User-agent:後的*具有特殊的含義，代表"any robot"，所以在該檔案中不能有"Disallow: /tmp/*" or "Disallow:*.gif"這樣的記錄出現.
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/