下文均為翻譯+自己的註解和想法
（所有ClickHelp打廣告部分用淺灰色註解）

翻譯：

　　通常，每個網站都有搜尋引擎不應該索引的目錄和頁面。比如，印刷版本的網站頁面，頁面安全系統（註冊、身份驗證），可能還有目錄管理員資原始檔夾,各種技術資料夾。此外，網站管理員可能想給索引搜尋引擎提供更多的資訊。例如，sitemap.xml檔案的位置。
　　所有這些任務都是通過robots.txt檔案執行。這僅僅是一個文字檔案的一個特定的格式，你把它放在您的網站上（到主目錄），網路爬蟲知道如何正確地索引網站內容。此檔案格式完全規範，可在谷歌開發者入口網站找到。時，谷歌網站管理員工具提供確保你正確的建立檔案，這個功能是在爬封鎖網址段robots.txt檔案分析工具。所以，如果你看到你的網站在搜尋結果中顯示出一些奇怪的頁面，或標記為在搜尋引擎您使用網站管理員工具索引，你可以很容易地解決這個問題通過建立一個robots.txt檔案。有很多工具在網際網路上，可以幫助您生成正確的檔案內容。
　　請注意：robots.txt檔案並不是一種保護敏感頁面的方法。這只是一組網路爬蟲會確保他們指數有用的內容，而不是服務頁面。您限制在檔案中的網頁將保持直接URL訪問，但不會被索引。
　　
　　Robots.txt 和 線上文件

自己的想法：

請注意：robots.txt檔案並不是一種保護敏感頁面的方法。這只是一組網路爬蟲會確保他們指數有用的內容，而不是服務頁面。您限制在檔案中的網頁將保持直接URL訪問，但不會被索引。