定義

網站地圖，又稱站點地圖，它就是一個頁面，上面放置了網站上需要搜尋引擎抓取的所有頁面的連結（注：不是所有頁面）。大多數人在網站上找不到自己所需要的資訊時，可能會將網站地圖作為一種補救措施。搜尋引擎蜘蛛非常喜歡網站地圖。

功能

網站地圖是一個網站所有連結的容器。很多網站的連線層次比較深，蜘蛛很難抓取到，網站地圖可以方便搜尋引擎蜘蛛抓取網站頁面，通過抓取網站頁面，清晰瞭解網站的架構，網站地圖一般存放在根目錄下並命名為sitemap，為搜尋引擎蜘蛛指路，增加網站重要內容頁面的收錄。網站地圖就是根據網站的結構、框架、內容，生成的導航網頁檔案。大多數人都知道網站地圖對於提高使用者體驗有好處：它們為網站訪問者指明方向，並幫助迷失的訪問者找到他們想看的頁面。對於SEO，網站地圖的好處就更多了：

1．為搜尋引擎蜘蛛提供可以瀏覽整個網站的連結簡單的體現出網站的整體框架出來給搜尋引擎看；

2．為搜尋引擎蜘蛛提供一些連結，指向動態頁面或者採用其他方法比較難以到達的頁面；

3．作為一種潛在的著陸頁面，可以為搜尋流量進行優化：如果訪問者試圖訪問網站所在域內並不存在的URL，那麼這個訪問者就會被轉到“無法找到檔案”的錯誤頁面，而網站地圖可以作為該頁面的“準”內容。

構建技巧

網站地圖的作用非常重要，它不僅要滿足訪問使用者的需求，還要取悅搜尋引擎蜘蛛。在設計上也有一些技巧來讓使用者和蜘蛛都獲得滿意：

1．網站地圖要包含最重要的一些頁面

如果網站地圖包含太多連結，人們瀏覽的時候就會迷失。因此如果網站頁面總數超過了100個的話，就需要挑選出最重要的頁面。建議挑選下面這些頁面放到網站地圖中去：

1）產品分類頁面。

2）主要產品頁面。

3）FAQ和幫助頁面。

4）位於轉化路徑上的所有關鍵頁面，訪問者將從著陸頁面出發，然後沿著這些頁面實現轉化。

5）訪問量最大的前10個頁面。

6）如果有站內搜尋引擎的話，就挑選出從該搜尋引擎出發點擊次數最高的那些頁面。

2．網站地圖佈局一定要簡潔，所有的連結都是標準的HTML文字，並且要儘可能多的包含關鍵字。

不要使用圖片來做網站地圖裡的連結，這樣蜘蛛就不能跟隨了。一定要使用標準的HTML文字來做連結，連結中要包括儘可能多的目標關鍵字。比如：可以使用“無公害除草劑、殺蟲劑和殺菌劑”來代替“我們的產品”為標題。

3． 儘量在站點地圖上增加文字說明

增加文字會給蜘蛛提供更加有索引價值的內容，以及有關內容的更多線索。

4． 在每個頁面裡面放置網站地圖的連結

使用者一般會期望每個頁面的底部都有一個指向網站地圖的連結，你可以充分利用人們的這一習慣。如果網站有一個搜尋欄的話，那麼可以在這個搜尋欄的附近增加一個指向網站地圖的連結，甚至可以在搜尋結果頁面的某個固定位置放置網站地圖的連結。

5． 確保網站地圖裡的每一個連結都是正確、有效的

如果在網站地圖裡出現的連結是斷鏈和死鏈，對搜尋引擎的影響是非常不好的。如果連結比較少，你可以把所有的連結都點一遍，以確保每一個連結是有效的。如果連結比較多，可以使用一些連結檢查工具來檢測。

6． 可以把sitemap寫進robots.txt裡

在引擎爬蟲進來抓取網頁的時候，會首先檢視robots.txt、如果首先把sitemap寫進robots.txt裡那麼在效率上會大大提高，從而獲得搜尋引擎的好感。

生成提交

網上有很多sitemap地圖生成的方法，比如線上生成、軟體生成等，sitemap地圖可以提交給各大搜索引擎，從而使搜尋引擎更好的對網站頁面進行收錄，我們也可以通過robots.txt來告訴搜尋引擎地圖的位置。將製作好的網站地圖上傳至網站根目錄下，最關鍵是把網站地圖連結地址加入在robots檔案中以及做好網站地圖在頁面方便蜘蛛抓取的位置，一般把網站地圖放在頁首和頁尾位置。

1．普通Html格式的網站地圖

它的目的是幫助使用者對站點的整體有個把握。Html格式的網站地圖根據網站結構特徵制定，儘量把網站的功能結構和服務內容富有條理地列出來。一般來說，網站首頁有一個連結指向該格式的網站地圖。

2．XML Sitemap 通常稱為Sitemap（首字母大寫 S）

簡單來講，Sitemap 就是網站上鍊接的列表。製作Sitemap，並提交給搜尋引擎可以使網站的內容完全被收錄，包括那些隱藏比較深的頁面。這是一種網站與搜尋引擎對話的好方式

3．搜尋引擎識別的地圖

因為每個搜尋引擎主要識別地圖格式效果不同，建議分別採用以下格式：

百度：建議使用Html格式的網站地圖

Google：建議使用Xml格式的網站地圖

Yahoo：建議使用Txt格式的網站地圖

重要性

1、搜尋引擎每天都是讓蜘蛛在網際網路爬行來抓取頁面，網站地圖的作用就是給蜘蛛爬行構造了一個方便快捷的通道，因為網站頁面是一層一層的連結的，其中可能會存在死連結的情況，如果沒有網站地圖，蜘蛛爬行在某個頁面就因死連結爬行不了，那麼就不能收錄那些斷連結的頁面，更別說快速的收錄了！

2、網站地圖的存在不僅是滿足搜尋引擎蜘蛛的檢視，更多是方便網站訪客來瀏覽網站，特別是例如門戶型網站由於資訊量太多很多訪客都是通過網站地圖來尋找到自己需要的資訊頁面，這也能很好的提高使用者體驗度

3、網站地圖可以提高連結頁面的權重，因為網站地圖是指向其他頁面的連結，此時網站地圖就給頁面增加了匯入連結，大家知道匯入連結的增加會影響到頁面的權重，從而提高頁面的權重，頁面權重的提高同時會提高頁面的收錄率。

注意要點

真實有效

地圖的主要目的是方便搜尋引擎蜘蛛抓取的，如果地圖存在死鏈或壞鏈，會影響網站在搜尋引擎中網站權重的，所以要仔細檢查有無錯誤的連結地址，提交前通過站長工具，檢查網站的連結是否有效。

簡化

網站地圖不要出現重複的連結，要採用標準W3C格式的地圖檔案，佈局要簡潔，清晰，如果地圖是內容式地圖，每頁不要超過100內容個連結，採用分頁的形式，逐一開來，這樣方便搜尋引擎蜘蛛逐頁爬行。

更新

建議經常更新網站地圖，便於培養搜尋引擎蜘蛛爬行的頻率。經常有新的地圖內容生成，長期以來，蜘蛛就會更關注，培養蜘蛛的爬行規則。這樣網站內容能更快的被搜尋引擎抓取收錄，網站內容也可以早日被搜尋引擎檢索。

多樣性

網站地圖不僅僅是給搜尋引擎來看的，而SEO的根本目的也是方便瀏覽者，所以網站地圖最好兼顧搜尋引擎的同時也要兼顧瀏覽者。我們通常為一個網站建3個網站地圖。sitemap.html 頁面精美，簡潔大方，讓瀏覽者方便找到目標頁面的同時也心情愉悅。.XML 認真研究自己的網站，把重要的頁面標註出來，把不需要納入的頁面 加上NO FOLLOW 這樣更有利於搜尋引擎辨別。URLLIST.TXT 或者ROBOTS.TXT 如果方便最好做一下，yahoo等搜尋引擎比較認可，谷歌也有這個專案。
另外在robots文本里要寫好網站地圖位置即格式。

分類

網站地圖分為html地圖和xml地圖。

1、html網站地圖是百度搜索引擎喜歡的網站地圖，也是其他搜尋引擎都喜歡的網站地圖。

2、xml網站地圖是谷歌喜歡的網站地圖。

使用方法

第一步：新增網站，驗證網站歸屬，等待稽核

登入後點擊“新增網站”。若網站刪除或更換域名，則需重新提交。

點選“驗證此網站”,選擇驗證方式並獲取驗證檔案，完成驗證。

驗證方式一：檔案驗證

驗證方式二：HTML標籤驗證

等待管理員稽核。主要稽核網站屬性、網站內容質量等。稽核最長可能需要一天時間。

第二步：通過點選“資料管理”，新增新資料

如何新增新資料

選擇資料的型別，根據型別對應的xml格式規範部署您的資料檔案。

為您的資料指定更新週期。

按照xml格式規範部署好檔案後，在位址列填寫檔案存放地址，點選提交即可。

我們對檔案的處理時間長短將視檔案大小而定。

如何手動更新已提交的資料　·如果您想在指定更新週期以外，手動通知我們資料有更新，可以在“資料管理”頁面選中要手動更新的檔案並點選“更新所選”即可。

如果資料存在錯誤或不符合協議格式，則狀態列會顯示為錯誤，請參考平臺提示修改並更新。

您可通過平臺檢視資料的統計資訊，包括已抓取數量，最新處理時間等。

注：百度對已提交的資料，不保證一定會抓取及索引所有網址，並且不保證其排名。

生成工具

1、Xenu Link Sleuth

可同時生成html格式地圖（適用於小型站點）和XML格式地圖。

2、XML Sitemap

線上生成工具，網站地址很多時，會比較浪費時間，想生成所有，則需要收費。

3、Sitemap Generator

強大的sitemap生成器，需下載安裝客戶端。

建立流程

1、在網站地圖的文字和超級連結裡提及最主要的關鍵詞短語，幫助搜尋引擎來識別，所連結的頁面主題是什麼。
　　2、為每一個連結提供一個簡短的介紹，以提示訪問者這部分內容是關於哪方面的。
　　3、提供文字連結到你站點上最主要的頁面上；根據您的網站大小，網頁數目的多少，它甚至可以連結到您所有的頁面。
　　4、為搜尋引擎提供一條綠色通道，使搜尋引擎程式把您的主要網頁迅速收錄進去。
　　5、當用戶查尋在您網站上原來看過的相關資訊時，告訴他們如何去查詢。只要在這一個網頁內就可以得到所有希望查詢的內容連結。
　　6、幫助搜尋引擎輕鬆索引一些動態頁面。由於一些頁面將是動態產生，如果不是使用者行為呼叫，將不會顯示出來，您可以將此連結放在您的網站地圖上，以幫助搜尋引擎來索引您重要的動態頁面。
　　7、建立網站地圖後，當訪問者訪問網站時，可以輕鬆找到他們所需要的內容；當搜尋引擎蜘蛛爬行網站時，可以快速訪問整個站點。為了使圖吸引網路蜘蛛與訪問者，一定要在連結後寫上一定的描述性的短句和與此連結相關的關鍵詞，切記不要使用過多的關健詞。當訪問者感覺到地圖好用時，搜尋引擎也同樣能正確地理解地圖的意義。不管網站的大小，頁面的多少，給網站新增一個網站地圖，這是非常必要的。

（一）針對網站程式，不考慮伺服器。

一、查詢注入，注意資料庫使用者許可權和站庫是否同服。
 

二、查詢XSS，最近盲打很流行，不管怎樣我們的目的是進入後臺。
 

三、查詢上傳，一些能上傳的頁面，比如申請友鏈、會員頭像、和一些敏感頁面等等，注意檢視驗證方式是否能繞過，注意結合伺服器的解析特性，比如典型的IIS6.0、阿帕奇等。
 

四、查詢編輯器，比較典型的ewebeditor、fckeditor等等。
 

五、查詢phpmyadmin等管理程式，可以嘗試弱口令，或者尋找其漏洞。
 

六、百度、谷歌搜尋程式公開漏洞。
 

七、猜解檔案，如知道某檔案為admin_login.php,我們可嘗試admin_add.php、admin_upload.php檔案是否存在，也可以谷歌搜尋site:cnseay.com inurl:edit等等，很多時候可以找到一些敏感檔案，接著看是否驗證許可權或能否繞過驗證，這像冰風說高階語法。
 

八、會員註冊、修改、刪除、評論等一切需要操作資料庫的地方記得加單引號之類檢視是否存在insert、update等型別注入。
 

九、會員或低許可權管理登陸後可抓包分析，嘗試修改超級管理員密碼，許可權提升。
 

十、通常有下載功能的站我們可以嘗試修改下URL檔名，看能否下載站點敏感檔案，如資料庫配置檔案等，資料庫不可外連情況下可以嘗試資料庫密碼登陸後臺，也可下載上傳、登陸驗證等檔案進行程式碼審計。
 

十一、備份檔案和後門，某些主站子目錄存在分站，比如www.cnseay.com/seay/，我們可以嘗試www.cnseay.com/seay.rar/zip等壓縮檔案是否存在，可能就是子站的原始碼。也有一些站類似這樣www.cnseay.com/old/，一般都是以前的老站，通常老站會比較容易拿。還有就是資料庫備份、前人的後門等，具體這些目錄上的東西就要看你的字典了。
 

十二、0day漏洞，不管是別人給你的，還是自己挖的，總之好使就行。
 

（二）針對伺服器

一、通常先掃下伺服器開放的埠，再考慮對策。
 

二、比較常見的解析漏洞，比如IIS6.0、阿帕奇、nginx/IIS7.0(php-fpm)解析漏洞等，還有就是cer、asa之類的解析，.htaccess檔案解析配置等。
 

三、弱口令和everyone許可權，先掃描伺服器開放的埠，比如21對應的FTP、1433對應的MSSQL、3306對應的MYSQL、3389對應的遠端桌面、1521對應的Oracle等等，平時可以多蒐集下字典，有時候效果也是不錯的(通常在cain嗅探的時候，經常能嗅到別人不停的掃…很蛋疼)。

相關推薦