[轉]Google和必應都無法替代的10大深網搜尋引擎
當我們想要搜尋某些內容時,我們第一個想到的就是開啟Google、百度或必應這類的搜尋引擎。但針對有些內容,卻是這些常規搜尋引擎無法獲取到的,那就是隱藏在深網的內容。據不完全統計,深網的資訊量為表層網路的500倍。那麼,深網主要都包含了些什麼內容呢?其實,深網主要包括的都是些,例如需要某些條件如註冊、付費,才能訪問的內容,如資料庫和某些服務等。而常規搜尋引擎通常只會對靜態網頁進行抓取,而對於這些儲存在資料庫中的內容,對其而言幾乎是不可見的。其次,當我們使用Google時,Google還可能對我們的活動軌跡進行跟蹤。這對於要求匿名的使用者而言,也是不可接受的。
為什麼Google搜尋不到深網的內容?
這是因為所有的Deb網站(.onion)都是沒有索引的,而正常的搜尋引擎通常都是通過目標網頁索引來獲取內容的。因此對於沒有索引的搜尋結果則不會被Google所收錄。此外,在搜尋過程中還會和伺服器建立連線,這樣對我們的隱私和安全也帶來了一定的隱患。
“據研究人員介紹,只有4%的網際網路對公眾可見,剩下的96%的網站和資料則隱藏在Deep web。”
此外,深網中還包含了許多非法內容,例如毒品,武器交易,高度成熟的黑客工具,色情,軍事機密等。
robots檔案
robots.txt是搜尋引擎中訪問網站的時候要檢視的第一個檔案。robots.txt檔案會告訴蜘蛛程式,在伺服器上什麼檔案是可以被檢視/禁止檢視的。如果某些頁面被設為不可檢視,那麼搜尋引擎也是無法正常獲取到的。
說了這麼多,那麼有沒有既可以保證高度匿名性,又可以獲取到深網內容的搜尋引擎呢?下面,我將為大家推薦十款比Google,必應更加“強大”搜尋引擎:
1. pipl
Pipl是一款為搜尋網路上的人物資訊而生的搜尋引擎。不同於傳統意義上的搜尋引擎,Pipl是專為檢索“深網”上的資訊而設計的。Pipl的爬蟲能夠與可搜尋的資料庫打交道,從中提取個人資訊、聯絡方式、成員名錄、科學出版物、法院記錄以及其它很多“深網”內容。
Pipl目前提供五種方式搜尋方式搜尋特定人物:名字、Email地址、使用者名稱、電話號碼以及還處於BETA版的商業搜尋。
Pipl所關注的不僅僅是找到更多的結果,它還通過高階語言分析和排名演算法將與你搜索關鍵詞最相關最匹配的結果以簡單的單頁形式展示給你。
MyLife是一個全面的成年人資料資料庫,可以根據姓名、年齡、郵編等資訊來查詢你想要找的人。
MyLife的服務可以通過整合Twitter、Facebook、LinkedIn、Friendster和Flickr等社交網站的資料,幫助使用者在網際網路上找人。MyLife使用者是免費註冊,但如果要使用單身搜尋、檢視誰在搜尋自己等高階功能,使用者就需要付費。
MYLIFE網站還推出了一個全新的個人關係管理系統(PRM),是一個基於瀏覽器的服務,讓使用者在同一個內容流裡就能看到Facebook、Twitter和LinkedIn的訂閱源並進行答覆、“贊”、轉推等操作。
3. Yippy
Yippy是一個將多個搜尋引擎資訊結合在一起,然後得出統計結果的整合化搜尋引擎。如果你想檢索暗網的資訊,Yippy便是一個不錯的工具。暗網因其儲存在專用網路而被遮蔽難以發現,而Yippy提供的搜尋結果將幫助你發現不被傳統搜尋引擎檢索到的隱藏網站。
SurfWax是一個元搜尋引擎,能限定最多返回結果條數和排序方法,檢索速度一般。該搜尋引擎有一個顯著特點,即點選每條結果左邊的“網址按鈕”圖示,可瀏覽該結果包括的任何頁面,並顯示搜尋語句在檔案中的位置。可以把搜尋結果和檔案儲存起來以備後用。此外,焦點字(FocusWords)功能提供搜尋詞在各種不同含義下的同義詞/近義詞、上位詞、下位詞的列表,輔助選擇詞語檢索。
通過Wayback Machine可以搜尋某一特定網站過去(從1996年到現在)的樣子。實現對Web過去的存檔要求一百太位元組的儲存空間,幷包含一百億個網頁!網頁存檔起初是由Alexa專案的負責人收集的。你可以在你的電腦上安裝一個提供網站資訊和排名的工具欄。
在Wayback Machine網站上,你可以搜尋和連結你喜歡的網站,看它們過去的樣子,你會發現它們像時間“快照”一樣儲存著。例如,你可以看到whatis.com網站在1996年的樣子,也可以看見它在1997年及以後的樣子。
GoogleScholar學術搜尋專門在期刊論文、理論摘要及其他學術著作文獻中進行搜尋,內容從醫學、物理學到經濟學、電腦科學等等,橫跨多個學術領域以及大量書籍和整個網路中的學術性的文章。它雖然不支援中文,但可以用拼音搜尋國內學者在國際刊物上發表的文章。這個搜尋引擎搜尋國外的資料非常方便,輸入一個學者的名字,就可以搜尋出其全部在網上的文章,並且可以知道在哪個資料庫,以及該篇文章被多少篇其它文章所引用,以及所引用文章的目錄等等。同時該學者所著的書也都有顯示,並告知該書被哪些圖書館所收藏,或其它可能獲得的商業途徑。
GoogleScholar的搜尋結果可以過濾掉普通搜尋結果中的大量垃圾資訊,排列出文章的不同版本以及被其他文章所引用的次數,還可以通過引用連結方便的找到與搜尋結果關聯的其它相關學術資料,對於學生、學者以及其他需要經常查閱學術文章的人來說是非常實用的。
害怕資訊被洩露,想要匿名訪問網際網路?DuckDuckGo將是你的首選!DuckDuckGo不會儲存你的任何瀏覽資訊、社交檔案、郵件等,這也是跟Google最大的區別。DuckDuckGo的使用者非常喜歡像「zero-click」這樣的功能,快速無線下拉設計真的是懶人福利。更棒的是,DuckDuckGo並沒有像Google那麼多廣告,以及經常彈出廣告等問題。DuckDuckGo甚至還配備了自己的Tor出口中繼,幫助Tor使用者提高搜尋效能。
Fazzle是一個支援英文發文和荷蘭文的元搜尋引擎。它即可進行一般的網址搜尋,又有一個主題目錄可提供專題的資源搜尋。其前身為SearchOnline著名元搜尋引擎。
不像其他的Tor搜尋引擎,not Evil是一個不以營利為目的的搜尋引擎。它是專門設計用於搜尋暗網內容的搜尋引擎,堪稱暗網中的谷歌。此外,它的安全性體驗度也做的非常的到位。既沒有多餘的廣告推送,也不會對使用者的搜尋行為進行跟蹤。再加上其不斷更新的搜尋演算法,使用者很容易就能通過它找到想要的內容或資訊。值得一提的是,在此之前該專案被人們廣泛的稱為TorSearch。
StartPage是由Ixquick推出的一個託管在美國和荷蘭的搜尋引擎服務,通過免費匿名代理提供谷歌搜尋和圖片搜尋結果,號稱是世界上最安全的保密型搜尋引擎。該搜尋引擎非常注重把對使用者隱私的保護,它不會收集和分享任何使用者的資料。
在Startpage,Ixquick的隱私與谷歌的搜尋結果緊密相連。你可以放心使用這些來自世界上最受歡迎的搜尋引擎搜尋的結果,並受到Ixquick的隱私保護,這是世界上最大的私有搜尋引擎。並且還受到了第三方權威機構——歐洲的聯盟隱私倡議機構EuroPriSe的認證。 2008年7月14日,Ixquick被授予第一個歐洲隱私認證。