需求

由於最近網頁庫越來越大，搜尋到的結果經常遇到重複，並且結合新聞搜尋的需求，需要計算出哪些新聞是被轉載的。因此最近開始尋求一個比較好的網頁指紋計算方案。經過一番調查，發現谷歌的網頁指紋計算方法simhash方法比較實用。於是在搞清楚理論的基礎上，動手實現一下這個演算法。

理論基礎

實現分析

 hadoop叢集效能

 我在60臺hadoop叢集上對5T資料進行分詞計算指紋，需要2分鐘時間。分詞我是用的IK分詞。當然，接下來要實際應用中要選擇帶有詞性的分詞，這個有利於特徵選取，畢竟這個時間要求不是特別嚴格，指紋計算屬於線下計算過程。

提交測試組測試結果

測試結果如下：

1 測試目的
1、	能計算指紋
2、	相同正文計算出來的指紋應該相同
3、	相似正文計算出來的指紋應該相似
2 名詞解釋
3 測試約束
4 測試時間
5 測試環境
Server：10.10.224.19，路徑/application/search/simhash
6 測試結果
6.1 不相關的內容
Content1 = 新華社上海12月11日電(記者厲正巨集　吳晶)在錢學森同志誕辰100週年之際,錢學森圖書館11日在上海交通大學建成開館。中共中央總書記、國家主席、中央軍委主席胡錦濤對錢學森圖書館建成開館作出重要指示。　　胡錦濤總書記指出,錢學森同志是享譽海內外的傑出科學家、我國航天事業的奠基人、愛國知識分子的優秀典範,在國家經濟、科技、國防建設中貢獻突出、功勳卓著。他強調,建立錢學森圖書館是一件很有意義的事情。要充分發揮這個圖書館在開展思想教育、普及科學知識、培養優秀人才等方面的積極作用,進一步引導廣大幹部群眾特別是青年教師和學生,努力學習錢學森同志愛黨愛國的政治品格、嚴謹求實的科學態度、開拓進取的創新精神、無私奉獻的高尚情操,共同為推進中國特色社會主義事業而不懈奮鬥。　　中共中央政治局常委李長春專程到上海出席錢學森圖書館開館儀式,併為錢學森塑像揭幕。開館儀式結束後,李長春參觀了館內的錢學森事蹟展覽。這個展覽分為“中國航天事業奠基人”、“科學技術前沿的開拓者”、“人民科學家風範”、“戰略科學家的成功之道”四個部分,全面展示了錢學森同志奮鬥、奉獻的一生。在一件件珍貴文獻、實物和圖片前,李長春不時駐足仔細觀看,認真聽取講解員的介紹。李長春說,胡錦濤總書記的重要指示對錢學森同志的光輝業績和崇高品德給予了高度評價,對充分發揮錢學森圖書館的積極作用提出了明確要求,我們一定要認真學習、深入貫徹。　　要進一步做好有關錢學森文獻、實物和資料的徵集工作,把錢學森同志留下的寶貴精神財富蒐集好、整理好、展示好,突出思想內涵,增強教育意義,使這個圖書館成為宣傳錢學森同志科學成就、高尚品德和愛國情懷的重要平臺,成為青年教師和學生接受愛國主義教育和勵志教育的重要課堂,成為在全社會培養科學精神和創新精神的重要基地,成為展示中國人民自力更生、奮發圖強精神風貌的重要視窗,激勵廣大幹部群眾特別是科技工作者在提高自主創新能力、建設創新型國家程序中勇攀高峰,作出更大貢獻。　　中共中央政治局委員、國務委員劉延東出席開館儀式並講話。劉延東說,胡錦濤總書記的重要指示高屋建瓴、思想深刻,為學習宣傳錢學森同志先進事蹟和崇高精神指明瞭方向。我們要認真貫徹落實胡錦濤總書記的重要指示精神,通過建設和用好錢學森圖書館等教育基地,不斷髮揚光大錢學森等老一輩科學家的崇高精神和光榮傳統,為建設中國特色社會主義偉大事業作出新的更大貢獻。　　中共中央政治局委員、上海市委書記俞正聲出席開館儀式。　　開館儀式由教育部部長袁貴仁主持。解放軍總裝備部政委王洪堯、上海市委副書記殷一璀、上海交通大學黨委書記馬德秀、錢學森之子錢永剛在儀式上先後發言。
content1 fingerprinter = 9223372036579524605
Content2 = Mac OS X v10.4 TigerWelcome to Tiger (PDF)The official user's guide to the Tiger experience.Support CommunitiesSeek help from other Mac OS X v10.4 Tiger users.Software UpdateGet the latest updates to your Mac OS X v10.4 Tiger software.DownloadsManualsSystem RequirementsSee all Support Topics Top Support Topics■I can't receive email■I can't send email■Help with setting up your email accounts■Helpful tips and support for bundled & 3rd party products■Connecting to the Internet with a cable modem■Connecting to the Internet with DSLHow To■Using Mac OS X Mail■Connecting to the Internet■Reset password■Lock your computer screen■Printing & faxing■Accounts, passwords & security■Install Mac OS X 10.4 Tiger■Connecting to networks and sharing your computer■Install Parallels with Windows XP■Play WMA files■Boot Camp overview■Remove Microsoft Office v.X Test DriveFeatures■Mail■iChat■QuickTime■Safari■iSync■iCal■Address Book■Classic EnvironmentAdditional Features.--------------------------------------------------------------------------------Troubleshooting■Mac OS X: Updating your software■Troubleshooting a cable modem, DSL, or LAN Internet connection■Information and download■Apple keyboard mapping in Windows■Mac OS X keyboard shortcuts■Battery not recognized or "X" icon appears on menu bar■Well known TCP and UDP ports used by Apple software products■Issues sending messages in Mail or other email applications■Error message when synching phone via Bluetooth in Mac OS X 10.4.9 or later■Popping sounds after updating to Mac OS X 10.4.10More.Support Communities Discuss Tiger topics with other users in our customer forums. ■Installation & Setup■Mail & Address Book■Getting Online & Networking■Administration, Accounts & Login■Printing & Faxing ■Using Mac OS X Tiger 
content2 fingerprinter = 9222807978594205299
content1 content2 distance = 14

6.2 內容相同
Content1 = 新華社上海12月11日電(記者厲正巨集　吳晶)在錢學森同志誕辰100週年之際,錢學森圖書館11日在上海交通大學建成開館。中共中央總書記、國家主席、中央軍委主席胡錦濤對錢學森圖書館建成開館作出重要指示。….
content1 fingerprinter = 9223372036579524605
Content2 = 新華社上海12月11日電(記者厲正巨集　吳晶)在錢學森同志誕辰100週年之際,錢學森圖書館11日在上海交通大學建成開館。中共中央總書記、國家主席、中央軍委主席胡錦濤對錢學森圖書館建成開館作出重要指示。….
content2 fingerprinter = 9223372036579524605
content1 content2 distance = 0

6.3 內容相似（包含）
Content1 = 新華社上海12月11日電(記者厲正巨集　吳晶)在錢學森同志誕辰100週年之際,錢學森圖書館11日在上海交通大學建成開館。中共中央總書記、國家主席、中央軍委主席胡錦濤對錢學森圖書館建成開館作出重要指示。　　胡錦濤總書記指出,錢學森同志是享譽海內外的傑出科學家、我國航天事業的奠基人、愛國知識分子的優秀典範,在國家經濟、科技、國防建設中貢獻突、功勳卓著。他強調,建立錢學森圖書館是一件很有意義的事情。要充分發揮這個圖書館在開展思想教育、普及科學知識、培養優秀人才等方面的積極作用,進一步引導廣大幹部群眾特別是青教師和學生,努力學習錢學森同志愛黨愛國的政治品格、嚴謹求實的科學態度、開拓進取的創新精神、無私奉獻的高尚情操,共同為推進中國特色社會主義事業而不懈奮鬥。　　中共中央政治常委李長春專程到上海出席錢學森圖書館開館儀式,併為錢學森塑像揭幕。開館儀式結束後,李長春參觀了館內的錢學森事蹟展覽。這個展覽分為“中國航天事業奠基人”、“科學技術前沿的拓者”、“人民科學家風範”、“戰略科學家的成功之道”四個部分,全面展示了錢學森同志奮鬥、奉獻的一生。在一件件珍貴文獻、實物和圖片前,李長春不時駐足仔細觀看,認真聽取講解員的介紹。李長春說,胡錦濤總書記的重要指示對錢學森同志的光輝業績和崇高品德給予了高度評價,對充分發揮錢學森圖書館的積極作用提出了明確要求,我們一定要認真學習、深入貫徹。　　要進一步做好有關錢學森文獻、實物和資料的徵集工作,把錢學森同志留下的寶貴精神財富蒐集好、整理好、展示好,突出思想內涵,增強教育意義,使這個圖書館成為宣傳錢學森同志科學成就高尚品德和愛國情懷的重要平臺,成為青年教師和學生接受愛國主義教育和勵志教育的重要課堂,成為在全社會培養科學精神和創新精神的重要基地,成為展示中國人民自力更生、奮發圖強精神風貌的重要視窗,激勵廣大幹部群眾特別是科技工作者在提高自主創新能力、建設創新型國家程序中勇攀高峰,作出更大貢獻。　　中共中央政治局委員、國務委員劉延東出席開館儀式並講話劉延東說,胡錦濤總書記的重要指示高屋建瓴、思想深刻,為學習宣傳錢學森同志先進事蹟和崇高精神指明瞭方向。我們要認真貫徹落實胡錦濤總書記的重要指示精神,通過建設和用好錢學森圖書館等教育基地,不斷髮揚光大錢學森等老一輩科學家的崇高精神和光榮傳統,為建設中國特色社會主義偉大事業作出新的更大貢獻。　　中共中央政治局委員、上海市委書記俞正聲出席開館式。　　開館儀式由教育部部長袁貴仁主持。解放軍總裝備部政委王洪堯、上海市委副書記殷一璀、上海交通大學黨委書記馬德秀、錢學森之子錢永剛在儀式上先後發言。
content1 fingerprinter = 9223372036579524605
Content2 = 新華社上海12月11日電(記者厲正巨集　吳晶)在錢學森同志誕辰100週年之際,錢學森圖書館11日在上海交通大學建成開館。中共中央總書記、國家主席、中央軍委主席胡錦濤對錢學森圖書館建成開館作出重要指示。　　胡錦濤總書記指出,錢學森同志是享譽海內外的傑出科學家、我國航天事業的奠基人、愛國知識分子的優秀典範,在國家經濟、科技、國防建設中貢獻突、功勳卓著。他強調,建立錢學森圖書館是一件很有意義的事情。要充分發揮這個圖書館在開展思想教育、普及科學知識、培養優秀人才等方面的積極作用,進一步引導廣大幹部群眾特別是青教師和學生,努力學習錢學森同志愛黨愛國的政治品格、嚴謹求實的科學態度、開拓進取的創新精神、無私奉獻的高尚情操,共同為推進中國特色社會主義事業而不懈奮鬥。
content2 fingerprinter = 8070441718968745849
content1 content2 distance = 7
6.4 處理效率
處理效率= （內容1字數 + 內容2字數）×重複次數 / 時間
CONTENTTYPE	效率（字/秒）
中英	2211612
中文	1247368

6.5 遺留問題（mantis：0002933）
問題
<正文指紋>當幾乎相同的正文內容中有不同的數字、字母（全半形）時，指紋相差較大

現象
Content1 = 新華社上海12月11日電(記者厲正巨集　吳晶)在錢學森同志誕辰100週年之際,錢學森圖書館11日在上海交通大學建成開館。中共中央總書記、國家主席、中央軍委主席胡錦濤對錢學森圖書館建成開館作出重要指示。
content1 fingerprinter = 1724377254170442105
Content2 = 新華網上海１２月１１日電（記者厲正巨集、吳晶）在錢學森同志誕辰１００週年之際，錢學森圖書館１１日在上海交通大學建成開館。中共中央總書記、國家主席、中央軍委主席胡錦濤對錢學森圖書館建成開館作出重要指示。
content2 fingerprinter = 6340984712413559161
content1 content2 distance = 2
原因分析
分詞結果中沒有權重資訊，導致所有內容權重相同，對結果影響較大。
7 結果分析
1、	功能上滿足設計需求；
2、	每秒處理效率可以達到一百萬字以上。