美國國防部戰略:大規模、分散式,構建數字化防禦體系
【編者按】Ely Kahn曾任職於NSA,在國家安全領域有十年以上的工作經歷,後在Boston創立Sqrrl,提供基於Apache Accumulo的產品,2013年Sqrrl被CRN評為“年度最cool供應商”。Accumulo作為一種可靠、可伸縮、高效能排序分散式的鍵值儲存解決方案,逐漸成為美國政府級應用,Hadoop供應商Cloudera和Hortonworks也加大了對Accumulo的支援,著名GigaOM分析師Derrick Harris為我們做了詳細分析。
CSDN推薦:歡迎免費訂閱《》獲取更多Hadoop技術文獻、大資料技術分析、企業實戰經驗,生態圈發展趨勢。以下為譯文:
Ely Kahn在國家安全領域已有十年以上的工作經歷,包括在交通安全管理、國土安全部和總統行政辦公室,那時他是網路安全部門的負責人。2012年,他加入了一個由前國家安全域性工程師組成的團隊,一起建立了Sqrrl(一個基於開源Accumulo技術的資料庫公司)。Kahn在Structure Show上談論了資訊科技在國家安全領域的一些問題,包括資訊科技的作用、資訊科技的使用者,以及在國家安全領域用到了哪些資料和技術。
這次讓人印象深刻的採訪涵蓋了軟體實現到基礎設施各個方面,其中有一些亮點,包括強化Accumulo的安全性,以及此類基於Hadoop的技術、對關鍵基礎設施故障的應對、用先進分析技術改善網路安全、用大資料打擊網路犯罪等。
稜鏡?其實它只是個數據庫
Kahn說:“Accumulo是NSA企業架構的核心。NSA的大部分分析應用程式都執行在Accumulo上,我不可能對每一個應用都做詳細介紹,因為那樣可能三天三夜也說不完,但最重要的部分,也是人們都已經瞭解的那些部分都應用Accumulo作為後端。”
Accumulo作為NSA企業架構的核心部分,甚至可以說是國家安全戰略的關鍵。雖然檢測可疑行為並定位目標、檢查網路中已知疑犯這些在技術上很容易實現,不過對Kahn所說的“生命分析模式”(patterns of life analysis),NSA還有更大膽的想法:
這些被歸結為異常檢測,也是我們關注的一個重點。如何去建立一種常規模式然後從正常狀態基線檢測異常資料?那確實需要大量的用例......
目前我們在做的很多事情都圍繞著圖分析,建立大量的資料圖使其看起來像特定的用例,然後尋找隨時間變化正常行為模式中的偏差。