1. 程式人生 > >MapReduce實現大矩陣乘法

MapReduce實現大矩陣乘法

大矩陣乘法為何重要?這個時代(我就不說那個被媒體用爛了的噁心詞彙了),在海量資料中淘金,已是各大網際網路公司的既定目標,亞馬遜是資料化運營的成功典範,Google、百度投巨資用於對海量資料進行深度學習(Deep Learning)研究,阿里把資料與平臺、金融並列成為未來三大戰略。話扯得有點大而遠,但任何偉大的戰略,最終都要落地到非常細粒度的具體操作上。我們想在海量資料中淘到金子,強大的挖掘工具是必不可少的,而諸如迴歸、聚類、主成分分析、決策樹等資料探勘演算法常常涉及大規模矩陣運算。這其中,大矩陣乘法具有較大的時間消耗,是演算法的瓶頸。張俊林的文章[2]用到了譜聚類演算法,其中有個重要步驟是將相似度矩陣轉換為拉普拉斯矩陣,這就需要用到大矩陣乘法。很酷有沒有!大矩陣乘法運算可以從根基上影響資料戰略的實施,它比那些大而空的廢話重要千百萬倍。