最近在開發一版基於協同過濾演算法的推薦系統，需要用到歷史7天的搜尋和所有歷史訂單資料，幾十億的資料參與運算。採用spark2.0.2版本的mllib.linalg.distributed模組。

該模組包含BlockMatrix，CoordinateMatrix，IndexedRowMatrix，RowMatrix四種矩陣，各矩陣之間可通過BlockMatrix相互轉化，BoockMatrix矩陣實現了矩陣乘法，CoordinateMatrix實現了各維度間的餘弦相似度，後發現該模組有以下問題待完善：

    1． CoordinateMatrix 的columnSimilarities()方法用來計算每兩列之間的餘弦相似度，原始資料為n*31的矩陣，計算每兩列的餘弦相似度，理論上得到一個31*31的對稱矩陣，對角線值為1（相同維度餘弦相似度為1），及31*31=961個值，實際得到的是一個上三角稀疏矩陣，只有465個值，後續如果直接使用該矩陣運算就會造成維度減少以及資料不準確的問題。

    2． BlockMatrix multiply求矩陣乘法時，官網上給出下面一段註釋

If other contains SparseMatrix, they willhave to be converted to a DenseMatrix.The output BlockMatrix will only consist of blocks of DenseMatrix. This maycause some performance issues until support for multiplying two sparse matricesis added.

就是兩個相乘的矩陣必須都是稠密的，因為結果中之會包含稠密矩陣的Block。但是其它幾種矩陣的toBlockMatrix()方法，轉成的都是稀疏矩陣。這裡spark出現了自相矛盾的情況。

解決方法：

    上述兩個演算法都可以通過spark core實現，本人首先嚐試了使用笛卡爾積的方式，發現執行速度超慢。後改為將小的矩陣做成廣播變數，執行速度很快。解決了上述問題。