矩陣乘法的定義為：

按照定義，一個簡單的方陣乘法虛擬碼如下：

int A[48,48],B[48,48],C[48,48]  
    for i in 1 to 48  
        for j in 1 to 48  
            for k in 1 to 48  
                C[i,j]+=B[i,k]*A[k,j]

三層巢狀，時間複雜度為O(n³),n為方陣的邊長。

由於矩陣乘法的廣泛運用，如何優化矩陣乘法運算，有重要的意義。在不考慮矩陣的疏密程度下，如何有效減少矩陣乘法中算術乘法的使用次數是一個主要的優化方向。

最早的矩陣乘法優化演算法，是由德國數學家Volker Strassen於1969年

提出並以其名字命名的Strassen演算法。該演算法堪稱經典，能在大多演算法，運算優化的教科書中找到該演算法的介紹。這裡也有演算法的基本介紹。它的主要思路是通過拼湊一些間接的項，並利用這些間接的項的加減法相消掉一部分項得到最終答案的。簡單說來，是以加減法代替了乘法。對於一個二階的方陣，原來需要8(2³)次的乘法運算，被縮減到了7(2^log7))次。這個演算法的重要意義有兩方面，首先是它將矩陣乘法的時間複雜度，由O(n³)降為O(n^log7),log7約為2.807355.即原來的立方運算被降維了(O(n^2.807355))，然而更為重要的是，這個演算法讓數學家意識到，這個問題不是單純的三維問題，而是很有可能更低維度的問題，也就是說，可能有很大的優化空間。

在此之後，不少更好的演算法被相繼提出。這裡列舉一些我能夠找到對應文獻的：1981年Pan的演算法(O(n^2.494)),1987年的Coppersmith–Winograd演算法(O(n^2.376)),和該演算法於1990釋出的改進演算法(O(n^2.375477))，此處存疑，未找到對應文獻)。在1990年後，相關研究進入了長達20年的冬眠期。直到愛丁堡大學數學系博士生Andrew Stothers在2010年於其博士論文裡面，提出了一個新的演算法，使時間複雜度進一步降維（O(n^2.374)，但他本人並沒有在期刊或學術會議發表這一成果！），這也讓沉寂20年的矩陣乘法優化重新火熱起來。2011年底，斯坦福大學的Virginia Vassilevska Williams在基於Andrew Stothers的基礎上，把時間複雜度降至O(

n^2.3728642)。而目前最為優化的解法,是2014年秋由François Le Gall簡化的斯坦福方法，能夠達到時間複雜度O(n^2.3728639)。

縱觀這數十年的發展，每一丁點的優化都可謂得之不易，而且愈發困難，可以說如果現在能夠把維度艱難地降低0.0000001，都是很了不起的學術成果。在尋找最優解的同時，一個問題也很自然地進入研究人員的視線：矩陣乘法最優解的時間複雜度是什麼？是否可能從數學理論角度證明該最優解的時間複雜度？即使我們暫時無法知道最優解的具體辦法？

換言之，也就是該問題的真實維度是多少。若假設真實維度為D，那麼，自然地：

由於現在最好的演算法已經降維到2.3728642，我們可以進一步收縮這個範圍：

為什麼2是一個簡單(naive)的下限？因為對於一個N階方陣而言，完全的一次訪問（寫入答案）就需要N的2次方操作，所以2是一個簡單的下限。很多人相信D的真實值就是2，實際上，D很可能是遠大於2的，因為若D為2，意味著沒有運算操作（僅有讀寫），所以我傾向於進一步收縮這個範圍：

有不少人嘗試證明D是某一個確定值，但目前沒有太多決定性的進展。

我並沒有嘗試從數學理論角度去找出D值，但是在將年份和降維作畫在一張圖上，可以看到：

這個看起來像是可以擬合到負指數函式上。但是考慮到我們有兩個明確的上下限（兩條漸近線，Degree=3和Degree=D,D值未知，但小於等於2.3728642，大於2。）為了求出D，我們可以把這7個點（7次演算法改進）擬合到有上下漸近線的函式，根據下漸近線的表示式，我們可以推測D的真實值。

一個比較好的候選函式是玻爾茲曼函式（Bolztman function）：

我自己構造了一個類似的函式：

其中D就是最優解法的維度，x0用於消除演算法研究開始年份和公元年份零點對擬合的影響，p算是一個衡量演算法研究進展的指標。明顯地，這個模型有兩條漸近線，符合上面的描述。

擬合結果：R方為0.9914, D為2.366！

整個曲線為：

所以說，如果用這個模型去預測矩陣乘法最優解的時間複雜度是2.366。

利用這個模型，我們可以做很多有意思的東西，例如預測何時能夠到達2.36。還可以更進一步，例如說，假設我們已知2150年，會有一個演算法大突破，將問題維度降到2.1。那麼我們將這個點添入，重新擬合，發現模型無法收斂，也就是說，按照這個模型，2150年不太可能有這樣的突破。

注意，這只是一個預測模型，所有預測都有可能遭遇黑天鵝的。

實際上，我對這個模型的準確度也沒抱有很大信心，因為首先這個模型把演算法的研究發展看成是一個指數過程（越接近極限越難），這當然在一定程度上有合理性，但這本身是個複雜的問題，最優解的時間複雜度，是一個確定的值（D），它本身並不由我們已知演算法的時間複雜度決定。

另外一方面，如果我們看下圖（維基百科整理的年份與維度圖，其中一些點我找不到文獻出處，所以我的模型是基於以上7個點）：

實際上，在整個發展過程，我們已經數次目睹了黑天鵝（相對豎直的線就是演算法大的突破，相當於黑天鵝）。如果我們擷取，例如說1980年前的成果來進行預測，我們很可能得到在2.8左右的D，從今天來看，我們知道這個是個錯誤的答案。

出乎意料地，按照原來的辦法來進行擬合，如果只有前面4個點（1990年前的成果）,我們得到的曲線(R方0.9968)是：

也就是說，如果我們現在還在1990年，按照這個方法預測，D值比在2015年的預測值（2.366）更低（2.32）！

所以，按照這個模型，新的進展，除了降低了D的上限，也會提升D的下限！也算有意思的預測。

所以總的來說，如果矩陣乘法運算演算法的發展符合這個模型的話，我們可以作以下預測：

1. 矩陣乘法是一個（約）2.366維問題；
2. 當前已經非常接近矩陣乘法的最優解了，大概只有0.05左右的提升空間。

但是，怎麼知道運算演算法的發展符合這個模型？答案是，我不知道，並且這個模型很有可能是錯誤的。 不過，從這個角度去考慮問題，也許會讓數學家找到證明D下限的出發點（很有可能是2.366，而不是2）。正如愛因斯坦所言:"Problems cannot be solved with the same mind set that created them." 時間，會給我們答案。

References:

1.Strassen, Volker. "Gaussian elimination is not optimal." Numerische Mathematik13.4 (1969): 354-356.

2.Pan, V. Ya. "New combinations of methods for the acceleration of matrix multiplications." Computers & Mathematics with Applications 7.1 (1981): 73-125.

3.Coppersmith, Don, and Shmuel Winograd. "Matrix multiplication via arithmetic progressions." Proceedings of the nineteenth annual ACM symposium on Theory of computing. ACM, 1987.

4.Stothers, Andrew James. "On the complexity of matrix multiplication." (2010).

5.Williams, V. Vassilevska. "Breaking the coppersmith-winograd barrier." E-mail address: [email protected] math. tamu. edu (2011).

6.Gall, François Le. "Powers of tensors and fast matrix multiplication." arXiv preprint arXiv:1401.7714 (2014).