今天碰到的關於矩陣乘法不同情況下運算速度的問題，隱約記得是因為快取的問題，後來突然想起來CSAPP那本書上講過這個東西的，就是通過矩陣乘法三重迴圈的不同順序來講的區域性性原理的，所以翻過來又看了一下。

兩個矩陣A,B相乘得到C【為了方便起見，把它們都看成n*n的方陣】經典的做法就是用三重迴圈來實現，但是具體這三重迴圈如何進行排列，就非常的有講究。
假設n是一個非常大的數,也就意味著如果跨行的話,必然不會快取命中,假設只有一個告訴快取,其塊大小為32位元組,也就說一個塊只能存4個double

經典做法ijk和jik

for(i=0;i<n;++i)
    for(j
 
=0;j<n;++j)
    {
        double sum=0;
        for(k=0;k<n;++k)
            sum+=a[i][k]*b[k][j];
        c[i][j]+=sum;
    }

for(j=0;j<n;++j)
    for(i=0;i<n;++i)
    {
        double sum=0;
        for(k=0;k<n;++k)
            sum+=a[i][k]*b[k][j];
        c[i][j]+=sum;
    }

這兩種方法的複雜度分析是一樣的.AB之中必有一個是每次都不命中的，剩下一個每四個不命中一次。

jki和kji版本

for(j=0;j<n;++j)
    for(k=0;k<n;++k)
    {
        double r = b[k][j];
        for(i=0;i<n;++i)
            c[i][j]+=a[i][k]*r;
    }

for(k=0;k<n;++k)
    for(j=0;j<n;++j)
    {
        double r = b[k][j];
        for(i=0
 
;i<n;++i)
            c[i][j]+=a[i][k]*r;
    }

這兩種方法是最差的方法，因為每次c和a兩個都完全不命中

最好的方法kij和ikj版，即讓最頻繁變動的層不動

for(k=0;k<n;++k)
    for(i=0;i<n;++i)
    {
        double r = a[i][k];
        for(j=0;j<n;++j)
            c[i][j]+=r*b[k][j];
    }

for(i=0;i<n;++i)
    for(k=0;k<n;++k)
    {
        double r = a[i][k];
        for(j=0;j<n;++j)
            c[i][j]+=r*b[k][j];
    }

這樣最裡面的迴圈那層，每次訪問都保證了空間區域性性

所以可以看到，雖然矩陣乘法非常的簡單，但是具體實現起來，其優化所要做到的細節還是非常多的，涉及到訪存的問題還是比較複雜的，尤其是對於區域性性的理解。