矩陣符號

如果用表示所有實數的集合，那麼我們用表示所有的實數矩陣組成的向量空間，即：

其中，大寫字母（如）表示矩陣，帶下標的小寫字母（如）表示矩陣中的元素。除了用表示矩陣中第行第列的元素之外，也可以用和表示。

矩陣操作

矩陣轉置（transposition）:

矩陣加法（addition）:

標量-矩陣乘法（scalar-matrix multiplication）:

矩陣-矩陣乘法（matrix-matrix multiplication）:

矩陣點乘（pointwise multiplication）:

矩陣點除（pointwise division）:

注意，要使矩陣點除有意義，則分母矩陣中不能有值為0的元素。

向量符號

我們用表示所有長度為的實數向量組成的向量空間，即：

其中，粗體小寫字母（如）表示向量，帶下標的小寫字母（如）表示向量中的元素。除了用表示向量中第個元素之外，也可以用和表示。

我們用表示列向量，用表示行向量，即：

向量操作

向量加法（vector addition）:

標量-向量乘法（scalar-vector multiplication）:

內積/點積（inner/dot product）:

向量點乘（pointwise multiplication）:

向量點除（pointwise division）:

注意，要使向量點除有意義，則分母向量中不能有值為0的元素。

Saxpy演算法

“Saxpy”是“s

Gaxpy演算法

如果把Saxpy演算法中的標量換成矩陣，那麼我們就能得到廣義（generalized）Saxpy演算法，即Gaxpy演算法：

其中，，並且。

我們可以用兩層for迴圈實現Gaxpy演算法：

  for i=1:m
    for j=1:n
      y(i)=y(i)+A(i,j)x(j)
    end
  end

在這段程式碼中，外層的for迴圈遍歷矩陣的每一行，內層的for迴圈遍歷矩陣的每一列，像這樣一行一行地遍歷矩陣的Gaxpy演算法也稱為面向行的

當然，我們也可以一列一列地遍歷矩陣，這樣就有了面向列的（column-oriented）Gaxpy演算法：

  for j=1:n
    for i=1:m
      y(i)=y(i)+A(i,j)x(j)
    end
  end

外積

不同於向量和的內積，向量和的外積表示如下：

其中，，並且。

和Gaxpy演算法類似，外積也有面向行的外積：

  for i=1:m
    for j=1:n
      A(i,j)=A(i,j)+x(i)y(j)
    end
  end

和面向列的外積：

  for j=1:n
    for i=1:m
      A(i,j)=A(i,j)+x(i)y(j)
    end
  end

矩陣分割和冒號符號

一個的矩陣可以看作是個長度為的行向量組成的：

同理，一個的矩陣也可以看作是個長度為的列向量組成的：

我們可以用表示矩陣的第個行向量（第行）：

也可以用表示矩陣的第個列向量（第列）：

在此基礎上，我們可以重寫面向行的Gaxpy演算法：

  for i=1:m
    y(i)=y(i)+A(i,:)x
  end

可以看出，面向行的Gaxpy演算法實際上是個內積操作加個標量加法操作。

我們接著重寫面向列的Gaxpy演算法：

  for j=1:n
    y=y+x(j)A(:,j)
  end

可以看出，面向列的Gaxpy演算法實際上是個標量-向量乘法操作加個向量加法操作。

對於外積，我們先重寫面向行的外積：

  for i=1:m
    A(i,:)=A(i,:)+x(i)y
  end

可以看出，面向行的外積實際上是個標量-向量乘法操作加個行向量加法操作。

我們接著重寫面向列的外積：

  for j=1:n
    A(:,j)=A(:,j)+y(j)x
  end

可以看出，面向列的外積實際上是個標量-向量乘法操作加個列向量加法操作。

矩陣-矩陣乘法

我們把矩陣-矩陣乘法寫成用更新的形式，即：

其中，，並且。

我們把矩陣-矩陣乘法用三層for迴圈展開得到：

  for i=1:m
    for j=1:n
      for k=1:r
        C(i,j)=C(i,j)+A(i,k)B(k,j)
      end
    end
  end

可以看出，矩陣-矩陣乘法實際上是個標量乘法操作加個標量加法操作。

如果我們只展開外面兩層for迴圈，則有：

  for i=1:m
    for j=1:n
      C(i,j)=C(i,j)+A(i,:)B(:,j)
    end
  end

可以看出，矩陣-矩陣乘法實際上是個內積操作加個標量加法操作。

如果我們只展開最外層的for迴圈，則有：

  for i=1:m
    C(i,:)=C(i,:)+A(i,:)B
  end

可以看出，矩陣-矩陣乘法實際上是個向量-矩陣乘法操作加個向量加法操作。

雖然改變三層for迴圈的前後順序並不影響矩陣-矩陣乘法的結果，但是可以方便我們從不同角度理解矩陣-矩陣乘法。這裡只列出了結果，具體過程可以參考上述方法。

複數矩陣

和實數相對的是複數，因此我們接下來介紹複數矩陣和複數向量。

我們用表示所有複數組成的集合，用表示所有的複數矩陣構成的向量空間，並且用表示所有長度為的複數向量構成的向量空間。

如果矩陣，那麼我們用和分別表示矩陣A的實部和虛部，即：，。

雖然實數矩陣的大部分操作都適用於複數矩陣，但是也有一些操作不適用於複數矩陣。比如：

矩陣的共軛（conjugate）矩陣：

其中，兩個實部相等，虛部互為相反數的複數互為共軛複數（conjugate complex number）。

複數矩陣的轉置（transposition）是共軛轉置：

兩個複數向量的內積（inner product）: