多個 col 回歸分析 歸約 估計 降維 獨立 冗余 不完全

• 主成分分析：

有一個集合篩選出對這個集合影響較大的n個因素就是主成分分析。 主成分分析的目的是在於降維，其結果是把多個指標歸約為少數的幾個指標，這少數的幾個指標的表現形式一般為原來指標體系中的某幾個指標線性組合；逐步回歸的目的是為了剔除影響目標值不顯著的指標，其結果是保留原指標體系中影響顯著的幾個指標。 主成分分析本身往往並不是目的，而是達到目的的一種手段。因此，它多用在大型研究項目的某個中間環節。例如，把它用在多重回歸中，便產生了主成分回歸。另外，它還可以用於聚類、判別分析等。

• 變量的回歸分析（例如R中的update和step）：

例如在做線性回歸時，逐步回歸是為了找出影響目標值顯著的特征。 在多重回歸預測時

，當自變量間高度相關時，某些回歸參數的估計值極不穩定，甚至出現有悖常理、難以解釋的情形。這時，可先采用主成分分析產生若幹主成分，它們必定會將相關性較強的變量綜合在同一個主成分中，而不同的主成分又是互相獨立的。只要多保留幾個主成分，原變量的信息不致過多損失。然後，以這些主成分為自變量進行多重回歸就不會再出現共線性的困擾。如果原有p個自變量X1，X2，…，Xp，那麽，采用全部p個主成分所作回歸完全等價於直接對原變量的回歸；采用一部分主成分所作回歸雖不完全等價於對原變量的回歸，但往往能擺脫某些虛假信息，而出現較合理的結果。 以上思路也適用於判別分析，當自變量高度相關時，直接作判別分析同樣有多重共線性問題，可先計算自變量的主成分，然後通過主成分估計判別函數。如果變量不是很多可以直接回歸分析（step），剔除冗余的變量。

主成分分析與逐步回歸分析的區別