主成分分析PCA演算法 為什麼要對資料矩陣進行均值化?

時間 2021-05-08 14:26:56

1樓:我叫平沢唯

只有居中,才能使均方誤差最小

以下來自位維基百科

多維資料處理之主成分分析(PCA) - 我叫平沢唯 - 部落格園

2樓:劉理理

PCA可以從SVD演變過來,SVD其實就是在單位圓上找乙個向量,讓資料X在其上的投影的長度平方和最大化,非中心化時中心偏移了(0,0),這時候也可以找那個最大化投影,但不能準確描述資料的結構化特徵,更像是在找整個資料集相對於(0,0)在什麼方位

3樓:

PCA(主成分分析)所對應的數學理論是SVD(矩陣的奇異值分解)。而奇異值分解本身是完全不需要對矩陣中的元素做標準化或者去中心化的。

但是對於機器學習,我們通常會對矩陣(也就是資料)的每一列先進行標準化。

PCA通常是用於高維資料的降維,它可以將原來高維的資料投影到某個低維的空間上並使得其方差盡量大。如果資料其中某一特徵(矩陣的某一列)的數值特別大,那麼它在整個誤差計算的比重上就很大,那麼可以想象在投影到低維空間之後,為了使低秩分解逼近原資料,整個投影會去努力逼近最大的那乙個特徵,而忽略數值比較小的特徵。因為在建模前我們並不知道每個特徵的重要性,這很可能導致了大量的資訊缺失。

為了「公平」起見,防止過分捕捉某些數值大的特徵,我們會對每個特徵先進行標準化處理,使得它們的大小都在相同的範圍內,然後再進行PCA。

此外,從計算的角度講,PCA前對資料標準化還有另外乙個好處。因為PCA通常是數值近似分解,而非求特徵值、奇異值得到解析解,所以當我們使用梯度下降等演算法進行PCA的時候,我們最好先要對資料進行標準化,這是有利於梯度下降法的收斂。

引用自 清風 的回答

4樓:冒藍火加特林

PCA演算法需要計算樣本X的協方差矩陣。所謂去中心化,就是將樣本X中的每個觀測值都減掉樣本均值,這樣做的好處是能夠使得求解協方差矩陣變得更容易。

舉個例子,假設樣本X有兩個特徵x,y 它們的觀測值分布如下:

對應的均值為E(x)和E(y),定義x'代表x去中心化後的新特徵,y'代表y去中心化的新特徵,那麼x'和y'的觀測值如下:

令xi'=xi-E(x),yi'=yi-E(y),則x'=x-E(x),y'=y-E(y),新的樣本X'=X-E(X),則上圖可表示為:

這樣,X樣本的協方差矩陣為:

繼續推導:

推廣至一般性結論,即對於乙個m n的矩陣樣本X而言,它的去中心化後的樣本矩陣為X',則樣本矩陣X的協方差矩陣為:

5樓:myazi

兩種解釋都可以匯出為什麼要去均值,最大方差角度,在計算樣本在原始空間的方差自然需要去均值,最小重構損失角度,我們發現目標函式是 $||z_w-x_||^2$,從線性回歸的角度看,我們是不是還少了乙個$b$,自然這個$b$向量就是各個方向的均值了。

6樓:Shannon Bobo

主成分分析的目標: 最大可分性(最大化方差)

均值化是計算方差的步驟之一

主成分分析基於Euclidean distance, 這也是侷限之一

7樓:蔡家柱

PCA實則就是對協方差矩陣進行對角化,從協方差矩陣的定義看: Σ=E,PCA的第一步就是要去均值化。

8樓:「已登出」

個人覺得去均值化是為了方面後面的協方差,去均值化後各維度均值為零,協方差中的均值也就是零了,方便求解。

具體,假設矩陣A去中心化後得到B,那麼B的協方差就是B*B的轉置

主成分分析PCA演算法 為什麼去均值以後的高維矩陣乘以其協方差矩陣的特徵向量矩陣就是「投影」?

WEARE 簡單點來講,把PCA轉換成乙個contrarined optimization的問題,使用lagrange multiplier,會發現剛好eigenvector的方向會讓variation最大. PCA的目的就是將樣本點 向量 向資料方差最大的方向投影,而樣本協方差矩陣的特徵向量就是方...

如何通俗易懂地講解什麼是 PCA 主成分分析?

白瞳西伯利亞騎士 橫看成嶺側成峰,遠近高低各不同。樣本的差異資訊分散在各個維度上,旋轉一下角度,原來分散的樣本資訊集中到了少數新維度上,捨棄其他維度,資訊損失很少,達到降維的目的。樣本差異資訊就是方差,新的維度就是主成分,是舊維度的線性組合。有多少個舊維度就能構建多少個新維度,彼此不相干,叫作正交。...

PCA(主成分分析)和EOF(經驗正交函式分解)有什麼區別?

tina 我理解的PCA和EOF都是一回事,EOF本身就是多元統計分析中的主分量分析PCA在氣象場序列中的應用,多元正態變數X x1,x2,x3,xp 可理解為空間上網格點資料序列,也可理解為任何一組具有不同物理意義的多元正態變數。EOF著重是分解,對於任一網格點的原序列而言,X LY將氣象場要素X...