主成分分析- 维基百科，自由的百科全书

在多元统计分析中，主成分分析（英語：Principal components analysis，PCA）是一種统计分析、簡化數據集的方法。

它利用正交变换来对一系列可能相关的变量的观测值进行 ... 主成分分析 维基百科，自由的百科全书 跳到导航 跳到搜索 一個高斯分布，平均值為(1,3)，標準差在(0.878,0.478)方向上為3、在其正交方向上為1的主成分分析。

黑色的兩個向量是此分布的共變異數矩陣的特征向量，其長度為對應的特征值之平方根，並以分布的平均值為原點。

在多元统计分析中，主成分分析（英語：Principalcomponentsanalysis，PCA）是一種统计分析、簡化數據集的方法。

它利用正交变换来对一系列可能相关的变量的观测值进行线性变换，从而投影为一系列线性不相关变量的值，这些不相关变量称为主成分（PrincipalComponents）。

具体地，主成分可以看做一个线性方程，其包含一系列线性系数来指示投影方向。

PCA对原始数据的正则化或预处理敏感（相对缩放）。

基本思想： 将坐标轴中心移到数据的中心，然后旋转坐标轴，使得数据在C1轴上的方差最大，即全部n个数据个体在该方向上的投影最为分散。

意味着更多的信息被保留下来。

C1成为第一主成分。

C2第二主成分：找一个C2，使得C2与C1的协方差（相关系数）为0，以免与C1信息重叠，并且使数据在该方向的方差尽量最大。

以此类推，找到第三主成分，第四主成分……第p个主成分。

p个随机变量可以有p个主成分[1]。

主成分分析经常用于减少数据集的维数，同时保留数据集當中对方差贡献最大的特征。

这是通过保留低維主成分，忽略高維主成分做到的。

这样低維成分往往能够保留住数据的最重要部分。

但是，这也不是一定的，要视具体应用而定。

由于主成分分析依赖所给数据，所以数据的准确性对分析结果影响很大。

主成分分析由卡尔·皮尔逊於1901年發明[2]，用於分析數據及建立數理模型，在原理上与主轴定理（英语：Principalaxistheorem）相似。

之后在1930年左右由哈罗德·霍特林独立发展并命名。

依据应用领域的不同，在信号处理中它也叫做离散K-L转换（discreteKarhunen–Loèvetransform(KLT)）。

其方法主要是通過對共變異數矩陣進行特征分解[3]，以得出數據的主成分（即特征向量）與它們的權值（即特征值[4]）。

PCA是最簡單的以特征量分析多元統計分布的方法。

其結果可以理解為對原數據中的方差做出解釋：哪一個方向上的數據值對方差的影響最大？換而言之，PCA提供了一種降低數據維度的有效辦法；如果分析者在原數據中除掉最小的特征值所對應的成分，那麼所得的低維度數據必定是最優化的（也即，這樣降低維度必定是失去訊息最少的方法）。

主成分分析在分析複雜數據時尤為有用，比如人臉識別。

PCA是最简单的以特征量分析多元统计分布的方法。

通常，这种运算可以被看作是揭露数据的内部结构，從而更好地展現数据的變異度。

如果一个多元数据集是用高维数据空间之坐标系來表示的，那么PCA能提供一幅较低维度的图像，相當於数据集在讯息量最多之角度上的一個投影。

这样就可以利用少量的主成分讓数据的维度降低了。

PCA跟因子分析密切相关。

因子分析通常包含更多特定領域底層結構的假設，並且求解稍微不同矩陣的特徵向量。

PCA也跟典型相關分析（CCA）有關。

CCA定義的坐標系可以最佳地描述兩個數據集之間的互協方差，而PCA定義了新的正交坐標系，能最佳地描述單個數據集當中的變異數。

目录 1数学定义 2讨论 3符号和缩写表 4主成分分析的属性和限制 5主成分分析和信息理论 6使用统计方法计算PCA 7组织数据集 8计算经验均值 9计算平均偏差 10求协方差矩阵 10.1查找协方差矩阵的特征值和特征向量 11参见 12注释 13参考 数学定义[编辑] PCA的数学定义是：一个正交化线性变换，把数据变换到一个新的坐标系统中，使得这一数据的任何投影的第一大方差在第一个坐标（称为第一主成分）上，第二大方差在第二个坐标（第二主成分）上，依次类推[5]。

定义一个n×m的矩阵,XT为去平均值（以平均值为中心移动至原点）的数据，其行为数据样本，列为数据类别（注意，这里定义的是XT而不是X）。

则X的奇异值分解为X=WΣVT，其中m×m矩阵W是XXT的特征向量矩阵，Σ是m×n的非负矩形对角矩阵，V是n×n的XTX的特征向量矩阵。

据此， Y ⊤ = X ⊤ W = V Σ ⊤ W ⊤ W = V Σ ⊤ {\displaystyle{\begin{aligned}{\boldsymbol{Y}}^{\top}&={\boldsymbol{X}}^{\top}{\boldsymbol{W}}\\&={\boldsymbol{V}}{\boldsymbol{\Sigma}}^{\top}{\boldsymbol{W}}^{\top}{\boldsymbol{W}}\\&={\boldsymbol{V}}{\boldsymbol{\Sigma}}^{\top}\end{aligned}}} 当m