pca降维测试数据也需要归一化和去中心化

『壹』 如何对KDD CUP 99 数据集进行PCA实验就是利用这个数据集，用PCA方法进行降维实验

PCA 不难吧 网上可用的程序还是有的 设置的参数也就一个维数 和 贡献率

『贰』 利用机器学习实战上 pca代码进行降维，得到的结果数据格式为-0.0010934959885+0j，这是什么意思啊

你这个得到的是复数.... 如果所有这样的数的j都很小的话 只留实部就好
要是有些数虚数部分很大的话 那多半就是你算法错了...

『叁』 关于matalb，PCA降维，应该训练集、测试集一起降维再提取呢，还是单独降维提取呢有什么影响吗

训练集和测试集一起降维再提取。

『肆』 数据pca降维有nan或inf怎么办

若样本容量足够大，那么可以删除。
若样本容量不足，那么可以使用平均值、中位数、拉格朗日插值进行替换。

『伍』 python sklearn pca降维前需要数据归一化吗

不用

fromsklearn.decompositionimportPCA
pca=PCA(n_components=1)
newData=pca.fit_transform(data)

可以去这里看看，有详细说明。

http://doc.okbase.net/u012162613/archive/120946.html

『陆』 数据旋转后pca的主成分方向变了吗

获取n行m列原始数据，写成n*m的矩阵形式；
数据中心化。
即把每个属性的均值处理设为0（下面木羊将给出自己编写的源代码，木羊的数据用列代表属性，在该步骤中，就把每列的均值都设置为0）。
根据中心化后的矩阵求协方差矩阵。
协方差有三种值，0表示属性之间相互独立，没有影响；
正值表示属性是正相关的关系，若属性A和属性B是正相关关系，则A增加B也增加，A减小B也减小；
负值表示属性是负相关的关系，若属性C和属性D是负相关关系，则C增加D减小，C减小D增加。
所以，协方差矩阵也可以理解为相关系数矩阵，表示属性间的相关程度。
根据协方差矩阵求特征值矩阵。
特征值矩阵只有对角线上的元素有值，上三角和下三角元素都为0.
根据特征值矩阵求对应的特征向量。
对特征值矩阵进行排序，并设定一个阈值，若前i个特征矩阵的和>=设定的阈值，则就有i个主成分，取其对应的特征向量，定为主成分向量矩阵。
原始矩阵乘以转置后的主成分向量即得降维后的矩阵。
比如，原始数据是150*4的矩阵，在步骤6中取得了2个主成分，那么主成分矩阵就是2*4的矩阵。
150*4的矩阵乘以4*2的矩阵，即得150*2的矩阵，体现了降维效果。
（选取这个属性较少的数据集是为了方便初学者的理解，在实际工程中，的属性值往往不止4个，但降维方法都一样的。
）

『柒』 利用PCA进行降维之后,如何利用降维后的特征值和特征向量恢复数据矩阵

pca 降维处理在综合分析评价中是最好的应用方法。对于你的问题就是所说的重构概念，由特征值和其对应的特征向量已知的情况下，是不难重构原来的线性系统矩阵数据的。

『捌』 大数据工程师必修课：PCA降维

【导读】作为一名合格的大数据分析师，我们有必要知道了解且学会机器学习中的PCA降维，这也是数据挖掘的一个环节，机器学习这门技术是多种技术的结合。而在这个结合体中，如何进行数据分析处理是最核心的内容。通常在机器学习中，我们指的数据分析是，从一大堆数据中，筛选出一些有意义的数据，推断出一个潜在的可能结论。得出这个不知道正确与否的结论，下面让我们一起来了解一下大数据工程师必修课之PCA降维吧!

其经过的步骤通常是：

1、预处理：把数据处理成一些有意义的特征，这一步的目的主要是为了降维。

2、建模：这部分主要是建立模型(通常是曲线的拟合)，为分类器搭建一个可能的边界。

3、分类器处理：根据模型把数据分类，并进行数据结论的预测。

本文讲的主要是数据的预处理(降维)，而这里采用的方式是PCA。

PCA的个人理论分析：

假设有一个学生信息管理系统，里面需要存储人性别的字段，我们在数据库里可以有M、F两个字段，用1、0分别代表是、否。当是男学生的时候其中M列为1，F列为0，为女生时M列为0，F列为1。我们发现，对任意一条记录，当M为1，F必然为0，反之也是如此。因此实际过程，我们把M列或F列去掉也不会丢失任何信息，因为我们可以反推出结论。这种情况下的M、F列的关联比是最高的，是100%。

再举另外一个例子，小明开了家店铺，他每天在统计其店铺的访问量V和成交量D。可以发现，往往V多的时候，D通常也多。D少的时候，V通常也很少。可以猜到V和D是有种必然的联系，但又没有绝对的联系。此时小明如果想根据V、D来衡量这一天的价值，往往可以根据一些历史数据来计算出V、D的关联比。拍脑门说一个，如果关联比大于80%，那么可以取VD其中任意一个即可衡量当天价值。这样就达到了降维的效果。

当然降维并非只能在比如说2维数据V，D中选取其中的1维V作为特征值，它有可能是在V+D的情况下，使得对V, D的关联比最大。

但是PCA思想就是如此。简单点说：假设有x1、x2、x3…xn维数据，我们想把数据降到m维，我们可以根据这n维的历史数据，算出一个与x1…xn相关m维数据，使得这个m维数据对历史数据的关联比达到最大。

以上就是小编今天给大家整理发送的关于“大数据工程师必修课：PCA降维”的相关内容，希望对大家有所帮助。想了解更多关于人工智能就业岗位分析，关注小编持续更新。

『玖』 python怎么数据进行pca

基本步骤：

1. 对数据进行归一化处理（代码中并非这么做的，而是直接减去均值）

2. 计算归一化后的数据集的协方差矩阵

3. 计算协方差矩阵的特征值和特征向量

4. 保留最重要的k个特征（通常k要小于n），也可以自己制定，也可以选择一个阈值，然后通过前k个特征值之和减去后面n-k个特征值之和大于这个阈值，则选择这个k

5. 找出k个特征值对应的特征向量

6. 将m * n的数据集乘以k个n维的特征向量的特征向量（n * k）,得到最后降维的数据。

其实PCA的本质就是对角化协方差矩阵。有必要解释下为什么将特征值按从大到小排序后再选。首先，要明白特征值表示的是什么？在线性代数里面我们求过无数次了，那么它具体有什么意义呢？对一个n*n的对称矩阵进行分解，我们可以求出它的特征值和特征向量，就会产生n个n维的正交基，每个正交基会对应一个特征值。然后把矩阵投影到这N个基上，此时特征值的模就表示矩阵在该基的投影长度。

特征值越大，说明矩阵在对应的特征向量上的方差越大，样本点越离散，越容易区分，信息量也就越多。因此，特征值最大的对应的特征向量方向上所包含的信息量就越多，如果某几个特征值很小，那么就说明在该方向的信息量非常少，我们就可以删除小特征值对应方向的数据，只保留大特征值方向对应的数据，这样做以后数据量减小，但有用的信息量都保留下来了。PCA就是这个原理。