pca降維測試數據也需要歸一化和去中心化

『壹』 如何對KDD CUP 99 數據集進行PCA實驗就是利用這個數據集，用PCA方法進行降維實驗

PCA 不難吧 網上可用的程序還是有的 設置的參數也就一個維數 和 貢獻率

『貳』 利用機器學習實戰上 pca代碼進行降維，得到的結果數據格式為-0.0010934959885+0j，這是什麼意思啊

你這個得到的是復數.... 如果所有這樣的數的j都很小的話 只留實部就好
要是有些數虛數部分很大的話 那多半就是你演算法錯了...

『叄』 關於matalb，PCA降維，應該訓練集、測試集一起降維再提取呢，還是單獨降維提取呢有什麼影響嗎

訓練集和測試集一起降維再提取。

『肆』 數據pca降維有nan或inf怎麼辦

若樣本容量足夠大，那麼可以刪除。
若樣本容量不足，那麼可以使用平均值、中位數、拉格朗日插值進行替換。

『伍』 python sklearn pca降維前需要數據歸一化嗎

不用

fromsklearn.decompositionimportPCA
pca=PCA(n_components=1)
newData=pca.fit_transform(data)

可以去這里看看，有詳細說明。

http://doc.okbase.net/u012162613/archive/120946.html

『陸』 數據旋轉後pca的主成分方向變了嗎

獲取n行m列原始數據，寫成n*m的矩陣形式；
數據中心化。
即把每個屬性的均值處理設為0（下面木羊將給出自己編寫的源代碼，木羊的數據用列代表屬性，在該步驟中，就把每列的均值都設置為0）。
根據中心化後的矩陣求協方差矩陣。
協方差有三種值，0表示屬性之間相互獨立，沒有影響；
正值表示屬性是正相關的關系，若屬性A和屬性B是正相關關系，則A增加B也增加，A減小B也減小；
負值表示屬性是負相關的關系，若屬性C和屬性D是負相關關系，則C增加D減小，C減小D增加。
所以，協方差矩陣也可以理解為相關系數矩陣，表示屬性間的相關程度。
根據協方差矩陣求特徵值矩陣。
特徵值矩陣只有對角線上的元素有值，上三角和下三角元素都為0.
根據特徵值矩陣求對應的特徵向量。
對特徵值矩陣進行排序，並設定一個閾值，若前i個特徵矩陣的和>=設定的閾值，則就有i個主成分，取其對應的特徵向量，定為主成分向量矩陣。
原始矩陣乘以轉置後的主成分向量即得降維後的矩陣。
比如，原始數據是150*4的矩陣，在步驟6中取得了2個主成分，那麼主成分矩陣就是2*4的矩陣。
150*4的矩陣乘以4*2的矩陣，即得150*2的矩陣，體現了降維效果。
（選取這個屬性較少的數據集是為了方便初學者的理解，在實際工程中，的屬性值往往不止4個，但降維方法都一樣的。
）

『柒』 利用PCA進行降維之後,如何利用降維後的特徵值和特徵向量恢復數據矩陣

pca 降維處理在綜合分析評價中是最好的應用方法。對於你的問題就是所說的重構概念，由特徵值和其對應的特徵向量已知的情況下，是不難重構原來的線性系統矩陣數據的。

『捌』 大數據工程師必修課：PCA降維

【導讀】作為一名合格的大數據分析師，我們有必要知道了解且學會機器學習中的PCA降維，這也是數據挖掘的一個環節，機器學習這門技術是多種技術的結合。而在這個結合體中，如何進行數據分析處理是最核心的內容。通常在機器學習中，我們指的數據分析是，從一大堆數據中，篩選出一些有意義的數據，推斷出一個潛在的可能結論。得出這個不知道正確與否的結論，下面讓我們一起來了解一下大數據工程師必修課之PCA降維吧!

其經過的步驟通常是：

1、預處理：把數據處理成一些有意義的特徵，這一步的目的主要是為了降維。

2、建模：這部分主要是建立模型(通常是曲線的擬合)，為分類器搭建一個可能的邊界。

3、分類器處理：根據模型把數據分類，並進行數據結論的預測。

本文講的主要是數據的預處理(降維)，而這里採用的方式是PCA。

PCA的個人理論分析：

假設有一個學生信息管理系統，裡面需要存儲人性別的欄位，我們在資料庫里可以有M、F兩個欄位，用1、0分別代表是、否。當是男學生的時候其中M列為1，F列為0，為女生時M列為0，F列為1。我們發現，對任意一條記錄，當M為1，F必然為0，反之也是如此。因此實際過程，我們把M列或F列去掉也不會丟失任何信息，因為我們可以反推出結論。這種情況下的M、F列的關聯比是最高的，是100%。

再舉另外一個例子，小明開了家店鋪，他每天在統計其店鋪的訪問量V和成交量D。可以發現，往往V多的時候，D通常也多。D少的時候，V通常也很少。可以猜到V和D是有種必然的聯系，但又沒有絕對的聯系。此時小明如果想根據V、D來衡量這一天的價值，往往可以根據一些歷史數據來計算出V、D的關聯比。拍腦門說一個，如果關聯比大於80%，那麼可以取VD其中任意一個即可衡量當天價值。這樣就達到了降維的效果。

當然降維並非只能在比如說2維數據V，D中選取其中的1維V作為特徵值，它有可能是在V+D的情況下，使得對V, D的關聯比最大。

但是PCA思想就是如此。簡單點說：假設有x1、x2、x3…xn維數據，我們想把數據降到m維，我們可以根據這n維的歷史數據，算出一個與x1…xn相關m維數據，使得這個m維數據對歷史數據的關聯比達到最大。

以上就是小編今天給大家整理發送的關於「大數據工程師必修課：PCA降維」的相關內容，希望對大家有所幫助。想了解更多關於人工智慧就業崗位分析，關注小編持續更新。

『玖』 python怎麼數據進行pca

基本步驟：

1. 對數據進行歸一化處理（代碼中並非這么做的，而是直接減去均值）

2. 計算歸一化後的數據集的協方差矩陣

3. 計算協方差矩陣的特徵值和特徵向量

4. 保留最重要的k個特徵（通常k要小於n），也可以自己制定，也可以選擇一個閾值，然後通過前k個特徵值之和減去後面n-k個特徵值之和大於這個閾值，則選擇這個k

5. 找出k個特徵值對應的特徵向量

6. 將m * n的數據集乘以k個n維的特徵向量的特徵向量（n * k）,得到最後降維的數據。

其實PCA的本質就是對角化協方差矩陣。有必要解釋下為什麼將特徵值按從大到小排序後再選。首先，要明白特徵值表示的是什麼？在線性代數裡面我們求過無數次了，那麼它具體有什麼意義呢？對一個n*n的對稱矩陣進行分解，我們可以求出它的特徵值和特徵向量，就會產生n個n維的正交基，每個正交基會對應一個特徵值。然後把矩陣投影到這N個基上，此時特徵值的模就表示矩陣在該基的投影長度。

特徵值越大，說明矩陣在對應的特徵向量上的方差越大，樣本點越離散，越容易區分，信息量也就越多。因此，特徵值最大的對應的特徵向量方向上所包含的信息量就越多，如果某幾個特徵值很小，那麼就說明在該方向的信息量非常少，我們就可以刪除小特徵值對應方向的數據，只保留大特徵值方向對應的數據，這樣做以後數據量減小，但有用的信息量都保留下來了。PCA就是這個原理。