9 views 1 likes 0 comments Share this: コバにゃんチャンネル About author コバにゃん☆です? 2910 subscribers viewes View all posts
0 views 0 likes 0 comments Share this: 大象中醫 About author 長照是一個劇變的旋轉舞台 百年難得一見 沒有準備的人 被旋轉舞台甩出去 不是坐下就是躺下 而大象中醫是太極的推手 推動著旋轉舞台 讓 所有爬不起來的人 背後有一股推手力量 支撐再站起來 1310 subscribers viewes View all posts
0 views 0 likes 0 comments Share this: 大象中醫 About author 長照是一個劇變的旋轉舞台 百年難得一見 沒有準備的人 被旋轉舞台甩出去 不是坐下就是躺下 而大象中醫是太極的推手 推動著旋轉舞台 讓 所有爬不起來的人 背後有一股推手力量 支撐再站起來 1310 subscribers viewes View all posts
作者doom8199 (～口卡口卡 修～)看板MATLAB標題Re: [問題]PCA與SVD差異時間Wed Oct 3 23:24:15 2012 ※ 引述《IamMRBBB (獸獸)》之銘言： : 各位好 : 最近我使用SVD來分析我的資料的時候， : 確認SVD與PCA的特徵向量是一樣的， : 但是他們不同處在哪? : 以及特性差別，或是在什麼時候才會出現不同呢? : 不知道能否有人回答，感謝。 --- 我不確定原po是怎麼用 SVD 實現 PCA 這裡先給一個觀念 -1 一個方陣 M 若 EVD 存在 (即 M 可分解為 WDW ) T 則 M 的 SVD 分解 M = UEV 中， U 不一定會等於 W 對一個方陣而言，EVD 和 SVD 本身就是不同的取向 即使很多時後我們用 svd 與 eig 來拆解一個方陣後 發現數值完全一樣，但幾何解讀是完全不同的 不能將這兩種混用 ==== 回到正題，假設有一筆資料存成 KxH 大小的矩陣 M = [x1,x2,...,x_H] 該矩陣 M 也已做過平移正規化 or 白平衡等處理 要實現 PCA, 做法就是: [ W, D] = eig(M*M'); ____(1) or [ U, S, ~] = svd(M); ____(2) T 理由很簡單，因為若 M = USV T T T T T -1 則 MM = USV VS U = USSU = WDW 相當於對 MM' 矩陣做 EVD 拆解 但右邊做法就不對了: [ U, S, ~] = svd(M*M'); ____(x) 理由如一開始所述 (x) 求出來的 U , 與 (1)中的 W , 幾何結構完全不同 ========= 此外，個人認為 (2) 會比 (1) 好 最主要的因素是精確度問題 因為當你求一筆資料的 covariance matrix 一定會處理到 M*M' 這種矩陣 若你本身資料 M 的 dynamic range 就不小 去算如 M*M' 的 EVD, 精確度通常不會太高 ;但相對的，直接算 M 的 svd 就可以避掉處理 M*M' 這種 higher dynamic range 的矩陣 我自己在 OpenCV 上實做某些 proj. 途中 就有發現使用 svd(M) 在結果上的表現，會比 eig(M*M') 還佳 第二個是排序問題 印象中 matlab 的 eig 函式對於 eigenvalue 的大小排序 不同版本好像會產生不同結果 OTZ 所以 matlab 裡頭內建的 pca 相關函式，一定會有 sorter 來確保大小順序 ;但 svd 排序上似乎較穩定 (?) 不過這也不能算是問題 不論使用何種工具，後面一律加 sorter，就不必為了這種東西煩惱 -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 60.251.51.91 ※ 編輯: doom8199 來自: 60.251.51.91 (10/03 23:27) 推 IamMRBBB:非常感謝doom大的講解，非常詳細!!! 10/04 00:23 推 IamMRBBB:我是使用[COEFF,latent,explained] = pcacov(M); 10/04 00:47 → IamMRBBB:與[U,SS,V]=svd(M); 進行比較 10/04 00:48 → IamMRBBB:[U,S,V]=svd(M); 10/04 00:48 推 IamMRBBB:再請教大大一個問題，為何當我進行[U,S,V]=svd(M)時 10/04 02:40 → IamMRBBB:總是會有某欄的數據正負顛倒，目前發現是常常有一欄， 10/04 02:41 → IamMRBBB:但是它是不固定某一欄 10/04 02:42 推 ht15trep:loading正負顛倒沒差 10/05 13:27 ... <看更多>
matlab矩陣顛倒 在 Re: [問題]PCA與SVD差異- 看板MATLAB - 批踢踢實業坊 的推薦與評價
※ 引述《IamMRBBB (獸獸)》之銘言：
: 各位好
: 最近我使用SVD來分析我的資料的時候，
: 確認SVD與PCA的特徵向量是一樣的，
: 但是他們不同處在哪?
: 以及特性差別，或是在什麼時候才會出現不同呢?
: 不知道能否有人回答，感謝。
---
我不確定原po是怎麼用 SVD 實現 PCA
這裡先給一個觀念
-1
一個方陣 M 若 EVD 存在 (即 M 可分解為 WDW )
T
則 M 的 SVD 分解 M = UEV 中， U 不一定會等於 W
對一個方陣而言，EVD 和 SVD 本身就是不同的取向
即使很多時後我們用 svd 與 eig 來拆解一個方陣後
發現數值完全一樣，但幾何解讀是完全不同的
不能將這兩種混用
====
回到正題，假設有一筆資料存成 KxH 大小的矩陣 M = [x1,x2,...,x_H]
該矩陣 M 也已做過平移正規化 or 白平衡等處理
要實現 PCA, 做法就是:
[ W, D] = eig(M*M'); ____(1)
or
[ U, S, ~] = svd(M); ____(2)
T
理由很簡單，因為若 M = USV
T T T T T -1
則 MM = USV VS U = USSU = WDW
相當於對 MM' 矩陣做 EVD 拆解
但右邊做法就不對了: [ U, S, ~] = svd(M*M'); ____(x)
理由如一開始所述
(x) 求出來的 U , 與 (1)中的 W , 幾何結構完全不同
=========
此外，個人認為 (2) 會比 (1) 好
最主要的因素是精確度問題
因為當你求一筆資料的 covariance matrix
一定會處理到 M*M' 這種矩陣
若你本身資料 M 的 dynamic range 就不小
去算如 M*M' 的 EVD, 精確度通常不會太高
;但相對的，直接算 M 的 svd
就可以避掉處理 M*M' 這種 higher dynamic range 的矩陣
我自己在 OpenCV 上實做某些 proj. 途中
就有發現使用 svd(M) 在結果上的表現，會比 eig(M*M') 還佳
第二個是排序問題
印象中 matlab 的 eig 函式對於 eigenvalue 的大小排序
不同版本好像會產生不同結果 OTZ
所以 matlab 裡頭內建的 pca 相關函式，一定會有 sorter 來確保大小順序
;但 svd 排序上似乎較穩定 (?)
不過這也不能算是問題
不論使用何種工具，後面一律加 sorter，就不必為了這種東西煩惱
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 60.251.51.91
※ 編輯: doom8199 來自: 60.251.51.91 (10/03 23:27)
... <看更多>