LDA (Linear Discriminant Analysis), PCA (Principal Component Analysis)

참조 : http://dokim.tistory.com/entry/LDA-Linear-Discriminant-Analysis

 

pr_l10.pdf

(일단 설명 잘 되어있고, 예제 있는 참고 자료 투척, PPT)

LDA (Linear Discriminant Analysis) 란?

LDA seeks to reduce dimensionality while preserving as much of the class discriminatory information as possible

간단하게 말해서... LDA 는 클래스들의 정보를 보호하면서 차원을 최소로 줄이겠다는 얘기다.

PCA (Principal Component Analysis) 는 뭐지?

PCA 는 한 데이터베이스 안에 여러개의 클래스가 포함되었을때, 클래스의 종류와 상관없이 모든 원소들의 경향을 분석하는 방법이다.

위와 같이 모든 원소들이 어떠한 방향으로 늘어져 있는지를 분석해서 기저백터(V1, V2) 를 찾고, 

그 기저백터를 이용해 모든 원소를 투영시킴으로써, 차원을 줄인다는 개념을 가지고 있다.

자... 다르게 설명해볼까?

투영 결과로 말해보자.

PCA 는 Eigen Vector 를 통해 투영을 완료했을 때, 전체 원소들이 가장 넓게 퍼질 수 있는 축을 찾는다는 뜻으로 볼 수 있다.

반면에 LDA의 투영 결과는 같은 클래스 내 원소들은 뭉치고 클래스들 사이의 거리는 멀어지는 투영축을 찾는다고 볼 수 있다. 

즉, LDA 는 클래스의 정보를 보호한다는데 큰 의미가 있다고 볼 수 있다.

======================== 여기까지 작성 (나머지는 추후 설명) ========================

============================================================================================