On Bayesian Principal Component Analysis

Journal Article

Šmídl Václav, Quinn A.

serial: Computational Statistics and Data Analysis vol.51, 9 (2007), p. 4101-4123

research: CEZ:AV0Z10750506

project(s): 1M0572, GA MŠk

keywords: Principal component analysis (PCA), Variational bayes (VB), von-Mises–Fisher distribution

preview: Download

abstract (eng):

A complete Bayesian framework for principal component analysis (PCA) is proposed. Previous model-based approaches to PCA were often based upon a factor analysis model with isotropic Gaussian noise. In contrast to PCA, these approaches do not impose orthogonality constraints. A new model with orthogonality restrictions is proposed. Its approximate Bayesian solution using the variational approximation and results from directional statistics is developed. The Bayesian solution provides two notable results in relation to PCA. The first is uncertainty bounds on principal components (PCs), and the second is an explicit distribution on the number of relevant PCs. The posterior distribution of the PCs is found to be of the von-Mises–Fisher type.

abstract (cze):

Plně Bayesovský přístup k analýze hlavních komponent je představen. Předchozí modelování hlavních komponent se opíralo o model faktorové analýzy s isotropním Guasovským šumem. Tento model však nezahrnuje podmínku ortogonality, která je součástí hlavních komponent. Navrhujeme nový model, který tuto podmínku respektuje. Přibližné řešení Bayesovského odhadování pro tento model bylo vyvinuto. Toto řešení má dva zajímavé výsledky. Za prvé, hranice neurčitosti pro odhady hlavních komponent, za druhé, aposteriorní distribuci počtu obsažených komponent. Aposteriorní distribuce hlavních komponent je ve tvaru von-Mises-Fisherova rozložení.

Cosati: 09J, 09I

RIV: BC