Institute of Information Theory and Automation

You are here

Publication details

Evaluating Stability of Single and Multiple Feature Selectors that Optimize Feature Subset Cardinality

Research Report

Somol Petr, Novovičová Jana


publisher: ÚTIA AV ČR, (Praha 2009)

edition: Research Report 2251

research: CEZ:AV0Z10750506

project(s): GA102/07/1594, GA ČR, GA102/08/0593, GA ČR, 2C06019, GA MŠk, 1M0572, GA MŠk

keywords: feature selection, stability measure, consistency measure, feature subset size optimization, sequential search, floating search, individual ranking, feature selection evaluation

abstract (eng):

Stability (robustness) of feature selection methods is a topic of recent interest yet often neglected importance with direct impact on the reliability of machine learning systems. We investigate the problem of evaluating the stability of feature selection processes yielding subsets of varying size. We introduce several novel feature selection stability measures and adjust some existing measures in a unifying framework that offers broad insight into the stability problem. We study in detail the properties of considered measures and demonstrate on various examples what information about the feature selection process can be gained. We also introduce an alternative approach to feature selection evaluation in form of measures that enable comparing the similarity of two feature selection processes. These measures enable comparing, e.g., the output of two feature selection methods or two runs of one method with different parameters. The information obtained using the considered stability and similarity measures is shown usable for assessing feature selection methods (or criteria) as such

abstract (cze):

Stabilita (robustnost) metod výběru příznaků je jedno z aktuálních témat diskutovaných v současné době, neboť má vliv na spolehlivost systémů strojového učení. Byly navrženy nové míry stability procesu výběru příznaků, které vyhodnocují celkový výskyt jednotlivých příznaků ve vybraných podmnožinách příznaků ne nutně stejné kardinality. Podrobně jsou studovány vlastnosti uvažovaných měr a na mnoha příkladech demonstrováno, jaké informace je možné získat o procesu výběru příznaků. V práci je také uvažován alternativní přístup k vyhodnocování výběru příznaků pomocí měr, které umožňují porovnat podobnost dvou procesů výběru příznaků

RIV: BB

2012-12-21 16:10