Filter-Ansatz

Berechne ein Maß zur Unterscheidung von Klassen. Messe das Gewicht der Features und wähle die besten n aus. Auf dieses Feature Subset wird der Lernalgorithmus angewendet. Filter können entweder univariat (z. B. euklidische Distanz, Chi-Quadrat-Test) oder multivariat (z. B. Korrelationsbasierte Filter) die intrinsischen Eigenschaften der Daten berechnen.

Vorteile:

• schnell berechenbar
• skalierbar
• intuitiv interpretierbar

Nachteile:

• Redundante Features (Verwandte Features werden ähnliche Gewichtung haben)
• ignoriert Abhängigkeiten mit dem Lernalgorithmus

Wrapper-Ansatz

Durchsuche die Menge aller möglichen Feature-Subsets. Auf jedes Subset wird der Lernalgorithmus angewendet. Das Durchsuchen kann entweder deterministisch oder randomisiert erfolgen: Deterministische Algorithmen sind z. B.:

• Forward selection
• Recursive feature elimination

Randomisierte Algorithmen sind z. B.:

• simulated annealing
• genetische Algorithmen

Vorteile:

• Findet ein Feature-Subset, das optimal zum Lernalgorithmus passt
• Bezieht auch Kombinationen von Features ein und nicht nur jedes Feature einzeln
• Entfernt redundante Features
• einfach umzusetzen
• interagiert mit Lernalgorithmus

Nachteile:

• Sehr zeitaufwändig
• bei heuristischen Verfahren besteht die Gefahr nur lokale Optima zu finden
• Gefahr der Überanpassung der Daten
• Abhängigkeit vom Lernalgorithmus

Embedded-Ansatz

Die Suche nach einer optimalen Untermenge ist direkt mit dem Lernalgorithmus verbunden.

Vorteile:

• bessere Laufzeiten und geringere Komplexität
• Abhängigkeiten zwischen Datenpunkten werden modelliert

Nachteile:

• Wahl der Untermenge hängt stark vom verwendeten Lernalgorithmus ab.

Beispiele:

• Entscheidungsbäume
• Gewichtete naive Bayes
• Auswahl der Teilmenge mit Hilfe des Wichtungsvektor von SVM

Correlation Feature Selection

Gute Untermengen von Features enthalten Features, welche stark mit der Zielvariablen korreliert sind, aber dennoch möglichst unkorreliert untereinander sind. Correlation Feature Selection (CFS) wählt als Filter-Algorithmus die Untermengen ${\displaystyle S_{k}}$ mit ${\displaystyle k}$ vielen Features wie folgt aus:

${\displaystyle \mathrm {CFS} =\max _{S_{k}}\left[{\frac {r_{cf_{1}}+r_{cf_{2}}+\cdots +r_{cf_{k}}}{\sqrt {k+2(r_{f_{1}f_{2}}+\cdots +r_{f_{i}f_{j}}+\cdots +r_{f_{k}f_{k-1}})}}}\right],}$

wobei ${\displaystyle r_{cf_{i}}}$ die Korrelationskoeffizienten (z. B. Spearman-Korrelation oder Pearson-Korrelation) zwischen Zielvariable ${\displaystyle c}$ und Feature ${\displaystyle f_{i}}$ sind und ${\displaystyle r_{f_{i}f_{j}}}$ die Korrelationskoeffizienten der Features ${\displaystyle f_{i}}$ und ${\displaystyle f_{j}}$ untereinander.