Read more
In der vorliegenden Arbeit wurden unterschiedliche Regressions- und Klassifikationstechniken hinsichtlich ihrer Fähigkeit analysiert, Klassenzugehörigkeits-Wahrscheinlichkeiten möglichst exakt schätzen zu können. Zusätzlich wurden der Effekt der Kalibrierung mittels logistischer Regression, sowie die Einflussfaktoren Korrektklassifizierungsrate, Korrelation der Daten und Datensatzgröße untersucht. Klassenzugehörigkeits-Wahrscheinlichkeitsschätzer können verwendet werden um einen Anwendungsbereich für ein betrachtetes Klassifikations- oder Regressionsmodell zu definieren. Die Verwendung von Klassenzugehörigkeits-Wahrscheinlichkeits-schätzern zur Definition eines Anwendungsbereiches (Reject-Option) wurde verglichen mit dem Ansatz des Conformal Predictors.
Das Ergebnis ist, dass alle untersuchten Techniken (Random Forests, Random Forest Regression, Support Vector Machines, Support Vector Regression, K-Nächste-Nachbarn, Partial Least Squares Discriminant Analysis, Sparse Partial Least Squares Regression, Ridge Regression, Elastic Net, Least Absolute Shrinkage and Selection Operator) mit Ausnahme der Linearen Diskriminanz Analyse, der Neuronalen Netze und des Naive Bayesian Klassifikators von der Kalibrierung mittels logistischer Regression profitieren. Die erhaltenen Klassenzugehörigkeits-Wahrscheinlichkeitsschätzer befinden sich danach näher an der wahren Wahrscheinlichkeit. Die größten Einflussfaktoren sind die Korrektklassifizierungsrate und die Korrelation der Daten. Bei einer Vielzahl der Techniken führt eine steigende Korrektklassifizierungsrate und eine abnehmende Korrelation der Daten zu schlechteren Schätzwerten. Die Bildung von Hetero-Ensemblen führt zu stabileren Schätzwerten. Gut kalibrierte Klassenzugehörigkeits-Wahrscheinlichkeitsschätzer sind, verglichen mit dem Conformal Predictor, dazu in der Lage besonders effizient, ohne viele Objekte zu verlieren, einen Anwendungsbereich zu definieren.
This study analyses several regression- and classification techniques regarding their ability to estimate class-probabilities precisely. Furthermore the effect of the calibration (with use of logistic regression) and the influence factors: accuracy, correlation structure and data-set-size were analyzed. Class-probability-estimates can be used to define an applicability domain for a regression- or classification-model. The definition of an applicability domain by using class-probability-estimates (Reject Option) was compared to the approach of the Conformal Predictors.
In summary, all studied techniques (Random Forests, Random Forest Regression, Support Vector Machines, Support Vector Regression, K-Nearest-Neighbor, Partial Least Squares Discriminant Analysis, Sparse Partial Least Squares Regression, Ridge Regression, Elastic Net, Least Absolute Shrinkage and Selection Operator), except Linear Discriminant Analysis, Neural Networks and Naïve Bayesian Classifier benefit from calibration with logistic regression. The accuracy and the correlation structure have the strongest impact. The stability of class-probability-estimates improves by generating hetero-ensembles. Good calibrated class-probability-estimates are able to define an applicability domain in a very efficient way, compared to the conformal predictor.
