Design and Implementation of a web-based User Interface for the guided Assessment of Reliability of Classification Results using the Perturbation Approach

With the growing volume of data in organizations, data mining techniques have become a critical part of the decision making process. However, assessing the reliability of individual predictive analytics results remains a complex challenge, as global metrics such as accuracy, precision, and recall only measure the overall performance of a predictive model. To render this reliability assessment process more user-friendly and streamlined, a web-based user interface has been developed in this master thesis, which guides users through the process of assessing the reliability of predictive analytics results as outlined by Staudinger et al. (2023). Using the web-based user interface, users can document their activities during the reference process and store this information in a knowledge graph. This documented information serves as the basis for generating perturbation options, which are used to introduce systematic alterations in feature values. The perturbation approach identifies sensitive feature values - those that, when perturbed, cause a shift in the original prediction of a predictive model. Thus, by using the perturbation approach, the user can effectively evaluate the reliability of an individual predictive analytics result.

Mit der wachsenden Datenmenge in Organisationen sind Data-Mining-Techniken zu einem wichtigen Bestandteil des Entscheidungsprozesses geworden. Die Bewertung der Zuverlässigkeit einzelner prädiktiver Analyseergebnisse bleibt jedoch eine komplexe Herausforderung, da die globalen Metriken wie Accuracy, Precision und Recall nur die Gesamtleistung eines prädiktiven Modells messen. Um diesen Prozess der Zuverlässigkeitsbewertung benutzerfreundlicher und effizienter zu gestalten, wurde in dieser Masterarbeit eine webbasierte Benutzeroberfläche entwickelt. Diese webbasierte Benutzeroberfläche führt die Nutzer durch den Prozess der Bewertung der Zuverlässigkeit von prädiktiven Analyseergebnissen, wie er von Staudinger et al. (2023) beschrieben wird. Mit Hilfe der webbasierten Benutzeroberfläche können die Nutzer ihre Aktivitäten während des Referenzprozesses dokumentieren und diese Informationen in einem Wissensgraphen speichern. Diese dokumentierten Informationen dienen als Grundlage für die Generierung von Störungsoptionen, mit denen systematische Veränderungen der Merkmalswerte vorgenommen werden. Der Störungsansatz identifiziert empfindliche Merkmalswerte, die bei einer Störung eine Änderung der ursprünglichen Vorhersage eines Vorhersagemodells bewirken. So kann der Nutzer mit Hilfe des Störungsansatzes die Zuverlässigkeit eines einzelnen prädiktiven Analyseergebnisses effektiv bewerten.