Forschung -

Künstliche Intelligenz beim Schummeln erwischt

Eine KI wird mit Daten gefüttert und soll beispielsweise eine Klassifizierung vornehmen. Das funktioniert mittlerweile sehr gut, was zahlreiche Anwendungen in der Medizintechnik und in Fahrerassistenzsystemen zeigen. Doch wie ein neuronales Netz tatsächlich Entscheidungen trifft, ist bei den meisten nicht linearen Machine-Learning-Methoden unklar.

Forscher des Fraunhofer Heinrich-Hertz-Instituts (HHI) und der Technischen Universität Berlin haben eine Technik entwickelt, die den Lösungsweg von KIs offenlegt und damit Fehler in der Lösungsstrategie ersichtlich macht. Dazu haben sie die Layer-Wise Relevance Propagation (LRP) weiterentwickelt, eine Methode, die den Einfluss jeder Eingangsvariablen auf das Ergebnis des neuronalen Netzes bestimmt. Mit Spectral Relevance Analysis (SpRAy) lassen sich mit der gleichen Vorgehensweise auch in riesigen Datensätzen unerwünschte Entscheidungen entdecken, die auf systematisch falsches Verhalten hinweisen. Zur Visualisierung erstellt das Programm eine Heatmap mit der Relevanz der Input-Elemente.

Zu Testzwecken verglichen die Forscher die Zuverlässigkeit von einem renommierten Machine-Learning-Modell basierend auf Fisher-Vektoren (FV) und einem DNN, beide trainiert mit Pascal-VOC-Datensätzen. Sie lieferten eine ähnlich hohe Genauigkeit bei der Erkennung von Autos, Zügen oder Pferden. Bei der LRP-Analyse fiel jedoch auf, dass sich die Lösungswege erheblich voneinander unterschieden. Bei der Kategorie ‚Pferd‘ wies die Heatmap des DNN eindeutig auf die relevanten Merkmale des Pferdes, die des FV-Modells hob die untere linke Ecke der Bilder ungewöhnlich stark hervor. Es stellte sich heraus, dass in den Datensätzen die Pferdebilder besonders häufig mit Quellenangaben versehen waren, wodurch es zu einem Overfitting kam.

Ähnliche unsichere Lösungsstrategien deckte das Analysetool auch bei anderen Tests auf, beispielsweise ordnete die KI Bilder mit viel Wasser der Kategorie Schiff zu oder Bilder mit Schienen der Kategorie Zug. Die eigentliche Aufgabe, Schiffe oder Züge zu erkennen, löste sie somit nicht, auch wenn sie die Mehrzahl der Bilder korrekt identifizierte.

Firmeninformationen
© elektronikinformationen.de 2019 - Alle Rechte vorbehalten