Wie kommen KI-Systeme zu ihren Einschätzungen? Handelt es sich wirklich um intelligente Entscheidungen oder statistisch erfolgreiche Verfahren? Um hier Antworten zu finden, hat ein Forschungsteam der Technischen Universität Berlin (TU Berlin), des Fraunhofer Heinrich-Hertz-Instituts (HHI) und der Singapore University of Technology and Design das ganze „Intelligenz“-Spektrum bestehender KI-Systeme mit einer speziellen, automatisierten Technologie analysiert und quantifiziert.
Eingesetzt wurde hier eine von der TU Berlin und dem HHI entwickelte Technik, die „Layer-wise Relevance Propagation“ (LRP). Diese macht sichtbar, aufgrund welcher Kriterien KI-Systeme Entscheidungen treffen. „Insbesondere in der medizinischen Diagnostik oder in sicherheitskritischen Systemen dürfen wir keine KI-Algorithmen mit unsicheren Problemlösungsstrategien oder sonstige KI-Schummel-Kandidaten einführen“, sagt Klaus-Robert Müller, Professor für Maschinelles Lernen an der TU Berlin.

Mit dem neuen Verfahren wurden die KI-Systeme nicht nur getestet, sondern auch quantifiziert: Vom naiven Problemlösungsverhalten, über Schummel-Strategien bis hin zu „intelligenten“ strategischen Lösungsansätzen. Das Forscherteam war überrascht von der großen Bandbreite der gelernten Problemlösungsstrategien.

So verfolgte ein preisgekröntes KI-System zur Klassifikation von Bildern eine aus menschlicher Sicht naive Lösungsstrategie: Es klassifizierte Bilder vorwiegend anhand des Kontextes. Dabei wurden Bilder der Kategorie „Schiff“ zugeordnet, wenn viel Wasser im Bild zu sehen war. Die eigentliche Aufgabe, nämlich Schiffe zu erkennen, hat es nicht gelöst – auch wenn es die Mehrzahl der Bilder am Ende korrekt klassifiziert hat.

Auch einige der neuesten KI-Algorithmen, die sogenannten tiefen neuronalen Netzwerke, nutzten eine fehlerhafte Lösungsstrategie. Sie stützten ihre Klassifikationsentscheidung auf Daten, die während der Präparation der Bilder entstanden waren und mit dem eigentlichen Bildinhalt nichts zu tun hatten.