Angesichts großer Erfolge im Bereich des Machine Learnings erweitert sich das Gebiet der künstlichen Intelligenz (KI) derzeit enorm. So entstehen immer komplexere KI-Anwendungen, die für viele Nutzer jedoch unverständliche und wenig greifbare Black Boxes darstellen. Dies führt dazu, dass algorithmisches Fehlverhalten wie ethische Biases lange unentdeckt bleiben.

In einem vorherigen Artikel haben wir bereits diskutiert, wo die Grenze zwischen Manipulation und der legitimen Anwendung von KI verläuft. Nun stellen wir uns die Frage, was sowohl den Anwendern als auch den Entwicklern helfen kann, KI-Modelle besser zu verstehen und potenzielle Fehlerquellen frühzeitig zu erkennen.

Hier setzt Explainable Artificial Intelligence (XAI) an: Im Rahmen der XAI sollen die Funktions- und Arbeitsweise einer künstlichen Intelligenz sowie ihre Resultate für den Nutzer so verständlich wie möglich dargestellt werden. Der Ansatz wird seit dem Jahr 2004 in der Forschung und mittlerweile auch vermehrt in der Praxis verwendet. Ziel der Explainable AI ist es, erklärbare Modelle zu schaffen, die gleichzeitig über hohe Lernleistungen verfügen.

Warum ist Explainable AI sinnvoll?

Erklärbare KI ist unerlässlich, wenn Anwender und Entwickler die Ergebnisse der Algorithmen und Modelle verstehen und effektiv nutzen wollen. Insbesondere im Bereich des Deep Learnings mit neuronalen Netzen, die eine Vielzahl von Zwischenschichten (engl. „hidden layers“) zwischen der Eingabe- und der Ausgabeschicht haben, ist es schwierig zu identifizieren, warum das Netz Ergebnis a) und nicht Ergebnis b) ermittelt hat.

Deutlich wird dies am Beispiel des „Wolf-Husky-Klassifikators“. Dieser Klassifikator wurde mittels eines Datensets darauf trainiert Wölfe von Huskys zu unterscheiden. Er war dadurch in der Lage, Fotos von Wölfen und Huskys korrekt zuzuordnen. Lediglich bei einem Bild hat das Modell das Bild eines Wolfes fälschlicherweise als Husky klassifiziert.

Wolf-Husky-Klassifikator| © Witalij Rudnicki

Allerdings zeigt eine Untersuchung der Entscheidungsgrundlage, dass die Gesichtsmerkmale des Tieres in diesem Fall nicht ausschlaggebend waren, sondern der Schnee im Hintergrund (s. Abbildung). Bei einer üblichen Evaluation wäre diese Fehlerquelle wahrscheinlich unentdeckt geblieben. Derartige Fehlentscheidungen können in der Praxis, beispielsweise bei der Risikobewertung von Sträflingen, fatale Folgen nach sich ziehen.

Der Prozess von der Entscheidungsfindung muss also transparenter und nachvollziehbarer werden, auch um das Vertrauen in die KI insgesamt zu verbessern. Erklärbarkeit wird demnach zu einer zentralen Stellschraube auf dem Weg zu einer vertrauenswürdigen KI. Doch welche Methoden stecken hinter diesem Ansatz?

© DARPA

Welche Methoden umfasst Explainable AI?

Es gibt verschiedene Ansätze, um Transparenz und Verständnis für künstliche Intelligenz zu schaffen. Diese Methoden lassen sich in zwei übergeordnete Kategorien unterteilen: Ante-Hoc und Post-Hoc. Ante-Hoc Methoden sind von Grund auf transparent und damit systemimmanent interpretierbar. Im Unterschied dazu versuchen Post-Hoc Ansätze Black Box-Modelle im Nachhinein erklärbar zu machen. Dabei können Entwickler auf verschiedene Techniken zurückgreifen.

Zu den wichtigsten Methoden zählt die Layer-wise Relevance Propagation (LRP; etwa: „Schicht für Schicht erfolgende Übertragung von Bedeutung“), die im Jahr 2015 erstmals beschrieben wurde. Mit diesem Verfahren lässt sich herausfinden, welche Merkmale von Eingangsvektoren am stärksten zum Ausgabeergebnis eines neuronalen Netzwerks beitragen. Durch die damit einhergehende pixelweise Zerlegung von nichtlinearen Klassifikatoren können Entscheidungen wie bei dem Husky-Wolf-Beispiel besser nachvollzogen werden.

So kann in der Medizin zum Beispiel ermittelt werden, mit welcher Wahrscheinlichkeit ein Patient eine bestimmte genetische Erkrankung hat und auf welchen Merkmalen diese Entscheidung basiert. Das LRP-Verfahren ermöglicht zukünftig individuell abgestimmte Therapien und ebnet damit den Weg für die personalisierte Medizin.

Die Counterfactual Method beschreibt, wie der Input (Texte, Bilder, Diagramme etc.) nach Erhalt eines Ergebnisses ganz gezielt verändert wird. Daraufhin wird genauestens beobachtet, inwiefern sich der Output dadurch verändert hat. Dies erlaubt es, zu identifizieren, welche Feinheiten im Daten-Input das Ausgaberesultat erklären.

Des Weiteren hat das Erklärmodell Local Interpretable Model-Agnostic Explanations (LIME; etwa: “lokale, interpretierbare, modell-agnostische Erklärungen”) den ganzheitlichen Anspruch, jeden maschinellen Klassifikator und die daraus folgende Prognose erklärbar zu machen. Das Grundprinzip besteht darin, ein vorliegendes Modell auch für fachfremde Nutzer verständlich zu machen. Beispielsweise kann ein linearer Classifier auf die Ergebnisse eines neuronalen Netzes geschaltet werden, um diese nachvollziehbar zu machen. Zwar schränkt das die Genauigkeit des Modells ein, ermöglicht aber eine Interpretation.

Die Rationalization ist eine weitere Technik, die vor allem bei KI-basierten Robotern (Black Box-Maschinen) eingesetzt wird. Die Maschine wird so konzipiert, dass sie ihre Handlungen selbstständig erklären kann. Eine tiefere Rechenschicht protokolliert, weshalb eine bestimmte Handlung ausgelöst wird und vermittelt diese Information an die Nutzer.

Neben diesen bekannten Methoden gibt es zahlreiche weitere Ansätze von Explainable AI. Dazu zählen zum Beispiel Individual Conditional Expectation (ICE), Accumulated Local effects (ALE), Feature Interaction, Permutation Feature Importance und Global Surrogates, um nur ein paar zu nennen. In der Forschung werden stetig weitere Ansätze entwickelt und geprüft.

Von der Black Box zum Glaskasten

Längst haben Akteure aus der Wissenschaft und Praxis die großen Chancen erkannt, die Explainable AI bietet. Indem XAI die Entscheidungsformierung transparent und erklärbar macht, schafft sie ein tiefergehendes Verständnis für bislang unbekannte Zusammenhänge. So können Entwickler die Funktionsweise der Modelle besser verstehen, Nutzer können die Ursache von Anomalien identifizieren und (fachfremde) Entscheider können ein größeres Vertrauen in KI-Anwendungen entwickeln.

Daraus lässt sich schließen, dass Explainable AI den Weg für eine vertrauenswürdige KI ebnen kann. Die größte Herausforderung besteht darin, aus unverständlichen Black Boxes wieder nachvollziehbare Glass-Boxes zu erzeugen, ohne dass die Leistung der KI-Modelle beeinträchtigt wird. Daher ist es wichtig, dass Forschung und Praxis eng zusammenarbeiten, um gemeinsam praxisnahe Lösungsansätze zu entwickeln.
 

Quellen:

Gesellschaft für Informatik

Vortrag von Nina Schaaf, Fraunhofer Institut

DARPA