Erklärbare KI, Chancen und Risiken 

Thomas Sinnwell: Herzlich Willkommen zu unserer neuen Podcast-Folge in der Staffel Technik über den Tellerrand. Heute wird es um das Thema erklärbare KI gehen. Und ich habe da einen ganz besonderen Gast gewinnen können. Professor Doktor Toni Krüger, er ist Geschäftsführer DFKI und gleichzeitig Direktor des Forschungsbereich kognitive Assistenzsysteme am DFKI. Herzlich Willkommen.

Antonio Krüger: Schön, dass ich hier sein darf.

Thomas Sinnwell: Ja, ich erzähle vielleicht noch ein bisschen was zu dir. Ich musste da auch-, oder ich schaue mal auf meinen Spickzettel. Ich kann nicht mal meinen eigenen Lebenslauf so fließend runterbeten. Ja, also Professor Krüger hat an der Universität des Saarlandes Informatik und Wirtschaftswissenschaften studiert. Hat 1999 seine Promotion in Informatik abgeschlossen. Von 2004 bis 2009 war er Professor für Informatik und Geoinformatik an der Universität Münster und geschäftsführender Direktor des Instituts für Geoinformatik. Seit 2009 ist er Inhaber der Globus-Stiftungs-Professur für Informatik an der Universität des Saarlandes. Ich würde dich bitten Toni vielleicht, das DFKI vorzustellen. Die meisten unserer Zuhörer wissen sehr wahrscheinlich, was das DFKI ist, vielleicht nicht mehr alle, was das DFKI so genau macht. Was macht ihr denn?

Antonio Krüger: Ja, also das DFKI, also Deutsche Forschungszentrum für künstliche Intelligenz, hat sich insbesondere auf die Fahnen geschrieben, den Transfer von der Grundlagenforschung in die Anwendung zu unterstützen und zwar durch anwendungsorientierte Forschung. Das bedeutet, alle Direktorinnen und Direktoren am DFKI sind gleichzeitig auch Universitätsprofessorinnen und -professoren an den jeweiligen Standort-Universitäten. Wir sind ja als DFKI inzwischen in sechs Bundesländern aktiv. Und haben 1.400 Mitarbeiter, wenn wir die Hilfskräfte mitzählen, was wir natürlich tun. Und sind eng verzahnt mit den entsprechenden Universitäten. Dort wird die Grundlagenforschung gemacht. Und am DFKI transferieren wir die Ergebnisse mit vielen Industriepartnern, in vielen Projekten. Wir haben am DFKI über 300 Projekte ungefähr zu jedem Zeitpunkt laufen, in ganz unterschiedlichen Bereichen. Das ist unsere Mission, dieser Transfergedanke, das ist ganz wichtig. Und das machen wir seit 30 Jahren als gemeinnützige GmbH in einem Public Privat Partnershipmodell, wo sowohl Gesellschafter*Innnen aus der Industrie, als auch von der öffentlichen Hand gemeinsam das DFKI unterstützen.

Thomas Sinnwell: Ja, besten Dank. Jetzt möchten wir ja heute der Frage nachgehen, gemeinsam, was steckt den eigentlich hinter dem Begriff erklärbare KI. Und ich glaube, es ist ein ganz guter Einstieg, wenn wir uns erstmal über KI unterhalten. So der allererste Podcast, der hier in diesem Raum produziert wurde, in dem ich auch Host sein durfte, da hatte ich das Vergnügen, mit eurem Research-Fellow, dem Doktor Jan Alexandersson zu sprechen. Und wir haben KI, ich sage mal, in einem Streifzug betrachtet, und auch paar Aspekte, juristische, ethische, kurz beleuchtet. Aber nicht jeder wird diesen Podcast gehört haben, nicht jeder hat ihn noch im Kopf. Ich möchte dich bitten, vielleicht ganz kurz zu erklären, was ist denn KI?

Antonio Krüger: Ob das jetzt ganz kurz klappt, weiß ich nicht, aber ich versuche es mal. Es ist so, wenn man zehn KI-Forscher fragt, was KI ist, bekommt man wahrscheinlich zehn unterschiedliche Antworten. Insofern wird das auch nicht ganz deckungsgleich sein, was Jan Alexandersson erzählt hat und was ich erzähle. Aber künstliche Intelligenz beschäftigt sich natürlich mit Algorithmen, mit Verfahren aus der Informatik, die eng verknüpft sind mit Systemen, die Dinge tun, wo wir als Menschen, sagen würden: „Da braucht man einen gewissen Grad an Intelligenz dazu, um das hinzubekommen.“ Daran erkennt man schon, dass das natürlich auch ein bewegliches Ziel ist. Also zum Beispiel, als damals in den neunziger Jahren die Blue, damals von IBM, Kasparow im Schach geschlagen hat, den damaligen Schachweltmeister, dann war das ganz klar eine Domäne der künstlichen Intelligenz. Da wurde sogar gesagt: „Oh, jetzt ist dem Menschen die Intelligenzkrone entrissen worden.“ Darüber kann natürlich jeder-, heutzutage lächeln, jeder würde wahrscheinlich noch nicht mal richtig ernsthaft darüber argumentieren, dass Schachprogramme, die jetzt zum Beispiel auf dem Smartphone laufen, wirklich auch KI-Verwendung haben. Aber daran erkennt man, es bewegt sich, das Ziel bewegt sich. Was aber klar ist, ist, dass bestimmte menschliche Eigenschaften wie Verwendung der natürlichen Sprache, Systeme, mit denen ich Dialoge führen kann, mit denen ich sprechen kann, die was sinnvolles antworten können auf Fragen, die ich äußere, dass das etwas mit KI zu tun hat, glaube ich, das würde jeder unterschreiben. Robotische Anwendungen, das heißt, physisches Verhalten, was wir mit einer gewissen, bestimmten Intelligenz verbinden, zum Beispiel eine Maschine, die komplexe Teile zusammenbaut, das würde man auch mit intelligentem Verhalten verknüpfen. Und natürlich, ganz wichtig, und das war damals schon in den sechziger Jahren im Zentrum, als der Begriff KI geprägt wurde in den USA, ist natürlich die Fähigkeit des Selbstlernens. Das heißt, aus Fehlern zu lernen, aus Erfahrungen zu lernen. Und das heißt, eine gewisse Dynamik in einem System drin zu haben, was uns als Menschen selbstverständlich ist. Wir würden natürlich hoffentlich alle für uns in Anspruch nehmen, dass wir zumindest mal nach einer gewissen Anzahl von Fehlern auch lernen, irgendwie und uns dort weiter entwickeln. Und wenn Maschinen das können, dann spricht man sicherlich auch von künstlicher Intelligenz.

Thomas Sinnwell: Ja. Ich sage ja ganz gerne, wenn ich gefragt werde, was KI-Systeme sind, dass es sich dabei um digitale Systeme handelt, in denen Algorithmen stecken, die von Menschen entwickelt wurden. Das ist zugegebenermaßen ein trockener Einstieg, vielleicht auch ein ingenieurmäßiger Einstieg, aber für mein Dafürhalten erdet es das Thema erstmal ungemein. Um die dann vielleicht hochgekommenen Fragezeichen wieder aufzulösen, schiebe ich dann in der Regel ganz gerne nach, dass die Algorithmen in diesem digitalen System dazu dienen, dass die Maschine aus Eingabedaten lernen kann. So. Und was heißt jetzt dieses Lernen? Da gibt es aus einer sehr hohen Flughöhe betrachtet so zwei große Klassen von Algorithmen. Und die sind für unterschiedliche Anwendungsbereiche geeignet. Die eine Klasse, die dient dazu, Muster in riesigen Datenmengen erkennen zu können. Und gerade in dieser Disziplin sind uns KI-Systeme, uns Menschen, also wirklich haushoch überlegen. In der zweiten Klasse geht es dann darum, spezifische Merkmale zu lernen, denen man eine Bedeutung geben kann oder da eine Zuordnung machen kann. Klingt jetzt abstrakt, ist aber eigentlich einfach erklärt. Beispielsweise, wenn eine Kamera ein Bild sieht, dass die Maschine dann weiß: „Okay, was ich hier sehe, das ist eine Mutter oder das ist eine Schraube.“ Ja, das ist dann sicherlich noch nicht so die ganze Wahrheit. Und um nach dem trockenen Einstieg die Faszination wieder zu entfachen und um das Thema ein wenig mehr zu komplettieren, erläutere ich dann gerne die Struktur von tiefen neuronalen Netzen. Die sind ja von der Grundstruktur unserem Gehirn schon nachempfunden und greifen da Elemente auf. Aber das Tolle an diesen Netzen ist ja, dass sie im Rahmen von Ringphasen in der Lage sind, selbst Algorithmen zu generieren. Also die Algorithmen, von denen ich die ganze Zeit gesprochen habe, um spezifische Merkmale aus Eingabedaten lernen zu können. Aber du hast jetzt was angesprochen, dieses Selbstlernen und dass es sich anmutet, als ob das auch ein intelligenter Menschen machen würde. Was ist denn heutzutage Stand der Technik, und womit beschäftigt sich das DFKI? Was sind jetzt die Themen, die euch unter den Nägeln brennen, die die Zukunft der DFKI bestimmen werden?

Antonio Krüger: Also am DFKI, auch durch unser Wachstum in den letzten 10, 15 Jahren, sagen wir schon, dass wir uns mit allen Facetten der künstlichen Intelligenz beschäftigen. Das heißt, all das, das ich eben als beispielhaft erwähnt hatte, von der natürlichen Sprachen, über die Robotik, über das maschinelle Lernen, also Selbstlernsysteme, bis hin in ganz viele Anwendungen, wo KI eine wichtige Rolle spielt, überall da ist das DFKI unterwegs. Und da geht es zum einen natürlich darum, die Verfahren, die es jetzt schon gibt, immer auch weiter zu verbessern. Das bedeutet zum Beispiel Bilderkennungsverfahren zu verbessern dahingehend, dass sie eben besser als der Mensch Sachen unterscheiden können, erkennen können, klassifizieren können. Ich denke zum Beispiel mal an Systeme, die Radiologen dabei unterstützen, Tumor, bestimmte Tumorarten zu erkennen. Da gibt es inzwischen Verfahren, die tatsächlich im Mittel besser entscheiden als die Ärztin oder der Arzt, also die richtigen Diagnosen treffen. Aber natürlich ist für uns, da wir ja als Transferinstitut uns die Anwendung auf die Fahnen geschrieben haben, besonders interessant, KI in die industrielle Anwendung zu bringen. Das ist für uns ein ganz, ganz wichtiges Thema.

Thomas Sinnwell: Was macht ihr da?

Antonio Krüger: Da machen wir eine ganze Reihe von Dingen im Kontext von Industrie 4.0. Das ist ja auch ein Begriff, der am DFKI miterfunden wurde, von Wolfgang Wahlster, zusammen mit Wolf- Dieter Lukas und Henning Kagermann. Die haben den Begriff ja zusammen entwickelt, und das erste Konzeptpapier auf der Hannovermesse vor, weiß ich nicht, 15, 18 Jahren, also ist schon relativ lange her, vorgestellt. Und tatsächlich ist das für uns ein ganz wichtiges Thema, weil die Industrie eben für Deutschland und für Europa so einen großen Stellenwert hat, vielmehr als die Dienstleistungen zum Beispiel. Und weil auch wir in Europa durch den starken Mittelstand, den wir haben, durch die starken Industrieunternehmen, an der Stelle auch noch einen Wettbewerbsvorteil haben beim Einsatz von KI-Techniken und -methoden. Es ist klar, dass im Consumer-Markt, wenn wir an große Internetplattformen denken und so weiter, da, sagen wir mal, gibt es auch einige Player aus Europa. Aber natürlich lange nicht so bedeutsame und große wie in den USA oder in China. Aber, man muss auch sagen, wir haben hier in Deutschland mit SAP den Marktführer bei Business-Software. Und das kommt nicht von Ungefähr. Das hängt eben mit unserer starken industriellen Mittelstandsstruktur zusammen. Und eine unserer Aufgaben ist es tatsächlich, KI-Methoden zu nehmen und die in die industrielle Fertigung reinzubringen. Also Robotik, Predictive Maintenance zum Beispiel, ist ein ganz, ganz wichtiges Thema.

Thomas Sinnwell: Erläutere doch mal für die Zuhörer, was das ist, was sich dahinter versteckt. Das weiß, glaube ich, nicht jeder.

Antonio Krüger: Also bei der "Predictive Maintenance" geht es darum, aus Daten, die im industriellen Prozess erhoben werden von den Maschinen, direkt abzuleiten, an welchen Stellen gegebenenfalls Wartungsarbeiten oder Qualitätsmängel in der Zukunft zu erwarten sind und zu welchem Zeitpunkt. Und das führt dann dazu, dass diese Maschinen natürlich zielgerichteter gewartet werden, das bedeutet, weniger Stillstände haben. Und gleichzeitig auch, im Prinzip dadurch, dass die Wartungsintervalle sehr individuell angepasst werden an die Prozesse und an die Maschinen, natürlich auch mit weniger Kosten gewartet werden können. Also das ist ein wichtiger Aspekt. Das andere wichtige Thema, glaube ich, in Europa ist Mensch-Roboter-Kollaboration. Die großen-, es gibt einige wirklich weltweit bedeutsame Firmen in Europa, die im Cobot-Bereich unterwegs sind. Cobot bezeichnet die Roboter, die eng, direkt mit Menschen zusammenarbeiten können in der Fertigung. Und eben nicht im Käfig stehen wie die großen, industriellen Roboter, wie man sie aus diesen Schweißstraßen zum Beispiel aus dem Automobilbau kennt. Und das ist auch ein Thema, was in Europa deutlich weiter fortgeschritten ist in der Forschung, aber auch in den Firmen, als zum Beispiel in den USA oder aber auch in Japan.

Thomas Sinnwell: Ich finde das ganz wichtig, was du da sagst. Weil-, es begegnet mir oft diese Ansicht, dass KI-, das ist so ein Thema, was über den großen Teich entwickelt wird, von den großen Playern. Aber du hast es ja schon angesprochen, es geht in eine ganz bestimmte Stoßrichtung. Und wenn es jetzt wirklich um diese industrielle Anwendung geht, oder auch,um Fragestellungen, um ethische Fragestellungen, um juristische Fragestellungen, da passiert doch hier in Europa, für mein Dafürhalten, wesentlich mehr. Sehe ich das richtig?

Antonio Krüger: Das siehst du richtig. Das ist tatsächlich, glaube ich auch gar nicht so verwunderlich, weil-, es geht ja um die Daten. Wir sprachen über das maschinelle Lernen, maschinelles Lernen benötigt Daten. Jetzt ist es so, dass natürlich die USA und auch China, weil die entsprechende Plattformdienste haben, unglaublich gut an Consumer-Daten herankommen. Und natürlich mit denen lernen und entsprechend Services für Consumer anbieten. Das ist ja irgendwie klar. Wir haben aber die große Chance durch unseren hohen Industrialisierungsgrad, durch den hohen Mittelstand und die vielen hidden Champions mit hoch qualitativen industriellen Daten zu arbeiten. Und das ist etwas, was tatsächlich weder in den USA noch in China besonders im Fokus steht und wo auch die Daten gar nicht so qualitativ sind wie bei uns. Das ist eine große Chance, die wir haben.

Thomas Sinnwell: Ja. Und wir sind ja jetzt bei diesem industriellen Kontext. Und das ist, denke ich, eine ganz prima Überleitung zum Kernthema unseres Podcast, zum Thema erklärbare KI. Was ist denn erklärbare KI?

Antonio Krüger: Tja, also da schließe ich direkt an den Begriff an, was ist KI. Ja, wenn man sagen will, was ist erklärbare KI ist, muss ich erstmal sagen, was KI ist. Wir hatten ja kurz über den KI-Begriff gesprochen. Ich glaube, eine Sache, die vielleicht auch aus meinem Erklärungsversuch herausgekommen ist, ist, dass es eben nicht so eindeutig ist, was KI ist. Wie KI funktioniert. Es gibt ganz, ganz viele unterschiedliche Verfahren. Und hinzukommt, dass ja der Erfolg der letzten zehn Jahre in der künstlichen Intelligenz insbesondere dem maschinellen Lernen. Dem großen Erfolg, über Riesendatenmengen zu lernen und diese zu verwenden und auch tabellig-, um alle möglichen Anwendungen zu verbessern. Und-.

Thomas Sinnwell: Und das sind ja Bereiche, da sind uns die Maschinen auch haushoch überlegen. Da sind sie wesentlich besser.

Antonio Krüger: Teilweise haushoch überlegen. Teilweise gibt es viele Bereiche, wo Mensch und Maschine gemeinsam besser sind als der Mensch alleine oder die Maschine alleine. Und in einigen Bereichen ist es immer noch so, da hat der Mensch noch die Nase vorn. Wir haben also das gesamte Spektrum. Aber das entscheidende beim maschinellen Lernen ist das statistische Lernverfahren. Das bedeutet, die nehmen Riesendatenmengen. Wenn ich mir die großen Erfolge in den letzten zehn Jahren-, insbesondere auf die Skalierbarkeit der neuronalen Netze zurückzuführen sowohl, was die Architekturen angeht, also wir haben immer größere neuronale Netze, die wir verwenden. Die auch teilweise immer bessere Ergebnisse erzielen. Und wir haben die entsprechende Hardware, auf denen wir diese Netze trainieren können, weil das sehr, sehr aufwändig ist.

Thomas Sinnwell: Das hat das Thema ungemein gepuscht.

Antonio Krüger: Das hat das Thema ungemein gepuscht. Ein großer Nachteil dieser statistischen Verfahren, insbesondere der neuronalen Netze ist, dass sie Blackbox-Verfahren sind. Das bedeutet, im Zweifel können wir zum Beispiel ein Bild vorne in so ein neuronales Netz reinschieben und hinten fällt eine Klassifikation heraus. Das heißt, das neuronale Netz sagt mir, ja, handelt es sich, was weiß ich, um einen Tumor oder es handelt sich nicht um einen Tumor an dieser oder jener Stelle im Bild. Aber was innendrin passiert, wissen wir nicht. Und die andere Beobachtung ist, dass eben statistische Verfahren eben statistisch funktionieren. Das heißt, im Mittel sind sie immer-, können sie besser werden als der Mensch. Aber nicht bei jeder Entscheidung. Das ist so ähnlich wie beim Menschen selber auch. Tatsächlich ist es so, dass eben auch neuronale Netze manchmal meilenweit daneben liegen. Zwar nicht sehr häufig, aber schon zu einer gewissen Prozentzahl. Und wenn wir sagen, sie sind besser als der Mensch, dann bedeutet das nicht, dass sie zu 100 Prozent richtig sind. Sondern das bedeutet, dass sie vielleicht ein, zwei Prozent besser sind als der Mensch. Das heißt, wenn der Mensch zu 90 Prozent oder 91 Prozent korrekte Entscheidungen trifft, ist so ein sehr, sehr gutes neuronales Netzwerk-, liegt bei 92 Prozent. Das heißt, acht Prozent sind immer noch falsch. Und wenn ich mir jetzt vorstelle, ich bin beim Arzt und wir schauen gemeinsam auf ein Röntgenbild. Und da wird gegebenenfalls eine dunkle Stelle diskutiert und das neuronale Netz sagt: „Das ist ein Tumor.“ Und der Arzt ist sich nicht sicher, dann kann er das System, Stand heute, nicht so ohne weiteres fragen, wie es denn darauf kommt, dass das ein Tumor ist und nicht einfach irgendwie eine andere Ursache hat. Und hier ist es tatsächlich ganz wichtig, dass wir Systeme entwickeln, die sowas beantworten können. Darum geht es in der erklärbaren KI. Es ist nicht nur in der Medizin superwichtig, sondern überall, wo Fehlentscheidungen viel Geld kosten oder eben persönliche Schicksale betreffen. Und da gibt es ganz, ganz viele Beispiele, wo ich fest davon überzeugt bin, dass wir Ansätze benötigen, die erklären können, wie so ein System zu einer Entscheidung oder zu einer Empfehlung oder zu einem Empfehlungsvorschlag kommt.

Thomas Sinnwell: Also meine Wahrnehmung ist, dass wir aktuell einen enorm technischen Zugewinn haben, gerade durch Methoden des maschinellen Lernens, aber dass es in Teilen auch zu einem Kontrollverlust führt. Weil-, wenn ich Blackbox-Ansätze habe-, stimmt das jetzt, das Ergebnis? Kann ich dem vertrauen oder nicht? Und wenn ich das akzeptieren will als Mensch, dann möchte ich immer noch verstehen, wie das System darauf kommt. Und das ist jetzt gerade in unserer Domäne, ein ganz spannendes Thema. Wir entwickeln ja Monitoring-Systeme mit großer IT-Infrastrukturen Überwachung. Also Überwachen in einem ganz positiven Sinne. Wir versuchen herauszufinden, gibt es technische Probleme, wie kann man das frühzeitig erkennen. Das Personal zu unterstützen, diese Probleme analysieren und beheben zu können. Da sind aber auch Fragestellungen, findet da vielleicht eine Cyber- Attacke statt oder werden Daten exfiltriert. Also teilweise sehr, sehr wichtige Themen für Unternehmen. Und wenn ich jetzt so ein Überwachungssystem habe und das fährt einen Blackbox-Ansatz und sagt: „Oh, wir werden gerade angegriffen. Wir haben diesen Alarm. Der hat eine hohe Kritikalität. Das ist ganz problematisch.“ Und gibt vielleicht noch eine Wahrscheinlichkeit heraus. Das findet man heute nicht mehr, das war vor ein paar Jahren noch so. Dann hilft es dem Menschen vor dem System wenig. Der stellt sich die Frage: „Ja, werde ich jetzt angegriffen oder werde ich nicht?“ Und wenn ich das, was die Maschine sagt, akzeptieren will, dann möchte ich doch wissen, wie kommt sie darauf.

Antonio Krüger: Ja, ich denke, das ist wichtig. Vor allen Dingen, dass die Systeme auch verschiedene Erklärungsgrade und -ebenen anbieten. Das hängt eben auch sehr davon ab, mit wem kommuniziert wird. Hier in dem Fall ist es ein Experte, der immerhin schon einen gewissen Hintergrund hat. Vielleicht kein Experte im maschinellen Lernen, also der wird keine richtig gute Vorstellung davon haben, wie das System selber funktioniert und kann daraus Schlüsse ziehen. Aber er hat Domänenwissen, er kennt sich in der Domäne aus, er hat eine gewisse Erfahrung auch in der Verwendung von gewissen Tools. Und da muss man entsprechend ansetzen. In anderen Bereichen, wie zum Beispiel im medizinischen Bereich, macht es eben auch einen Unterschied, ob ein System einem Arzt etwas erklärt oder einem Endbenutzer, dem Patienten. Das ist eine andere Erklärungsebene, sodass man Systeme benötigt, die sich dort ein bisschen anpassen können. Weil am Ende ist eine Erklärung, die ich nicht verstehe, selbst wenn sie logisch ist, ist sie nicht hilfreich. Das ist das Entscheidende. Das ist eben der Unterschied zu einem mathematischen Beweis, der eben logisch ist und nachweislich korrekt. Trotzdem, wenn ich den mathematischen Beweis nicht verstehe, dann hilft er mir nichts, dann werde ich kein Vertrauen in so ein System haben. Und das ist eben die große Herausforderung.

Thomas Sinnwell: Ich habe bei euch im Haus einen wunderbaren Vortrag gehört. Da ging es auch um ethische Fragestellungen, rechtliche Fragestellungen. Und da wurde ein Beispiel präsentiert und da ging es dann auch um bildgebende Verfahren. Und da ging es darum, dass das System lernen soll, ist das jetzt eine sehr schwerwiegende Erkrankung oder ist es was, was man noch in den Griff bekommen kann, diese Differenzierung. Und was tatsächlich gemacht wurde, die Leute, die einfach eine bessere Prognose hatten, die mobiler waren, die wurden mit einem ganz anderen System untersucht als die, die sehr schwer krank waren. Da war es nämlich ein mobiles Gerät. Und was die Algorithmen da totsicher gelernt hatten, ein spezifisches Merkmal auf dem Foto, auf letztendlich den Bilddaten zu erkennen und haben dadurch diese hohe Treffsicherheit gehabt, der ist jetzt wirklich vom Tode bedroht und der noch nicht. Und das ist, glaube ich, ein sehr schönes Beispiel dafür, warum es so wichtig ist, zu verstehen, wie kommt die Maschine dazu. Hätte sie mir nicht sagen können, na ja, da ist unten rechts in der Ecke, ist so eine kleine Signatur oder ist ein Element, das ist für mich der entscheidende Faktor, hätte man sofort gewusst, man hat die Maschine falsch trainiert.

Antonio Krüger: Und es gibt noch andere bekannte Beispiel. Davon gibt es sehr viele Beispiele. Es gibt auch eins, wo ein System, was Wölfe von Hunden unterscheiden gelernt hat. Und das Hauptkriterium war der Hintergrund. Weil die meisten Bilddaten von Wölfen eben vor ganz anderen Hintergründen, meistens sogar mit Schnee und so weiter, dem System präsentiert wurden. Und diese Systeme lernen das von dem, was sie bekommen. Und das darf man nie vergessen, sie lernen kein echtes Modell. Obwohl der Informatiker häufig gerne vom Modell, einem statistischen Modell, spricht. Wir haben ein Modell gelernt, aber nicht in dem Sinne wie wir als Menschen sagen würden, ein Modell, aus dem ich Vorhersagen ableiten kann oder sogar neue Dinge ableiten kann. Und das fehlt. Und das merkt man auch bei den großen modernen Sprachmodellen, statistischen Sprachmodellen. Zum Beispiel GPT-3 von "open eye", das ist ja so eins der Systeme, was mit Millionen, Milliarden von Datensätzen trainiert wurde und was auch erstaunliche Ergebnisse produziert, zum Beispiel selber Geschichten weiterschreibt und so weiter. Aber wenn diesem System unsinnige Fragen stellt, dann bekommt man völlig unsinnige Antworten. So würde ein Mensch niemals antworten. Weil ein Mensch eben eine Vorstellung hat, worüber er spricht. Und vor allen Dingen haben Menschen meistens auch eine Vorstellung davon, wenn sie etwas nicht wissen, und deswegen sagen sie dann: „Tut mir leid, diese Frage kann ich nicht beantworten. Die ist Unsinn.“ Aber moderne KI-Systeme beantworten eigentlich jede Frage irgendwie. Das kriegt man dann häufig nicht präsentiert. Ich glaube wenn man mehr solcher unsinnigen Systemantworten, für die Öffentlichkeit publik machen würde, dann würde man viel eher auch verstehen, wo die Grenzen heutiger KI-Systeme sind. Und würde auch verstehen, dass wir unbedingt diese erklärbare KI benötigen, weil man sich eben auf KI-Systeme nicht hundertprozentig verlassen kann, sondern eben nur zu 92 oder 93 Prozent. Und die Systeme würden niemals sagen: „Weiß ich nicht.“ Oder sehr, sehr selten. Weil-, es ist schwierig für so ein System.

Thomas Sinnwell: Ja. Und ich denke, das ist jetzt vielleicht auch ein ganz guter Punkt, an dem wir mal darüber sprechen, wie schafft man es denn überhaupt, solche KI-Systeme erklärbar zu machen?

Antonio Krüger: Ja, das ist natürlich zum Teil eine Diskussion in der Forschung, muss man sagen. Trotzdem gibt es schon einige sehr gute Ansätze, verschiedene Wege, wie man Erklärbarkeit in solche KI-Systeme hineinbekommt. Und im Wesentlichen kann man drei Phasen unterscheiden. Einmal sozusagen die Phase vor dem Einsatz von so einem KI-System, wo man vielleicht auch das KI-System selber konfiguriert oder aufsetzt, bevor es lernt. Zum Beispiel, indem man über Simulationen versucht herauszubekommen, wie Systeme auf bestimmte Dinge reagieren. Das ist ein ganz, ganz wichtiges Thema. Weil wir viele Daten auch noch gar nicht  vorliegen haben, um Systeme zu trainieren. Wenn du zum Beispiel an ein selbstfahrendes Auto denkst, was einem Kind ausweichen soll oder einem Ball, der vors Auto rollt, und dann daraus schließen soll, jetzt kommt gleich ein Kind hinterher gelaufen. Zum Glück haben wir nicht viele Daten von sowas. Und man will die vielleicht auch nicht ernsthaft in solchen Situationen sammeln. Aber was man tun kann, man kann synthetische Daten generieren. Also wir können im Prinzip wie in so einem 3-D-Computerspiel, können wir virtuelle Kinder hinter virtuellen Bällen hinterher laufen lassen und können virtuelle Autos fahren lassen. Und daraus kann man tatsächlich lernen. Und wenn ich dann Verfahren habe, die mir vorhersagen, ja, was gut und was schlecht funktioniert, dann kann ich während des Design-Prozesses schon versuchen rauszubekommen, was funktioniert und was nicht funktioniert. Das ist sozusagen die erste Phase. Die zweite Phase ist vielleicht mit eine der wichtigsten Phasen, ist die während des Betriebs. Wenn etwas-, du nanntest das Beispiel der Überwachung von einer Netzwerksituation und da während des Betriebs zu erklären, was los ist. Das ist wahrscheinlich mit das Wichtigste. Und die dritte Phase ist danach, dass man in der Lage ist, wenn was schief gegangen ist, nachträglich zu analysieren, was ist da eigentlich schief gegangen. Alle drei sind wichtig. Alle drei erfordern bisschen andere Verfahren. In der Regel ist es so, wir können bis zu einem gewissen Grad in diese Blackbox hineinschauen, in die neuronalen Netze hineinschauen. Und können schon auch ableiten, du sagtest es, ob zum Beispiel ein neuronales Netz eine Entscheidung immer nur aufgrund des Bildausschnittes trifft, der sozusagen unten rechts ist. Dann ist uns gleich klar und da können wir auch Systeme bauen, die das automatisch erkennen, ist uns gleich klar, da kann irgendwie was nicht stimmen und da kann man dann tiefer reingehen.

Thomas Sinnwell: Aber da gibt es doch auch ganz schöne Mischformen, wo der Mensch wieder hilft.

Antonio Krüger: Genau.

Thomas Sinnwell: Wenn ich mir nämlich wirklich diese Gewichtung in den neuronalen Netzen identifizierbar mache, das Ganze noch visualisiere, dann habe ich oft als Mensch eine ganz gute Chance, wenn sie natürlich nicht allzu tief sind, ganz gut noch erkennen zu können, wie kommt denn der Algorithmus jetzt auf dieses Ergebnis.

Antonio Krüger: Genau. Dafür braucht man natürlich ein gewisses Hintergrundwissen auch. Also das ist für eine bestimmte Benutzergruppe durchaus ein gangbarer Weg. Für andere muss dann aus diesen Informationen tatsächlich eine natürliche Sprache am Ende generiert werden. Aus einem Modell, was man aus Allgemeinwissen oder aus Expertenwissen aufbaut, welches man mit statistischen Modellen kombiniert. Das ist auch ein ganz vielversprechender Ansatz. Wir sprechen da häufig von hybriden Modellen, die einen deutlich höheren Grad an Erklärbarkeit für unterschiedliche Benutzergruppen erzeugen können als rein , zum Beispiel, die Gewichtung im neuronalen Netzwerk.

Thomas Sinnwell: Ja gerade diese hybriden Ansätze, die treiben uns jetzt ganz gut um aktuell im Haus. Da haben wir natürlich die Chance durch die Packet-Inspection viele Informationen zu extrahieren, die man relativ gut interpretieren kann. Man kann sowas dann auch noch kombinieren mit Entscheidungsbäumen, das kann ich dann sehr gut interpretieren wie das Ergebnis ausfällt und das dann kombinieren mit maschinellem Lernen.

Antonio Krüger: Das ist auch tatsächlich etwas, was man allgemein beim Einsatz von KI in der Industrie beobachten kann. Dass es kaum Unternehmen gibt, die rein auf ein statistisches Verfahren allein setzen. Es ist ein ganz wichtiger Baustein. Die größten Erfolge in den letzten zehn Jahren sind bei diesem Verfahren erzielt worden. Aber jetzt nochmal zurück autonomes Fahren. Kein Automobilhersteller käme auf die Idee, die Verkehrsregeln des Autos nur auf Grundlage eines neuronalen Netzes zu überprüfen. Sondern selbstverständlich, gibt es da Straßenverkehrsordnungen, die kann ich-, wir Informatiker haben damit kein Problem das in ein entsprechendes Modell in Regeln zu gießen. Warum sollte man das nochmal von einem neuronalen Netz lernen lassen. Das ist zwar eine interessante Übung, wird auch gemacht in der Forschung. Da schaffen die Systeme dann auch zu 99 Prozent, aber wenn ich doch 100 erreichen könnte, warum soll ich mich mit 99 zufrieden geben.

Thomas Sinnwell: Ja. Ich glaube, es ist uns jetzt gelungen, einen ganz guten Durchstieg durch dieses Thema "erklärbare KI" zu machen. Und ja, so in alter Tradition würde ich es gerne zum Ende des Podcasts vielleicht kurz zusammenfassen. Und ja, ich denke, das Ziel von explainable AI oder erklärbarer KI, das kann man ganz gut erklären. Es geht letztendlich darum, dass der Mensch verstehen kann, wie der Algorithmus zum Ergebnis kommt. Und jetzt möchte ich dich bitten, vielleicht auch nochmal auszuführen warum das aus deiner sicht so wichtig ist

Antonio Krüger: Also ich denke, das ist deswegen so wichtig, weil man sich ja nochmal vor Augen führen soll, warum wir überhaupt an KI-Systemen forschen, wir am DFKI jedenfalls. Und das ist, weil wir Systeme bauen wollen, die den Menschen dabei unterstützen, die Dinge, die der Mensch machen möchte, die Probleme, die der Mensch bewältigen muss, zu unterstützen und zu lösen. Das heißt, das ist ein ganz klar menschenzentrierter Ansatz. Es ist auch klar, dass auf absehbare Zeit viele dieser KI-Systeme nur in enger Zusammenarbeit mit dem Menschen ihr volles Potenzial ausschöpfen können. Weil die Fehler, die die KI-Systeme machen, immer noch so hoch sind, dass es ohne menschliche Überwachung in vielen Bereichen, ich sage nicht in allen, es gibt sogar einige, die können vollautomatisch laufen, aber in vielen Bereichen, wo es interessant wird, sage ich mal, der Mensch immer noch eine wichtige Rolle spielen wird. Und deswegen ist es klar, dass wir an dieser Schnittstelle arbeiten müssen. Wo Mensch und Maschine eng zusammenarbeiten und da ist die Erklärbarkeit von Seiten der Maschine, ist ein ganz wichtiger Baustein. Andersherum ist es natürlich auch wichtig, dass der Mensch genau spezifizieren kann, was er von der Maschine will. Aber das ist noch ein anderes Thema, darüber können wir auch nochmal einen Podcast machen. Aber diese Richtung, die ist sehr, sehr wichtig. Und ich glaube, wenn es uns nicht gelingt Systeme zu bauen, die bei wichtigen, kritischen Anwendungen das Vertrauen der Menschen gewinnt, dann werden diese Systeme auch keine Chance haben, sich zu etablieren.

Thomas Sinnwell: Das ist, denke ich, ein wunderbares Schlusswort. Es hat mir sehr viel Spaß gemacht, mit dir über das Thema zu sprechen. Herzlichen Dank.

Antonio Krüger: Ja, vielen herzlichen Dank für die Einladung und für die spannende Diskussion.

Thomas Sinnwell: Ja. Hat mir viel Freude gemacht. Ich möchte jetzt noch einen kurzen Ausblick geben auf den nächsten Podcast, bei dem ich Host sein darf. Wir starten eine dreiteilige Reihe zum Thema Cyber-Security. Auch ganz spannend. Hat natürlich auch wieder was mit maschinellem Lernen zu tun. Bis dahin wünsche ich allen eine gute Zeit. Bis dann, Tschüss.

Antonio Krüger: Tschüss.

So, das war es schon wieder von uns. Wir hoffen, die heutige Folge hat euch gefallen und dass wir euch das Thema KI etwas näherbringen konnten. Weiterführende Links zur aktuellen Folge findet ihr in den Shownotes. Und wenn ihr euch für die wunderbare Welt der Technik und Software-Entwicklung interessiert, freuen wir uns natürlich, wenn ihr uns abonniert. In unserer nächsten Folge starten wir mit einer dreiteiligen Serie zum Thema Cyber-Security. Host Dr. Thomas Sinnwell ist wieder für euch da und hat einen "Special Guest" im Gepäck.

Bis zum nächsten mal. Wir freuen uns auf euch!