Einerseits werden KI-Systeme die IT-Sicherheit unterstützen, sie werden ungewöhnliche Aktivitäten und Angriffe erkennen können, dabei helfen
Sicherheitslücken zu finden und die Usability verbessern, etwa indem sie die komplizierten Konfiguration von Sicherheitsprodukten unterstützen.
Andererseits werden KI-Systeme auch den Angreifern zur Verfügung stehen. Angriffe, die bisher von Menschen durchgeführt werden, wie geschickt gemachte Phishing-Mails und anderes Social Engineering, werden automatisiert und künftig in viel größerer Zahl auftreten. Zusätzlich werden KI-Systeme völlig neue Angriffe finden und die IT-Sicherheit muss weg von dem Fixen bekannter Lücken hin zu einem systematischen Schutz - auch gegen noch unbekannte Angriffe. Hier könnte beispielsweise
die Kryptographie als Vorbild dienen.

Ein dritter Aspekt wird vielleicht noch entscheidender, wenn die KI einen großen Siegeszug antritt. Wir wissen nicht, wie man KI-Systeme wirksam vor Angriffen schützt. Dies liegt zum einen daran, dass KI-Systeme für Menschen unverständlich sind und wie eine “Black Box” arbeiten. Zum anderen liegt es daran, dass man KI-Systeme auch in ihrer Lernphase angreifen kann, etwa durch bösartige Lernbeispiele, die unter die Trainingsdaten gemischt werden. Schon ohne solche Angriffe können KI-Systeme Vorurteile annehmen und in Folge ungerechte Entscheidungen treffen.

Um die Vorteile der KI ohne neue Gefahren durch nicht beherrschte Technik nutzen zu können, benötigen wir ein KI-Engineering. Der Vortrag zeigt, am Beispiel der IT-Sicherheit, dass dies dringend notwendig ist, und wie ein solches KI-Engineering aussehen könnte.