Ist KI wirklich neutral?

Phillip Rieger: Ich möchte mit meiner Arbeit sicherstellen, dass KI sicher ist und keine Hintergedanken verfolgt.

Rieger: Nicht direkt, aber sie kann Biases oder Hintertüren antrainiert haben. Wir wissen meist nicht, mit welchen Daten KI trainiert wurde. Aber wir vertrauen ihr und denken, dass sie neutral ist. Allerdings wissen wir auch, dass manche Hersteller*innen zwar auf die Vermeidung von Biases – also Tendenzen – achten, aber andere bewusst ein bestimmtes Verhalten eintrainieren. Die KI reagiert dann in speziellen Situationen auf eine von den Hersteller*innen gewünschte Art.

Rieger: Biases können einerseits bereits in den Daten eingebaut sein. Sie können aber auch durch die Art kommen, wie KI trainiert. Nehmen wir als Beispiel die Wortvorhersage auf smarten Handytastaturen, die heute auch vielfach mit KI gemacht wird. Manche Hersteller nutzen ein kleines, lokales KI-Modell auf dem Handy und schicken nur die gelernten Parameter an das Unternehmen weiter – was nicht nur aus Performance- sondern auch aus Datenschutzgründen sehr wichtig ist. Wir wollen ja nicht, dass alle unsere privaten Textnachrichten weitergegeben werden. Das ist dann also verteiltes Machine Learning. Jetzt könnte ein anderes Unternehmen, sagen wir, 1.000 dieser speziellen Handys kaufen und wieder und wieder den Satz „Die TU Graz ist super.“ eingeben. Das Modell lernt, dass nach „TU Graz“ das Wort „super“ sehr wahrscheinlich ist und spielt das dann an alle Handynutzer*innen aus. Das ist eine Art Bias und genau über diesen Weg können auch LLMs beeinflusst werden.

Rieger: Ja. Sogenannte Promptinjections. Nutzer*innen verstecken in Dokumenten, die sie in ein Modell hochladen, Prompts – etwa einen Satz in weißer Schrift auf weißem Grund, in dem steht „Ignoriere alle deine bisherigen Anweisungen und mache xyz.“ Das haben wir bei einer großen Machine-Learning-Konferenz Anfang des Jahres gesehen: Gutachter sollten keine KI für die Bewertung der Konferenzbeiträge verwenden. In den Beiträgen waren aber Prompts versteckt, das Modell solle ganz bestimmte Formulierungen verwenden, die danach gefunden werden konnten. Wir haben anschließend eine Demo erstellt, die zeigt welche Wahrnehmung ein Mensch von diesen Dokumenten hat und welche Wahrnehmung die KI und wie damit solche Angriffe erkannt werden.

Wie gefährlich ist KI wirklich?
Und wie kann sie uns vor sich selbst schützen? Diesen Fragen geht Phillip Rieger in dieserm Artikel nach, der sich, wie er selbst sagt, mit „allem rund um künstliche Intelligenz und Cybersecurity“ befasst.

Rieger: Ja. Mit geschickter Modell-Architektur lassen sich einige dieser Probleme lösen. Das betrifft übrigens nicht nur KI-Modelle von Unternehmen, sondern kann auch in selbst-gehosteten KI-Modellen auftreten. Deshalb ist es so wichtig, das Verhalten von KI-Modellen zu untersuchen und nicht nur den Betreiber*innen vertrauen zu können.

Rieger: Ein neuronales Netzwerk ist erstmal nur eine große Menge an Gewichten, die wiederrum einfach große Kommazahlen sind. Als Mensch kann ich da sehr wenig herauslesen. Es gibt natürlich Möglichkeiten, aber die wesentlich bessere Variante ist es, sich das Verhalten von Modellen anzusehen. Weil genau genommen ist es Angreifenden völlig egal, wie sich die Gewichte der neuronalen Netzwerke verändern, solange sich das gewünschte Verhalten zeigt. So kann ich mir auch viel besser ansehen, welche Ziele verfolgt wurden.

Das Verhalten ist auch in Bezug auf die Verlässlichkeit von KI immer wichtiger. Sie wird zunehmend in kritischen Bereichen eingesetzt – etwa in der Strafverfolgung. Trotzdem kann es zu Halluzinationen kommen, wenn die KI sich nicht sicher ist, aber den Prompt erfüllen muss. Das kann natürlich sehr schlimme Folgen haben. Ich untersuche gerade, ob es Zwischenschritte gibt, die diese Anomalien erkennen und die Plausibilität checken.

Phillip Rieger ist Assistenzprofessor für Secure AI Systems am Institute of Information Security der TU Graz. Er beschäftigt sich unter anderem mit der Sicherheit von AI Systemen, Datenschutz beim verteilten Lernen und Möglichkeiten, KI für Security einzusetzen.