MIT Technology Review
Verpasse keine News mehr!
Chatbots unterwandern unser gesundes Misstrauen und entlocken uns unsere geheimsten Gedanken. Die Daten, die Konzerne dadurch über uns anhäufen, machen uns leicht manipulierbar. Sie könnten aber auch ein Gewinn für die Gesellschaft sein.
Von Eva Wolfangel
Anzeige
In Katharina Zweigs Postfach landen regelmäßig E-Mails mit großen Anhängen: hunderte Seiten dicke Pamphlete mit Diagrammen und Tabellen. Die Autoren – meist Männer – schreiben ihr, sie hätten endlich ein Problem gelöst, das die Informatik seit Jahrzehnten umtreibt, eines der großen offenen Probleme, an denen sich Forscherinnen wie Zweig die Zähne ausbeißen. Die Professorin solle ihre Arbeit bitte prüfen. „Wenn man das anschaut, sieht man schnell, dass zum Beispiel Achsenbeschriftungen von Diagrammen fehlen“, sagt die Informatikerin, die das Algorithm Accountability Lab an der Uni Kaiserslautern leitet und seit Jahren zu Sprachmodellen und ihren gesellschaftlichen Wirkungen forscht. Diese Dokumente seien also eindeutig KI-generiert. Aber die Autoren der E-Mails seien trotzdem überzeugt, etwas Großes herausgefunden zu haben. Weil ihnen ein Chatbot das eingeredet hat.
Dieser Text erscheint in der Ausgabe 6/2026 von MIT Technology Review. Darin beschäftigen wir uns mit der Schnittstelle, die immer mehr Macht in unserem Leben bekommen zu scheint: das Chatfenster. Wie uns das prägt, erfahrt ihr im neuen Heft, das ab 7. August im Zeitschriftenhandel erhältlich und ab 6. August schon im Online-Shop bestellbar ist.
„Das ist ein ernsthaftes Problem“, sagt Zweig. Denn die Männer, die ihr schreiben, seien nicht verrückt, sondern meist kluge Menschen. „Aber nur einen konnte ich überzeugen, dass er sich Unsinn einreden ließ“, sagt Zweig. Die anderen trauten ihrem Chatbot mehr als der Professorin. Vielleicht sogar mehr als vielen anderen Menschen in ihrem Leben.
Inhaltsverzeichnis
Das Phänomen der „Sycophancy“ der Chatbots und die Folgen
Forschende nennen das Phänomen, dass die Chatbots ihren Nutzenden in fast allem zustimmen, „Sycophancy“. Gepaart mit anderen Effekten, die unsere Interaktion mit Systemen künstlicher Intelligenz steuern, gehen die Folgen weit über den Effekt hinaus, dass sich Menschen maßlos überschätzen: Sie werden auch manipulierbarer als je zuvor. Denn Sycophancy führt dazu, dass Menschen Chatbots – wenn auch teils unbewusst – als wohlmeinende Gefährten wahrnehmen. Jemanden, dem sie alles anvertrauen können und der immer in ihrem Interesse handelt. Chatbots werden so zu einem Speicher der intimsten Daten.
Katharina Zweig leitet das Algorithm Accountability Lab an der Uni Kaiserslautern. (Foto: Felix Schmitt)
Die Debatte um die Macht, die daraus erwächst, dass wenige große Tech-Konzerne Daten anhäufen, wird seit Jahren am Beispiel der sozialen Medien geführt. Nur posten Menschen dort, was sie öffentlich sagen wollen. Gegenüber Chatbots formulieren sie, was sie sonst niemandem schreiben würden: Beziehungssorgen, psychische Probleme oder auch Probleme mit dem Chef.
Die Psychologin Marisa Tschopp von der Zürcher Hochschule für Angewandte Wissenschaften (ZHAW) nennt das den „Relationship Exploit“. Sycophancy entstehe nämlich nicht zufällig, sondern sei Teil des Designprinzips: Chatbots würden bewusst so gestaltet, dass sie fast freundschaftlich wirken, denn das Vertrauen der Nutzenden lasse sich monetarisieren. Eine Studie habe beispielsweise gezeigt, dass Nutzerinnen, die eine emotionale Bindung zu einem Chatbot entwickelt haben, eher bereit sind, teurere Produkte zu kaufen, wenn der Bot sie empfiehlt. Menschen könnten sich dagegen kaum wehren, sagt Tschopp, die den Bereich „Mensch und KI“ am Institut für Mensch, Gesellschaft & Technologien der ZHAW leitet: „Wir sind soziale Wesen und wollen kollaborieren, und das kann systematisch ausgenutzt werden.“
Marisa Tschopp ist Psychologin an der Zürcher Hochschule für Angewandte Wissenschaften.
(Foto: Marisa Tschopp)
Chatbots sind das neue Produkt einer Branche, deren Geschäftsmodell schon immer auf dem Sammeln intimster Daten und der ständigen Bindung von Aufmerksamkeit beruht. Und sie sind das Tool, mit dem sich dieses Geschäftsmodell perfektionieren lässt. Sie nutzen Mechanismen unseres Gehirns auf eine Art, auf die uns die Evolution nicht vorbereitet hat.
Weiterlesen mit
-
Zugriff auf alle Artikel von t3n.de
-
t3n Magazin und MIT Technology Review in digitaler Form
-
Reduzierte Werbung
-
Wöchentlicher Newsletter
Abonnieren
Startseite