Heimliches KI-Experiment: Zürcher Forscher ziehen Studie zurück!
Forschende der Universität Zürich führten einen problematischen Versuch durch. KI-Bots nahmen Einfluss auf User – und gaben sich als Vergewaltigungs-Opfer aus.
Das Wichtigste in Kürze
- Forschende der Universität Zürich führten ein heimliches KI-Experiment auf Reddit durch.
- Das Experiment mit KI-generierten Kommentaren erfolgte ohne Zustimmung der echten Nutzer.
- Die Universität rechtfertigt sich - ihr waren offenbar die Hände gebunden.
- Ein Ethiker mahnt: Transparenz und Freiwilligkeit müssen garantiert sein.
- Die Forschenden haben nun entschieden, die Ergebnisse nicht zu publizieren.
Diese Studie der Universität Zürich (UZH) sorgt für Entsetzen: Forschende haben auf der Social-Media-Plattform Reddit ein Experiment durchgeführt, bei dem KI-generierte Kommentare gestreut wurden.
Und das ohne Kenntnis oder Zustimmung der betroffenen Nutzer!
Betroffen war das Forum «Change My View», in dem man sich gegenseitig von einer anderen Meinung überzeugen lassen kann.
Persönliche Informationen wie Geschlecht, Alter, politische Haltung und Herkunft wurden über Nutzerprofile ermittelt und in personalisierte Argumente eingebunden.
Besonders fragwürdig: Teilweise wurden sensible Rollen wie Opfer von Gewalt oder Angehörige marginalisierter Gruppen angenommen.
So gab sich die KI etwa als Vergewaltigungsopfer aus. Oder als schwarzer Mann, der sich gegen die schwarze Bürgerrechtsbewegung «Black Lives Matter» stellt.
Ziel des Projekts war es, das Potenzial der Künstlichen Intelligenz (KI) zur Verringerung der Polarisierung im politischen Diskurs zu untersuchen. Die Bots antworteten insgesamt auf 1783 Beiträge – und nahmen so Einfluss auf die Meinungen der echten User.
Forschende der Universität Zürich wollen an Publikation festhalten
Auch die Administratoren der Reddit-Gruppe wurden nicht über das Experiment informiert. Sie hätten das Experiment auch nicht bewilligt, wie sie mitteilen. Damit verstösst das Projekt gegen die Community-Regeln des Forums.
In einem ausführlichen Statement melden sich die «Change My View»-Administratoren zu Wort – und üben harsche Kritik am Projekt.
Bei Bekanntwerden reichten sie Beschwerde bei der Hochschule ein. Sie forderten neben einer Entschuldigung auch den Verzicht der Publikation sowie auf das Erarbeiten strengerer Ethikrichtlinien.
Die Universität Zürich äusserte zwar bereits im Vorfeld Bedenken am Experiment. Sie konnte es allerdings nicht stoppen.
Auf Anfrage von Nau.ch weist die Universität Zürich die Verantwortung nun den Forschenden zu.
«Ethische Fragen rund um Forschungsvorhaben von UZH-Forschenden werden von den Ethikkommissionen der jeweiligen Fakultäten behandelt. Auf Anfrage der Forschenden nehmen diese beratend Stellung und geben Empfehlungen ab», erklärt die Hochschule im Statement.
Es gibt keine rechtlichen Grundlagen, die eine Bewilligung der Projekte verlangen oder die diese verhindern können. «Dementsprechend gibt es für Forschende an der Universität Zürich auch keine Pflicht, Forschungsprojekte in ethischer Hinsicht begutachten zu lassen.»
Ethikkommission äusserte Bedenken
Eine Ausnahme gibt es hingegen für Forschungsprojekte, die sich im Anwendungsbereich des Humanforschungsgesetzes bewegen. Diese benötigen eine Bewilligung der zuständigen kantonalen Ethikkommission.
Im vorliegenden Fall sei das Projekt der Ethikkommission der Philosophischen Fakultät vorgelegt worden. Diese wies die Forschenden daraufhin, dass die Studie für die Kommission «die grösste Herausforderung darstellte».
Sie hielt einerseits fest, dass der gewählte Ansatz stärker begründet werden sollte. Zudem wies sie daraufhin, die Teilnehmenden so weit wie möglich zu informieren und die Regeln der Plattform vollständig zu befolgen.
Doch diese Einschätzungen seien eben nicht rechtlich bindend. «Die Verantwortung für die Durchführung des Projekts und für die Publikation der Resultate tragen die Forschenden selbst.»
Wie die anonymen Forschenden jedoch über Reddit zunächst bekanntgaben, wollen sie an der Publikation festhalten.
Das Projekt liefere «wichtige Erkenntnisse», argumentieren sie. «Dies bedeutet, dass die Unterdrückung der Veröffentlichung nicht im Verhältnis zur Bedeutung der Erkenntnisse steht, die die Studie liefert.»
Dann die Kehrtwende.
Die Universität Zürich wendet sich am Dienstagnachmittag mit einem «wichtigen Nachtrag» an die Medien. «Die Forschenden haben sich auf eigene Initiative entschieden, die Forschungsergebnisse nicht zu publizieren.»
Ethiker findet Experiment «sehr problematisch»
Kritik kommt auch von Peter G. Kirchschläger, Ethik-Professor an der Universität Luzern. Die Durchführung eines solchen Experiments sei «sehr problematisch», sagt er auf Anfrage von Nau.ch.
Er kritisiert, dass die betroffenen Personen weder umfassend informiert wurden, noch deren Einwilligung eingeholt wurde. Zudem hätte deklariert werden müssen, dass es sich um von KI generierte Nutzerinnen und Nutzer und deren Kommentare handle.
Kirchschläger erklärt: «‹Change My View› bildet ein Reddit-Forum, das die Gelegenheit bieten soll, sich von seinem Gegenüber – von echten Menschen, nicht von sogenannter «KI» – mit guten Argumenten von seiner Meinung überzeugen zu lassen.»
Neben Transparenz müsse auch die Freiwilligkeit garantiert sein. «Menschen müssen selbst entscheiden können, ob sie an einem Forschungsprojekt teilnehmen wollen oder nicht.»
Und er kritisiert: «Das Erkenntnisinteresse der Forschung legitimiert auf keinen Fall Täuschung und Manipulation von Menschen in einem öffentlichen Raum.»
Forschende müssten sich an ethische Prinzipien und rechtliche Vorgaben halten. «Der Zweck heiligt nicht die Mittel …», mahnt der Ethik-Professor.
Tech-Unternehmen experimentieren bereits heute ohne Ethik-Standards
Auch Angela Müller, Geschäftsleiterin von Algorithm Watch, äussert sich kritisch. Sie betont gegenüber Nau.ch: «Grundsätzlich ist es immer wichtig, dass Forschung – mit oder ohne KI – auf ethisch verantwortungsvollen Füssen steht.»
Prozesse müssten klar definiert und eingehalten werden. «Ob das im vorliegenden Beispiel der Fall war, scheint zumindest fraglich. Gerade, wenn es um sensitive Bereiche geht und gerade, wenn dazu Vertrauensräume von unwissenden Personen genutzt werden, sollte sehr umsichtig vorgegangen werden.»
Gleichzeitig müsse man sich bewusst sein, dass in diesem Bereich bereits heute viel experimentiert werde. «Technologieunternehmen fühlen sich oft überhaupt nicht an ethische Standards gebunden, wenn es um unsere Daten und den Einsatz von KI geht.»
Nach dem Vorfall verspricht die Universität Zürich nun gegenüber Nau.ch, dass sie handelt: «Aufgrund der Ereignisse will die Ethikkommission der Philosophischen Fakultät in Zukunft noch verbindlichere Empfehlungen gegenüber Wissenschaftlerinnen und Wissenschaftler formulieren.»
Insbesondere sollte man dabei die Regeln der Communities auf den Plattformen wie Reddit genauer im Blick haben.
«Die zuständigen Stellen an der Universität Zürich haben Kenntnis der Vorfälle und werden diese nun im Detail aufarbeiten und die entsprechenden Beurteilungsprozesse kritisch prüfen.»
Forschende publizieren Ergebnisse nicht
Wer die Forschenden sind und an welchem Institut die Forschung stattfand, gibt die Uni «aus Gründen des Persönlichkeitsschutzes» nicht bekannt.
