In Südkorea gibt es Diskussionen und Bedenken hinsichtlich einer „KI-basierten Gesellschaft“

Die generative KI breitet sich rasant aus, und die Debatte um eine „KI-basierte Gesellschaft“ sowie das Bestreben, zu einer der drei weltweit führenden „KI-Mächte“ zu werden, gewinnt zunehmend an Intensität. KI ist jedoch längst nicht mehr nur ein Werkzeug für die industrielle Entwicklung. Ihr wachsender Einfluss auf Demokratie, Menschenrechte und den Alltag hat sie zu einem zentralen gesellschaftlichen und politischen Thema gemacht, während die KI-Governance zunehmend in den Fokus des öffentlichen Interesses rückt. Ausgehend von der Geschichte der koreanischen Bewegung für Informationsrechte widmet sich das IDR den aktuellen Krisen der KI-Governance und der Demokratie. In diesem Interview sprachen wir mit Yeo-Kyeong Chang, der Geschäftsführerin des Instituts, über die Entwicklung der koreanischen Informationsrechtsbewegung, die Forderungen der Zivilgesellschaft aus der Perspektive der digitalen Gerechtigkeit im Zeitalter der künstlichen Intelligenz sowie ihre Sichtweise auf die Governance, die die KI-Politikgestaltung prägt.

Das Zeitalter der staatlichen Überwachung, das mit einer Diskette begann

In einer Zeit, in der der Diskurs um die „KI-Grundgesellschaft“ an Dynamik gewinnt, scheint die Rolle des Institute for Digital Rights von großer Bedeutung zu sein. Könnten Sie erläutern, warum das Institut gegründet wurde?

Yeo-Kyeong Chang: Die Entstehung der koreanischen Bewegung für Informationsrechte ist eng mit der Demokratisierung des Landes verbunden. Unter autoritären Regierungen, die durch umfassende staatliche Überwachung gekennzeichnet waren, wurden die IT-Systeme, die sich in den 1990er Jahren zu verbreiten begannen, auch von der Regierung als Instrumente der Staatsmacht genutzt.

Im Jahr 1990 deckte ein Gefreiter der koreanischen Armee die Überwachung von Zivilisten durch das Militär anhand von auf Disketten gespeicherten Dateien auf, was die Öffentlichkeit schockierte und zu Koreas erstem Rechtsstreit zum Schutz personenbezogener Daten führte. Im Jahr 1998 erkannte der Oberste Gerichtshof offiziell die Rechte der Bürger auf ihre personenbezogenen Daten an, wodurch das Verhältnis zwischen Technologie, Privatsphäre und Demokratie zu einem wichtigen gesellschaftlichen Thema in Südkorea wurde.

Als Reaktion darauf schloss sich in den 1990er Jahren eine Gruppe junger Aktivist*innen zusammen, um eine kritische Kontrolle darüber aufzubauen, wie diese Technologien genutzt wurden. Seitdem wurden die Bemühungen fortgesetzt, rechtsbasierte Ansätze in der Politik im Bereich der digitalen Technologien voranzutreiben, einschließlich des Schutzes personenbezogener Daten und der Datenrechte. Um diese Arbeit weiter zu vertiefen und auszubauen, wurde 2015 das IDR gegründet.

Im Eilverfahren verabschiedete KI-Gesetzgebung und verspätete Bedenken der Zivilgesellschaft

Als Reaktion auf die Entwicklungen in der KI-Politik bildete sich Ende März in Südkorea eine zivilgesellschaftliche Koalition namens „AI Civil Action“. Was war der Schwerpunkt der „AI Civil Action“?

Heute sah sich die Zivilgesellschaft mit wachsender Unsicherheit darüber konfrontiert, wie sie auf KI-bezogene Themen reagieren sollte, während sie gleichzeitig die rasante Entwicklung und Ausbreitung der KI unter der Führung von Industrie, Regierungen und globalen Institutionen miterlebte. Als Reaktion darauf schlossen sich zivilgesellschaftliche Organisationen zusammen, um die „Gemeinsame Aktion der Zivilgesellschaft zur Stärkung der Rechenschaftspflicht und Transparenz im Bereich KI“ (AI Civil Action) ins Leben zu rufen, mit dem Ziel, gemeinsam Strategien und Reaktionsmaßnahmen zu entwickeln.

Derzeit konzentriert sich die „AI Civil Action“ vor allem auf das südkoreanische KI-Grundgesetz. Ähnlich wie die EU hat Südkorea die Gesetzgebung im Bereich der KI vorangetrieben, die am 22. Januar 2026 in Kraft trat. Der vom Ministerium für Wissenschaft und IKT geleitete Gesetzgebungsprozess schloss jedoch nicht nur die Beteiligung der Zivilgesellschaft aus, sondern führte auch zu erheblichen Mängeln aus Sicht der Menschenrechte und der Sicherheit. Ein großes Problem in diesem Zusammenhang ist die übergeordnete Governance-Struktur rund um die KI-Politik.

Der Gesetzgebungsprozess schloss die Beteiligung der Zivilgesellschaft aus und führte zu erheblichen Mängeln aus Sicht der Menschenrechte und der Sicherheit.

Zudem verdeutlicht der Gesetzgebungsprozess hinter dem Sondergesetz über Rechenzentren das Problem anschaulich. Trotz der erheblichen Umweltauswirkungen des Baus von Rechenzentren und ihrer Folgen für die lokalen Gemeinden wurde der Gesetzentwurf ohne Konsultation der für Umweltfragen zuständigen Ausschüsse verabschiedet. Infolgedessen erfuhr „AI Civil Action“ erst von dem Gesetzentwurf, nachdem dieser die Ausschussphase bereits durchlaufen hatte. Während dieses im Eilverfahren durchgeführten Prozesses wurden die Standpunkte der umweltbezogenen Ausschüsse innerhalb der Nationalversammlung außer Acht gelassen. Der Prozess deckte gravierende Probleme in der Governance-Struktur rund um die KI-Politik auf.

KI-Politik sollte Sozialpolitik sein, nicht nur Industriepolitik

Welche Bedenken ergeben sich, wenn Regierung und Industrie den KI-Diskurs weiterhin vorrangig unter dem Gesichtspunkt von Effizienz und Wirtschaftswachstum dominieren?

Südkorea strebt an, durch die Stärkung seiner nationalen KI-Wettbewerbsfähigkeit zu einer der „drei führenden KI-Mächte“ der Welt zu werden. Das Kernargument der Zivilgesellschaft ist einfach: KI-Politik sollte als Sozialpolitik und nicht nur als Industriepolitik behandelt werden.

Die Struktur des KI-Strategieausschusses der Regierung spiegelt dasselbe Problem wider. Gruppen, die Bürger und Arbeitnehmer vertreten, waren nur sehr begrenzt vertreten, und rund 80 Prozent der Ausschussmitglieder waren Männer. Auch sozialpolitische Behörden wie das Ministerium für Gleichstellung und Familie sowie die Kartellbehörde wurden weitgehend außen vor gelassen. Unter diesen Rahmenbedingungen ist es schwierig, dass die KI-Politik als Sozialpolitik fungiert. Deshalb plädieren wir dafür, dass sich die Governance hinter der KI-Politikgestaltung ändern muss. Andernfalls wird die KI-Politik weiterhin dem industriellen Wachstum Vorrang einräumen, während sozialpolitische Belange weiterhin an den Rand gedrängt werden.

KI-Politik sollte als Sozialpolitik behandelt werden, nicht nur als Industriepolitik.

Der Ausschluss der Zivilgesellschaft ist ebenso gravierend. Die Zivilgesellschaft ist wichtig, weil sie die Interessen der Bürger und Arbeitnehmer vertritt, die direkt von den Technologien betroffen sind. Es herrscht jedoch zunehmend die Annahme, dass die Einbeziehung der Zivilgesellschaft die industrielle Entwicklung verlangsamt und die Wettbewerbsfähigkeit schwächt. Wir glauben, dass diese akzelerationistische Denkweise selbst ein ernstes Problem darstellt.

Die Bewegung für digitale Gerechtigkeit und ihre Parallelen zur Klimagerechtigkeit

Die Bewegung für Informationsrechte scheint wichtige Gemeinsamkeiten mit der Bewegung für Klimagerechtigkeit zu haben. Wie Sie bereits erwähnt haben, wurden Governance-Probleme wie der Ausschluss von Interessengruppen und die einseitige Priorisierung von Industrieinteressen auch bei der Gestaltung der Klimapolitik vielfach kritisiert.

Die Bewegung für Klimagerechtigkeit und die Bewegung für digitale Gerechtigkeit weisen wichtige Gemeinsamkeiten auf. Erstens zielen beide darauf ab, gesellschaftliche Werte und das Leben der Bürger vor den Auswirkungen fortschrittlicher Technologien zu schützen. Zweitens kämpfen die Bürger in beiden Bereichen darum, eine sinnvolle Teilhabe an Systemen zu erlangen, die weitgehend von mächtigen Industrien und staatlich gelenkten Agenden geprägt sind. Drittens beschäftigen sich beide Bewegungen zunehmend mit dem Konzept eines „gerechten Übergangs“ als alternativem Rahmen. Auch innerhalb der Bewegung für digitale Gerechtigkeit wird den Auswirkungen künstlicher Intelligenz auf die Beschäftigung zunehmend Aufmerksamkeit geschenkt, was zu Forderungen nach einem gerechten Übergang im Zeitalter der KI führt.

Im Vergleich zur Klimabewegung hat sich die Bewegung für digitale Gerechtigkeit jedoch noch nicht zu einer breit angelegten Volksbewegung entwickelt. Meiner Ansicht nach prägen zwei vorherrschende Ideen den aktuellen KI-Diskurs. Die erste ist die Überzeugung, dass die Entwicklung der KI für das nationale Wirtschaftswachstum und die zukünftige Wettbewerbsfähigkeit unerlässlich ist, was sich in dem Bestreben widerspiegelt, zu einer der „drei führenden KI-Mächte“ der Welt zu werden. Die zweite ist der allgegenwärtige Einfluss des technologischen Determinismus und der Vorstellung von technologischer Neutralität – die Annahme, dass sich Technologie von selbst rational weiterentwickelt und dass menschliches Eingreifen oder Regulierung die potenziellen Vorteile der künstlichen Intelligenz behindern könnten.

Anders als bei der Klimakrise sind die durch KI verursachten Schäden im Alltag noch nicht vollständig sichtbar oder weithin anerkannt. Als Reaktion auf diese Herausforderung hat die OECD damit begonnen, Fallstudien zusammenzustellen, die die negativen Auswirkungen und Nebenwirkungen von KI dokumentieren. Aus der Perspektive der Bürger mögen die konkreten Schäden durch KI im Vergleich zu dem greifbaren Gefühl von Innovation und Komfort, das generative KI-Technologien mit sich bringen, noch weit entfernt erscheinen.

Die Risiken von KI-Systemen zur Entscheidungsfindung mit weitreichenden Auswirkungen bleiben oft verborgen und werden nicht ausreichend hinterfragt.

Risikoreiche KI-Entscheidungssysteme mit weitreichenden Auswirkungen machen einen erheblichen Teil der heutigen KI-Anwendungen aus, da sie die Rechte, Chancen und den Zugang der Menschen zu öffentlichen Gütern direkt beeinflussen. Für viele Bürger ist der Einfluss dieser Systeme jedoch weitaus weniger sichtbar als die alltäglichen Innovationen, die mit generativer KI verbunden sind. Infolgedessen bleiben ihre Risiken oft verborgen und werden nicht ausreichend hinterfragt.

Die Zivilgesellschaft muss daher den Betrieb dieser risikoreichen KI-Systeme weiterhin beobachten und eingreifen. Mit der Zeit werden sich die Bürger wahrscheinlich auch der Auswirkungen dieser Technologien auf die Menschenrechte und die öffentliche Sicherheit stärker bewusst werden.

Die hohe Hürde beim Schutz des Rechts auf Information

Gibt es nennenswerte Beispiele, bei denen das Eingreifen der Zivilgesellschaft die Steuerung oder den Einsatz digitaler Technologien erfolgreich beeinflusst hat?

Es gab auch Fälle, in denen das Eingreifen der Zivilgesellschaft potenziell schwerwiegende Schäden verhindert hat. Ein repräsentatives Beispiel betrifft ein KI-basiertes Einwanderungskontrollsystem in Südkorea.

Das Justizministerium hatte ein Projekt vorangetrieben, bei dem KI-Systeme in den Einreisebereichen von Flughäfen installiert werden sollten, die die Gesichter und Bewegungen der Passagiere in Echtzeit erkennen und als „abnorm“ oder „verdächtig“ definierte Verhaltensweisen identifizieren und verfolgen sollten. Wir betrachteten das Projekt als ernsthafte Bedrohung für die Menschenrechte und konnten es durch anhaltende öffentliche Kritik und Lobbyarbeit erfolgreich stoppen.

Als das Projekt jedoch ausgesetzt wurde, hatten die daran beteiligten, als Subunternehmer tätigen Technologieunternehmen ihre Systeme bereits anhand von rund 170 Millionen Einreisedaten trainiert. Die Daten umfassten Gesichtsbilder, Angaben zur Staatsangehörigkeit und andere Arten personenbezogener Daten, die von Personen bei der Ein- und Ausreise erfasst worden waren.

Letztendlich scheinen klare Grenzen zu bestehen, wenn erst reagiert wird, nachdem einzelne Fälle und Schäden bereits eingetreten sind. Es scheint, dass die übergeordneten Strukturen der staatlichen Verwaltung und des Justizsystems selbst einen wirksamen Schutz der digitalen Rechte und Informationsrechte erschweren.

Innerhalb groß angelegter technologischer Systeme ist es für einzelne Rechteinhaber äußerst schwierig, Bedenken zu äußern und Rechtsbehelfe zu erwirken. Dies gilt insbesondere für Gerichtsverfahren, in denen die Beweislast in der Regel beim Kläger liegt, der einen konkreten Schaden nachweisen muss. Dies ist auch der Grund, warum Whistleblower in internationalen Debatten über digitale Rechte und Technologie-Governance als von entscheidender Bedeutung angesehen werden. Viele der großen Kontroversen um „Big Tech“-Unternehmen in den Vereinigten Staaten und Europa wurden vor allem durch das Handeln interner Whistleblower öffentlich bekannt.

Gleichzeitig sehen sich Forscher selbst oft mit erheblichen Hindernissen konfrontiert, wenn sie versuchen, Technologieunternehmen zu untersuchen. Im Fall von Facebook beispielsweise führten Forscher einmal simulierte Werbeexperimente durch, bei denen sie selbst als Werbekunden Geld ausgaben, um mögliche Verzerrungen in den Werbealgorithmen der Plattform zu untersuchen. Daraufhin erhielten sie Warnungen, dass solche Aktivitäten zu rechtlichen Schritten wegen Störung des Geschäftsbetriebs führen könnten. Fälle wie dieser zeigen, wie schwierig es für unabhängige Forscher ist, die gesellschaftlichen Auswirkungen von Big-Tech-Systemen ohne starken rechtlichen Schutz und institutionelle Unterstützung zu untersuchen.

Die europäische KI-Verordnung und Koreas Vorstoß

Könnten Sie uns Ihre Gedanken zu den laufenden Debatten über die KI-Regulierung in Europa mitteilen?

Bei den Diskussionen rund um das EU-KI-Gesetz haben insbesondere die Forderungen zivilgesellschaftlicher Organisationen nach einem menschenrechtsbasierten Ansatz sowie eine Reihe von UN-Dokumenten, die sich mit Menschenrechtsprinzipien in der KI-Governance befassen, unsere Aufmerksamkeit erregt.

Wir haben uns dafür eingesetzt, das Konzept eines „menschenrechtsbasierten Ansatzes“ in die innenpolitischen Diskussionen einzubringen. Eine der Initiativen, an denen wir gemeinsam mit der Nationalen Menschenrechtskommission Koreas teilgenommen haben, war die Entwicklung von Menschenrechtsleitlinien für künstliche Intelligenz. Wir haben Forschungsarbeiten durchgeführt und uns bemüht, aktiv und partizipativ mitzuwirken, als die Kommission ihre politischen Empfehlungen formulierte. Als die Nationale Menschenrechtskommission 2022 ihre KI-Menschenrechtsleitlinien veröffentlichte, diente auch die laufende Ausarbeitung des EU-KI-Gesetzes als wichtiger Bezugspunkt.

Welche Bedenken haben Sie hinsichtlich des aktuellen globalen Trends zur Deregulierung im Bereich der KI, insbesondere in Europa?

Tatsächlich ist die globale Lage nicht besonders ermutigend. Es zeichnet sich ein allgemeiner Trend zur Deregulierung ab, und selbst bestehende Datenschutzrahmen könnten erheblich geschwächt werden. So wird beispielsweise in den Diskussionen rund um die DSGVO (Datenschutz-Grundverordnung) zunehmend Wert darauf gelegt, den Compliance-Aufwand für Unternehmen zu verringern und die Datennutzung auszuweiten, was zu Forderungen nach einer Lockerung der Vorschriften führt. Auch das EU-KI-Gesetz ist in die Kritik geraten, weil es hinter den ursprünglich erwarteten Ambitionen zurückbleibt. Selbst Bestimmungen zu Verpflichtungen im Bereich der KI-Kompetenz sind mittlerweile Gegenstand von Debatten über eine Reduzierung oder Verwässerung innerhalb der Europäischen Union.

Die „doppelte Herausforderung“ für die Zivilgesellschaft im Zeitalter der KI

Gleichzeitig scheint es innerhalb der Zivilgesellschaft auch eine wachsende Forderung zu geben, KI nicht nur zu kritisieren und zu überwachen, sondern sie auch aktiv für Interessenvertretung, Bildung und organisatorische Abläufe zu nutzen. Doch neben diesen Erwartungen bestehen weiterhin Bedenken hinsichtlich technologischer Abhängigkeit und unkritischer Übernahme.

Dies ist in der Tat eines der zentralen Dilemmata, mit denen die Zivilgesellschaft heute konfrontiert ist. Oft erhalten wir gleichzeitig zwei scheinbar widersprüchliche Fragen von verschiedenen Organisationen und Einzelpersonen aus der Zivilgesellschaft. Viele fragen, wie generative KI effektiv genutzt werden kann. Andererseits sind viele besorgt darüber, wie auf die Auswirkungen der KI auf Beschäftigung und Arbeit reagiert werden soll. Letztendlich kommt es darauf an, ein Gleichgewicht zwischen Akzeptanz und Kritik zu wahren. Die Überwachungsmöglichkeiten haben erheblich zugenommen. Gleichzeitig haben digitale Netzwerke jedoch auch die Handlungsmöglichkeiten und die organisatorische Macht der Bürger erweitert. Die Zivilgesellschaft hat sich daher weiterentwickelt, indem sie kontinuierlich zwischen diesen beiden konkurrierenden Dynamiken vermittelt hat. Vor diesem Hintergrund entstand das Konzept der „informationalen Selbstbestimmung“. Die Fähigkeit des Einzelnen, Entscheidungen über die eigenen Daten und das eigene technologische Umfeld zu treffen, ist eines der zentralen Prinzipien der digitalen Rechte.

Aus diesem Grund glaube ich, dass sowohl darin, Menschen zu zwingen, Technologien unkritisch zu akzeptieren, als auch darin, ihre vollständige Ablehnung zu fordern, eine gewisse Form des technologischen Determinismus liegt. Wir betonen stattdessen, dass sich die Zivilgesellschaft partizipativer und aktiver mit diesen Technologien auseinandersetzen sollte. Aus dieser Perspektive haben wir auch Publikationen wie „Leitlinien zur generativen KI“ für Aktivist*innen der Zivilgesellschaft erstellt und verbreitet.

Die Bewegung für digitale Gerechtigkeit innerhalb der Zivilgesellschaft navigiert derzeit durch das Spannungsfeld zwischen technologischer Effizienz und kritischen demokratischen Prinzipien. In vielerlei Hinsicht befindet sie sich noch im Entwicklungsprozess, der durch anhaltende gesellschaftliche Debatten und öffentliche Diskussionen vorangetrieben wird. Im Laufe der Zeit werden die Auswirkungen der KI im Alltag der Bürger*innen immer sichtbarer und greifbarer werden. In diesem Prozess ist weder technologischer Optimismus noch angstgetriebene Panik gefragt, sondern die Schaffung demokratischer und partizipativer Strukturen, durch die die Bürger*innen selbst sinnvoll in die Richtung der technologischen Entwicklung eingreifen und diese mitgestalten können.