2024 war und ist ein Jahr der Wahlen – mit Wahlveranstaltungen in mehr als 60 Ländern und geschätzt rund 2 Milliarden potenziellen Wählern. Ein gefundenes Fressen für politische motivierte Kampagnen, die im großen Stil Fehlinformationen verbreiten wollen und in der digital vernetzten Welt immer raffinierter aufgesetzt sind. Die Cybersecurity-Experten von Sophos X-Ops wollten es genau wissen und haben in einer Machbarkeitsstudie dokumentiert, welche zunehmend wichtige Rolle generative KI-Technologien spielen, wenn es darum geht, mit Desinformationen wirkungsvolle Veränderungen im politischen Bereich herbeizuführen.
Große Sprach- und Bildmodelle bieten Cyberkriminellen, die auf politische Einflussnahme abzielen, effektive Werkzeuge für die Erstellung anspruchsvoller, individualisierter Inhalte in großem Maßstab. Diese Projekte waren bislang schwierig zu realisieren und sehr arbeitsintensiv, die neuen Technologien sorgen aber dafür, dass das von böswilligen Akteuren ausgehende Risiko neue Dimensionen erreicht.
In letzter Zeit tauchen immer häufiger Fälle auf, in denen Kriminelle Künstliche Intelligenz missbrauchen, wie zum Beispiel die Verwendung generativer Texte beim Versenden von Nachrichten an Betrugsopfer, die Nutzung generativer Bilder zur Erstellung irreführender Social-Media-Beiträge oder der Einsatz von „Deepfake“-Videos und -Stimmen für Social Engineering. Dieselben Instrumente kommen zunehmend im Rahmen politischer Fehlinformations- und Täuschungskampagnen zum Einsatz.
„Angesichts der Relevanz dieser Thematik auch auf politischer Ebene ist es besonders wichtig, die Auswirkungen neuer Technologien auf gezielte Fehlinformationen zu verstehen“, so Ben Gelman, Senior Data Scientist bei Sophos. „In unserer Analyse untersuchen wir eine der größten neuen Bedrohungen durch den böswilligen Einsatz generativer KI: maßgeschneiderte Fehlinformationen. Während ein Großteil der Empfänger einer unpersönlichen Massen-E-Mail mit Fehlinformationen, die mit dem Inhalt nicht einverstanden sind, aus einer Kampagne aussteigen, werden im Micro Targeting Desinformationen nur an solche Personen versandt, die höchstwahrscheinlich damit einverstanden sind. Dadurch entsteht eine erschreckende, neue Effizienz solcher Kampagnen.“
Der aktuelle Report basiert auf bereits von Sophos X-Ops durchgeführten Untersuchungen, bei denen ein speziell für diese Zweck entwickeltes Tool zum Einsatz kam. Dieses startet automatisch eine E-Commerce-Betrugskampagne auf der Grundlage KI-generierter Texte, Bilder und Audiodateien, in deren Rahmen in hoher Anzahl überzeugende, betrügerische Webshops erstellt werden können. Nach einer Neukonfiguration konnten mit dem Tool Websites für politische Kampagnen mit beliebigen Merkmalen erstellt werden. Durch die Kombination gefälschter Social-Media-Profile mit mehreren Kampagnen-Webseiten waren die Forscher in der Lage, überzeugende, personalisierte E-Mails zu erstellen, die individuelle Argumente verwenden, um Menschen bestmöglich davon zu überzeugen, an eine Kampagne zu glauben – auch wenn die Menschen diesen Ideen im Allgemeinen nicht zustimmen. Das genaue Vorgehen dieses groß angelegten Micro Targetings kann im englischen Blogbeitrag anhand verschiedener Beispiele nachgelesen werden.
„Die Fähigkeit, personalisierte, fein abgestimmte politische Inhalte zu produzieren, birgt ein erhebliches Risiko für verstärkte Fehlinformation, Finanzbetrug und die Vertiefung der ideologischen Polarisierung. Um diesen Trend zu begegnen, ist ein vielschichtiger Ansatz, der technologische, pädagogische und gesetzgeberische Anstrengungen vereint, unerlässlich“, so Gelman. „Aus technischer Sicht kann die kontinuierliche Verbesserung von KI-generierten Inhaltsklassifizierern und Faktenprüfern bei der Identifizierung von Bedrohungen helfen. Im Bildungsbereich kann die Stärkung des öffentlichen Bewusstseins für KI-generierte Inhalte in Verbindung mit illegal erworbenen, personenbezogenen Daten die Zahl der Opfer, die auf Betrügereien hereinfallen, verringern – und natürlich wird auch der Umgang des Gesetzgebers mit dem Thema Künstliche Intelligenz eine entscheidende Rolle spielen.“
Große Sprach- und Bildmodelle bieten Cyberkriminellen, die auf politische Einflussnahme abzielen, effektive Werkzeuge für die Erstellung anspruchsvoller, individualisierter Inhalte in großem Maßstab. Diese Projekte waren bislang schwierig zu realisieren und sehr arbeitsintensiv, die neuen Technologien sorgen aber dafür, dass das von böswilligen Akteuren ausgehende Risiko neue Dimensionen erreicht.
In letzter Zeit tauchen immer häufiger Fälle auf, in denen Kriminelle Künstliche Intelligenz missbrauchen, wie zum Beispiel die Verwendung generativer Texte beim Versenden von Nachrichten an Betrugsopfer, die Nutzung generativer Bilder zur Erstellung irreführender Social-Media-Beiträge oder der Einsatz von „Deepfake“-Videos und -Stimmen für Social Engineering. Dieselben Instrumente kommen zunehmend im Rahmen politischer Fehlinformations- und Täuschungskampagnen zum Einsatz.
„Angesichts der Relevanz dieser Thematik auch auf politischer Ebene ist es besonders wichtig, die Auswirkungen neuer Technologien auf gezielte Fehlinformationen zu verstehen“, so Ben Gelman, Senior Data Scientist bei Sophos. „In unserer Analyse untersuchen wir eine der größten neuen Bedrohungen durch den böswilligen Einsatz generativer KI: maßgeschneiderte Fehlinformationen. Während ein Großteil der Empfänger einer unpersönlichen Massen-E-Mail mit Fehlinformationen, die mit dem Inhalt nicht einverstanden sind, aus einer Kampagne aussteigen, werden im Micro Targeting Desinformationen nur an solche Personen versandt, die höchstwahrscheinlich damit einverstanden sind. Dadurch entsteht eine erschreckende, neue Effizienz solcher Kampagnen.“
Der aktuelle Report basiert auf bereits von Sophos X-Ops durchgeführten Untersuchungen, bei denen ein speziell für diese Zweck entwickeltes Tool zum Einsatz kam. Dieses startet automatisch eine E-Commerce-Betrugskampagne auf der Grundlage KI-generierter Texte, Bilder und Audiodateien, in deren Rahmen in hoher Anzahl überzeugende, betrügerische Webshops erstellt werden können. Nach einer Neukonfiguration konnten mit dem Tool Websites für politische Kampagnen mit beliebigen Merkmalen erstellt werden. Durch die Kombination gefälschter Social-Media-Profile mit mehreren Kampagnen-Webseiten waren die Forscher in der Lage, überzeugende, personalisierte E-Mails zu erstellen, die individuelle Argumente verwenden, um Menschen bestmöglich davon zu überzeugen, an eine Kampagne zu glauben – auch wenn die Menschen diesen Ideen im Allgemeinen nicht zustimmen. Das genaue Vorgehen dieses groß angelegten Micro Targetings kann im englischen Blogbeitrag anhand verschiedener Beispiele nachgelesen werden.
„Die Fähigkeit, personalisierte, fein abgestimmte politische Inhalte zu produzieren, birgt ein erhebliches Risiko für verstärkte Fehlinformation, Finanzbetrug und die Vertiefung der ideologischen Polarisierung. Um diesen Trend zu begegnen, ist ein vielschichtiger Ansatz, der technologische, pädagogische und gesetzgeberische Anstrengungen vereint, unerlässlich“, so Gelman. „Aus technischer Sicht kann die kontinuierliche Verbesserung von KI-generierten Inhaltsklassifizierern und Faktenprüfern bei der Identifizierung von Bedrohungen helfen. Im Bildungsbereich kann die Stärkung des öffentlichen Bewusstseins für KI-generierte Inhalte in Verbindung mit illegal erworbenen, personenbezogenen Daten die Zahl der Opfer, die auf Betrügereien hereinfallen, verringern – und natürlich wird auch der Umgang des Gesetzgebers mit dem Thema Künstliche Intelligenz eine entscheidende Rolle spielen.“
