Künstliche Intelligenzen haben in den vergangenen Jahren enorm dazugelernt und beeinflussen unser Leben zunehmend. Texte, Bewerbungen oder einfach die Kündigung für das Fitnessstudio lassen sich mit ein paar Angaben in wenigen Minuten erstellen. Und die Technologie wird immer besser! Da verwundert es nicht, dass auch Cyberkriminelle sich diese selbstlernende Software zunutze machen.
Sicherheitsforscher haben nun gezeigt, dass sich die Echtzeit-Sprach-API von OpenAI für ChatGPT-4o missbrauchen lässt, um Finanzbetrügereien mit geringen bis mäßigen Erfolgsquoten durchzuführen. ChatGPT-4o ist OpenAIs aktuelles KI-Modell, das beispielsweise auch die Integration von Text-, Sprach- und Vision-Inputs und -Outputs beherrscht
Aufgrund dieser neuen Funktionen hat OpenAI verschiedene Sicherheitsvorkehrungen integriert, um schädliche Inhalte zu erkennen und zu blockieren, wie z. B. die Replikation nicht autorisierter Stimmen. Doch das scheint noch nicht auszureichen, wie die Sicherheitsforscher Richard Fang, Dylan Bowman und Daniel Kang nun in einer Studie zeigen konnten.
Sprachbasierte Betrügereien sind bereits heute ein Problem, das zu Schäden in Millionenhöhe führt. Die rasante Entwicklung der Deepfake-Technologien und KI-gestützter Text-to-Speech-Tools hat die Situation in den vergangenen Jahren weiter verschlimmert. Mit den derzeit verfügbaren technischen Hilfsmitteln lässt sich der Missbrauch dieser Technologien nicht nachhaltig verhindern. Und so lassen sich groß angelegte Scam-Operationen ohne großen menschlichen Aufwand kostengünstig planen und durchführen. Der Bericht der Sicherheitsforscher geht dabei auf verschiedene Varianten ein, wie beispielsweise Überweisungsbetrug, Betrug mit Gutscheinkarten oder Kryptotransfers sowie den Diebstahl von Zugangsdaten für Social-Media- und Gmail-Konten.
Die KI-Agenten, die die Betrügereien durchführen, verwenden sprachgesteuerte ChatGPT-4o-Automatisierungstools, um durch Seiten zu navigieren, Daten einzugeben und Zwei-Faktor-Authentifizierungscodes sowie spezifische betrugsbezogene Anweisungen zu verwalten. Da GPT-4o manchmal den Umgang mit sensiblen Daten wie Anmeldeinformationen verweigert, verwendeten die Forscher in ihrer Studie Jailbreaking-Techniken, um diese Schutzmaßnahmen zu umgehen.
So demonstrierten die Forscher, wie sie manuell mit dem KI-Agenten interagierten, indem sie in die Rolle eines leichtgläubigen Opfers schlüpften. Ob der Betrugsversuch der KI erfolgreich war, wurde anschließend manuell überprüft. Beispielsweise wurde gecheckt, ob tatsächlich eine Überweisung ausgelöst worden war.
Nicht im Fokus der Studie stand allerdings die Überzeugungskraft der KI. Die Sicherheitsforscher gehen davon aus, dass die Erfolgsquote zwischen 20 und 60 Prozent rangiert. Wobei die Quote beim Versuch, Anmeldedaten von Gmail und Instagram zu stehlen, deutlich höher war als bei Überweisungsbetrügereien.
Auch wenn diese Zahlen nicht allzu hoch sind, ist der Einsatz von KI für Cyberkriminelle trotzdem attraktiv, denn die Kosten pro erfolgreichem Scam liegen laut den Sicherheitsforschern bei lediglich 0,75 USD für gestohlene Anmeldedaten und bei 2,51 USD für Betrug mit Überweisungen. Im Vergleich zum möglichen Profit sind diese Kosten extrem niedrig.
Bei OpenAI ist man sich der Problematik durchaus bewusst und arbeitet an weiteren Schutzmechanismen, um solche Betrügereien zu verhindern. Gleichzeitig bedankt sich das Unternehmen bei den Sicherheitsforschern, da solche Berichte dabei helfen würden, die Technologie sicherer zu machen.
Sicherheitsforscher haben nun gezeigt, dass sich die Echtzeit-Sprach-API von OpenAI für ChatGPT-4o missbrauchen lässt, um Finanzbetrügereien mit geringen bis mäßigen Erfolgsquoten durchzuführen. ChatGPT-4o ist OpenAIs aktuelles KI-Modell, das beispielsweise auch die Integration von Text-, Sprach- und Vision-Inputs und -Outputs beherrscht
Aufgrund dieser neuen Funktionen hat OpenAI verschiedene Sicherheitsvorkehrungen integriert, um schädliche Inhalte zu erkennen und zu blockieren, wie z. B. die Replikation nicht autorisierter Stimmen. Doch das scheint noch nicht auszureichen, wie die Sicherheitsforscher Richard Fang, Dylan Bowman und Daniel Kang nun in einer Studie zeigen konnten.
Sprachbasierte Betrügereien sind bereits heute ein Problem, das zu Schäden in Millionenhöhe führt. Die rasante Entwicklung der Deepfake-Technologien und KI-gestützter Text-to-Speech-Tools hat die Situation in den vergangenen Jahren weiter verschlimmert. Mit den derzeit verfügbaren technischen Hilfsmitteln lässt sich der Missbrauch dieser Technologien nicht nachhaltig verhindern. Und so lassen sich groß angelegte Scam-Operationen ohne großen menschlichen Aufwand kostengünstig planen und durchführen. Der Bericht der Sicherheitsforscher geht dabei auf verschiedene Varianten ein, wie beispielsweise Überweisungsbetrug, Betrug mit Gutscheinkarten oder Kryptotransfers sowie den Diebstahl von Zugangsdaten für Social-Media- und Gmail-Konten.
Die KI-Agenten, die die Betrügereien durchführen, verwenden sprachgesteuerte ChatGPT-4o-Automatisierungstools, um durch Seiten zu navigieren, Daten einzugeben und Zwei-Faktor-Authentifizierungscodes sowie spezifische betrugsbezogene Anweisungen zu verwalten. Da GPT-4o manchmal den Umgang mit sensiblen Daten wie Anmeldeinformationen verweigert, verwendeten die Forscher in ihrer Studie Jailbreaking-Techniken, um diese Schutzmaßnahmen zu umgehen.
So demonstrierten die Forscher, wie sie manuell mit dem KI-Agenten interagierten, indem sie in die Rolle eines leichtgläubigen Opfers schlüpften. Ob der Betrugsversuch der KI erfolgreich war, wurde anschließend manuell überprüft. Beispielsweise wurde gecheckt, ob tatsächlich eine Überweisung ausgelöst worden war.
Nicht im Fokus der Studie stand allerdings die Überzeugungskraft der KI. Die Sicherheitsforscher gehen davon aus, dass die Erfolgsquote zwischen 20 und 60 Prozent rangiert. Wobei die Quote beim Versuch, Anmeldedaten von Gmail und Instagram zu stehlen, deutlich höher war als bei Überweisungsbetrügereien.
Auch wenn diese Zahlen nicht allzu hoch sind, ist der Einsatz von KI für Cyberkriminelle trotzdem attraktiv, denn die Kosten pro erfolgreichem Scam liegen laut den Sicherheitsforschern bei lediglich 0,75 USD für gestohlene Anmeldedaten und bei 2,51 USD für Betrug mit Überweisungen. Im Vergleich zum möglichen Profit sind diese Kosten extrem niedrig.
Bei OpenAI ist man sich der Problematik durchaus bewusst und arbeitet an weiteren Schutzmechanismen, um solche Betrügereien zu verhindern. Gleichzeitig bedankt sich das Unternehmen bei den Sicherheitsforschern, da solche Berichte dabei helfen würden, die Technologie sicherer zu machen.
