Selon ActiveFence, les stars du risque abusent de l’IA générative pour produire du matériel d’abus sexuels sur des enfants (CSAM), de la désinformation, des escroqueries et de l’extrémisme.
« La vague de L’IA générative a des ramifications considérables pour tous les coins du Web », a déclaré Noam Schwartz, PDG et fondateur d’ActiveFence.
« Nous avons déterminé 3 principaux domaines de préoccupation. Dans un premier temps, nous constatons que les acteurs de la menace sont désormais capables d’accélérer et d’amplifier leurs opérations, ce qui conduit à une production de masse inégalée de contenu préjudiciable. Deuxièmement, ces mêmes stars recherchent des moyens d’utiliser l’IA générative, manipulant ces conceptions et révélant leurs vulnérabilités intrinsèques. Enfin, ces menaces croissantes exercent une pression accrue sur les plateformes numériques pour améliorer la précision et l’efficacité de leurs protocoles de formation à l’information « , a poursuivi Schwartz. .
Manières secrètes d’abuser de l’IA générative :
- Création d’un produit d’abus sexuel d’enfants, allant d’images visuelles à des histoires sensuelles
- Génération d’images trompeuses, Des images générées par l’IA qui trompent des millions de personnes
- Production de soumissions audio deepfake qui promeuvent l’extrémisme
CSAM
Le scientifique a suivi une augmentation de 172 % du volume de CSAM partagé produit par l’IA générative au premier trimestre de cette année. Il a également découvert une enquête menée par les administrateurs d’un forum fermé sur les prédateurs d’enfants dans le dark web, qui a interrogé près de 3 000 prédateurs sur leur utilisation de l’IA générative.
Le sondage a révélé que 78 % des participants ont ou prévoient d’utiliser l’IA générative pour le CSAM, et les 22 % restants ont déclaré avoir des stratégies pour tenter l’innovation. Ces forums de prédateurs tirent parti des algorithmes d’IA générative pour produire des images sexuelles ainsi que des descriptions textuelles, des histoires et des histoires.
Dans un cas observé, lorsqu’on lui a demandé d’écrire une histoire sensuelle impliquant 2 mineurs, une IA générative majeure la plate-forme a refusé, qualifiant la demande de « inappropriée et peut-être illégale ». Lorsque la même question a été posée avec seulement quelques mots modifiés, l’algorithme a produit une histoire sexuelle, décrivant un homme adulte qui a aimé de manière inappropriée deux jeunes enfants nager.
Les prédateurs d’enfants utilisent également l’IA générative pour créer des didacticiels de leurs productions, ce qui les aide à acquérir de la fiabilité au sein de la communauté des prédateurs, à encourager les autres à reproduire leurs efforts et à partager des phrases et des mots clés suggérés pour éviter les protections de la plate-forme.
Pour contourner ces contraintes de plate-forme, les chercheurs ont trouvé des prédateurs faisant des demandes dans différentes langues, utilisant des termes alternatifs et suggestifs, et manipulant l’algorithme d’IA avec différents déclencheurs, entrées et modèles dédiés.
Désinformation et matériel trompeur
Bien que la fraude et la désinformation ne soient pas des concepts nouveaux, l’IA générative a en fait permis aux stars du danger de produire des images trompeuses plus rapidement, avec précision et avec une plus grande portée.
Un produit généré par l’IA L’image qu’ActiveFence a trouvée sur Telegram montre à tort le président russe Vladimir Poutine agenouillé devant le président chinois Xi Jinping, implorant son aide dans le conflit ukrainien.
Le scientifique a reconnu plusieurs signifiants essentiels de l’IA générative de cette image : des visages obscurcis, des mains floues, des meubles déformés et un manque d’attribution photographique.
Indépendamment de ces signes, le matériel trompeur a généré une portée de 10 millions d’utilisateurs.
Pour montrer comment les acteurs de la menace manipulent les chatbots d’IA générative pour des fonctions nuisibles, les scientifiques ont détecté des techniques utilisées pour contourner un nombre de politiques des principales plateformes d’IA générative.
Dans un cas, les exploiteurs avaient la capacité de produire un e-mail de phishing IA génératif, et dans un autre, ils ont effectivement incité un bot à écrire une évaluation positive inauthentique d’une application qui est largement disponible sur un grand marché en ligne .
Bien que cet exemple soit favorable, d’occasion malveillant, cette méthode non seulement désinforme les utilisateurs d’une plate-forme, mais peut également nuire à la fiabilité d’une plate-forme en tant qu’emplacement sûr et sécurisé pour les activités en ligne.
Extrémisme violent
Le scientifique a identifié de nombreuses circonstances dans lesquelles les acteurs de la menace ont effectivement utilisé l’IA générative pour créer un contenu hyperréaliste mais nuisible qui incite à la violence et promeut la propagande extrémiste. Ces stars de la menace utilisent l’IA générative pour créer des manifestes ou des discours racistes, nationalistes ou extrémistes.
ActiveFence a découvert un fichier audio deepfake généré par l’IA qui utilisait la détresse politique et économique croissante. Cet audio produit imitait par erreur un journaliste de presse britannique bien connu, incitant à une rébellion contre le gouvernement fédéral britannique.
Le manifeste trompeur offrait des instructions sur l’obtention d’armes sur le marché clandestin et appelait à une attaque contre les installations nationales britanniques.
Toute l’actualité en temps réel, est sur L’Entrepreneur
