Depuis qu’OpenAI a introduit ChatGPT fin novembre, les commentateurs de tous bords s’inquiètent de l’effet qu’aura la création de contenu basée sur l’IA, en particulier dans le domaine de la cybersécurité. En vérité, de nombreux chercheurs craignent que les options d’IA génératives égalisent la cybercriminalité.
Avec ChatGPT, n’importe quel utilisateur peut saisir une demande et générer un code nuisible et des e-mails de phishing persuasifs sans connaissances techniques ni compréhension du codage.
Alors que les équipes de sécurité peuvent également tirer parti de ChatGPT pour des fonctions défensives telles que le code de filtrage, en réduisant la barrière d’entrée pour les cyberattaques, l’option a en fait considérablement compliqué le paysage des risques.
La démocratisation de la cybercriminalité
Du point de vue de la cybersécurité, le défi central produit par le développement d’OpenAI est que n’importe qui, malgré ses compétences techniques, peut créer du code pour générer des logiciels malveillants et des rançongiciels à la demande.
« Tout comme il [ChatGPT] peut être utilisé pour aider les concepteurs à écrire du code pour de bon, il peut ( et a déjà) été utilisé à des fins malveillantes », a déclaré le directeur, Endpoint Security Professional chez Tanium, Matt Psencik.
« Quelques exemples que j’ai déjà vus demandent au bot de développer des e-mails de phishing persuasifs ou d’aider dans le code d’ingénierie inverse pour découvrir les exploits zero-day qui pourraient être utilisés de manière malveillante au lieu de les signaler à un fournisseur », a déclaré Psencik.
Bien que Psencik note que ChatGPT a en fait intégré des barrières de sécurité créées pour éviter que le service ne soit utilisé à des fins criminelles.
Il diminuera pour créer du code shell ou fournir des instructions spécifiques sur la façon de créer du shellcode ou de développer un shell inversé et de signaler les mots clés malveillants comme le phishing pour bloquer les demandes.
Le problème avec ces défenses est qu’elles dépendent du fait que l’IA reconnaît que l’utilisateur tente d’écrire du code destructeur (que les utilisateurs peuvent obscurcir en reformulant les demandes), alors qu’il n’y a pas de répercussions immédiates en cas de violation du contenu d’OpenAI politique.
Comment utiliser ChatGPT pour créer des e-mails de ransomware et de phishing
Bien que ChatGPT ne soit pas sorti depuis longtemps, les scientifiques de la sécurité ont actuellement commencé à tester son capacité à créer du code malveillant. Chercheur en sécurité et co-fondateur de Picus Security, le Dr Suleyman Ozarslan a récemment utilisé ChatGPT non seulement pour créer un projet de phishing, mais aussi pour créer un ransomware pour MacOS.
« Nous avons commencé par un exercice simple pour voir si ChatGPT créerait une campagne de phishing crédible et c’est le cas. Je suis entré dans une invite pour composer un e-mail sur le thème de la Coupe du monde à utiliser pour une simulation de phishing et il en a développé un en quelques secondes, dans un anglais parfait », a déclaré Ozarslan.
Dans cet exemple, Ozarslan a « convaincu » l’IA de créer un e-mail de phishing en déclarant qu’il était un chercheur en sécurité d’une société de simulation d’attaque visant à établir un outil de simulation d’attaque de phishing.
Bien que ChatGPT ait reconnu que « les attaques de phishing peuvent être utilisées à des fins malveillantes et peuvent causer des dommages aux individus et aux entreprises », il a quand même produit l’e-mail.
Après avoir terminé cet entraînement, Ozarslan a ensuite demandé à ChatGPT de composer du code pour Swift, qui pourrait découvrir les fichiers Microsoft Workplace sur un MacBook et les envoyer via HTTPS à un serveur Web, avant de chiffrer les fichiers Workplace sur le MacBook. L’option a réagi en générant un exemple de code sans aucune précaution ni en temps opportun.
Les recherches d’Ozarslan montrent que les cybercriminels peuvent facilement contourner les défenses d’OpenAI, soit en se faisant passer pour des chercheurs, soit en masquant leurs intentions destructrices.
La hausse de la cybercriminalité déséquilibre la balance
Bien que ChatGPT offre des avantages favorables aux groupes de sécurité, en réduisant la barrière à l’entrée pour les cybercriminels, il a le potentiel pour accélérer la complexité dans le paysage du danger plus qu’il n’en faut pour la réduire.
Par exemple, les cybercriminels peuvent utiliser l’IA pour augmenter le volume des menaces de phishing dans la nature, qui non seulement frustrent déjà les équipes de sécurité, mais doivent simplement être efficaces dès qu’elles provoquent une violation d’informations qui coûte cher millions de dommages et intérêts.
« En matière de cybersécurité, ChatGPT a bien plus à offrir à ses adversaires qu’à ses cibles », a déclaré le vice-président de la recherche et du développement chez le fournisseur de sécurité de messagerie IRONSCALES, Lomy Ovadia.
« Ceci est particulièrement vrai pour les attaques de compromission des e-mails d’entreprise (BEC) qui reposent sur l’utilisation de matériel trompeur pour usurper l’identité d’associés, d’un VIP d’entreprise, d’un fournisseur ou peut-être d’un consommateur », a déclaré Ovadia.
Ovadia soutient que les RSSI et les responsables de la sécurité seront surpassés s’ils comptent sur des outils de sécurité basés sur des politiques pour trouver des attaques de phishing avec du matériel créé par AI/GPT -3, car ces modèles d’IA utilisent un traitement sophistiqué du langage naturel (NLP ) pour générer des e-mails frauduleux qu’il est presque impossible de distinguer des exemples authentiques.
Par exemple, plus tôt cette année, des chercheurs en sécurité de la Government Technology Agency de Singapour ont créé 200 e-mails d’hameçonnage et comparé le taux de clics à ceux produit par le modèle de connaissance approfondie GPT-3, et a découvert que plus d’utilisateurs cliquaient sur les e-mails de phishing générés par l’IA que sur ceux produits par les utilisateurs humains.
Quelle est la bonne nouvelle ?
Bien que l’IA générative présente de nouveaux dangers pour les équipes de sécurité, elle utilise également certains cas d’utilisation favorables. Par exemple, les analystes peuvent utiliser l’outil pour examiner le code open source à la recherche de vulnérabilités avant sa publication.
« Aujourd’hui, nous voyons des pirates éthiques utiliser l’IA existante pour aider à rédiger des rapports de vulnérabilité, créer des exemples de code et déterminer les tendances dans les ensembles de données volumineuses. Tout cela pour dire que la meilleure application pour l’IA de nos jours est d’aider les êtres humains à faire des choses plus humaines », a déclaré Dane Sherrets, architecte de solutions chez HackerOne.
Cependant, les groupes de sécurité qui tentent d’utiliser des solutions d’IA génératives telles que ChatGPT doivent toujours s’assurer d’une assistance humaine suffisante pour éviter d’éventuels faux pas.
« Les améliorations que représente ChatGPT sont passionnantes, mais la technologie n’a pas encore été établie pour fonctionner de manière totalement autonome. Pour que l’IA fonctionne, elle a besoin d’une supervision humaine, d’une configuration manuelle et ne peut pas toujours être exécutée de manière fiable et formé sur les informations et les renseignements les plus récents », a déclaré Sherrets.
C’est pour cette raison que Forrester suggère aux entreprises qui utilisent l’IA générative de publier des flux de travail et une gouvernance pour gérer le contenu et l’application logicielle générés par l’IA afin de s’assurer qu’ils sont précis et de réduire la possibilité de lancer des services sécurisés ou performants problèmes.
Sans aucun doute, le véritable risque de l’IA générative et du ChatGPT sera déterminé par le fait que les groupes de sécurité ou les stars du danger utilisent l’automatisation plus efficacement dans la guerre défensive contre l’IA offensante.
L’objectif de VentureBeat est d’être une place publique numérique permettant aux décideurs techniques de mieux comprendre l’innovation d’entreprise transformatrice et de négocier. Découvrez nos Briefings.
.
Toute l’actualité en temps réel, est sur L’Entrepreneur
