Partager des données commerciales sensibles avec ChatGPT pourrait être risqué

La fureur entourant ChatGPT reste à son paroxysme alors que le les tenants et les aboutissants de la perspective du chatbot IA continuent de faire la une des journaux.

Un problème qui a retenu l’attention de beaucoup dans le domaine de la sécurité est de savoir si l’ingestion par l’innovation de données délicates d’entreprise met les organisations en danger.

Il est à craindre que si l’on saisit des informations sensibles (rapports trimestriels, documents pour une discussion interne, chiffres de vente, etc.) et demande à ChatGPT de composer du texte autour, que n’importe qui puisse obtenir des informations sur cette entreprise simplement en interrogeant ChatGPT à ce sujet plus tard.

Les implications de cela pourraient être importantes : pensez à traiter avec une discussion interne contenant de nouvelles données d’entreprise révélant un problème commercial à discuter lors d’une réunion du conseil d’administration.

Laisser ces informations exclusives dans la nature pourrait affaiblir le cours des actions, les attitudes des consommateurs et la confiance des clients. Pire encore, la fuite d’un produit légal à l’ordre du jour pourrait exposer une entreprise à une véritable responsabilité. Cependant, l’une de ces choses pourrait-elle réellement se produire simplement à partir de choses placées dans un chatbot ?

Cette idée a été explorée par la société d’étude de recherche Cyberhaven en février, en se concentrant sur la façon dont OpenAI utilise le contenu que les individus mettent dans ChatGPT comme données de formation. pour améliorer son innovation, avec une sortie ressemblant soigneusement à ce qui était en entrée.

Cyberhaven a affirmé que la saisie de données confidentielles dans ChatGPT pourrait potentiellement être révélée à un tiers s’il posait à ChatGPT certaines questions basées sur les informations fournies par l’exécutif.

ChatGPT n’enregistre pas les données d’entrée des utilisateurs, n’est-ce pas ?

Le National Cyber ​​​​Security Center (NCSC) du Royaume-Uni a partagé plus d’informations sur la question en mars, précisant que ChatGPT et d’autres grandes conceptions de langage (LLM) n’ajoutent actuellement pas d’informations instantanément des questions aux modèles que d’autres peuvent interroger.

C’est-à-dire que le fait d’inclure des informations dans une question ne conduira pas à l’inclusion de ces informations éventuellement privées dans le LLM. « Cependant, la requête apparaîtra à l’organisation fournissant le LLM (donc quand il s’agit de ChatGPT, d’OpenAI) », écrit-il.

« Ces demandes sont conservées et seront probablement utilisées pour développer le Service ou conception LLM à un moment donné.

Cela pourrait suggérer que le fournisseur LLM (ou ses partenaires/sous-traitants) est en mesure de vérifier les requêtes et peut les incorporer d’une manière ou d’une autre dans de futures variations », a-t-il ajouté. Une autre menace, qui augmente à mesure que de plus en plus d’organisations produisent et utilisent des LLM, est que les questions enregistrées en ligne pourraient être piratées, divulguées ou rendues publiques involontairement, a composé le NCSC.

Finalement, il existe une cause authentique de problème concernant des données commerciales délicates saisies et utilisées par ChatGPT, bien que les risques soient probablement moins répandus que certaines rubriques ne le laissent entendre.

Les dangers probables de la saisie d’informations sensibles dans ChatGPT

Les LLM présentent un comportement émergent appelé connaissance en contexte. Au cours d’une session, au fur et à mesure que le modèle reçoit des entrées, il peut être conditionné pour effectuer des tâches en fonction du contexte inclus dans ces entrées.

« C’est probablement le phénomène auquel les individus font référence lorsqu’ils s’inquiètent d’une fuite d’informations. Il n’est pas possible que des informations d’une session d’utilisateur soient divulguées à une autre », a déclaré Andy Patel, scientifique principal chez WithSecure, au CSO. .

« Une autre préoccupation est que les invites ont participé à l’interface ChatGPT seront collectées et utilisées dans les futures informations de formation. »

Bien qu’il y ait lieu de craindre que les chatbots ingèrent puis vomissent détails délicats, un tout nouveau modèle nécessiterait d’être formé afin d’inclure ces données, dit Patel.

La formation des LLM est une procédure longue et coûteuse, et il déclare qu’il serait surpris si un modèle était formé sur les données collectées par ChatGPT à l’avenir.

« Si un tout nouveau modèle est finalement développé qui inclut les déclencheurs ChatGPT collectés, nos inquiétudes se tournent vers les attaques d’inférence d’abonnement. De telles attaques ont le potentiel d’exposer des numéros de carte de crédit ou des détails personnels qui figuraient dans les informations de formation. Cependant, aucune attaque d’inférence d’abonnement n’a été réellement montrée par rapport au Les LLM alimentant ChatGPT et d’autres systèmes comparables. »

Cela indique qu’il est extrêmement peu probable que les futurs modèles soient sensibles aux attaques de raisonnement d’adhésion, bien que Patel admette qu’il est possible que la base de données constituée de déclencheurs conservés puisse être piratée ou divulguée.

Troisièmement les liens entre les parties et l’IA pourraient exposer des données

Les inquiétudes sont plus susceptibles de se développer à partir de fournisseurs de services externes qui n’énoncent pas clairement leurs politiques de confidentialité, donc les utiliser avec des outils et des plates-formes autrement protégés peut mettre toutes les données qui seraient privé en danger, déclare Wicus Ross, chercheur senior en sécurité chez Orange Cyberdefense.

« Les plates-formes SaaS telles que Slack et Microsoft Teams ont des limites d’informations et de traitement claires et une faible menace d’informations exposées à des tiers. Ces lignes claires peuvent rapidement devenir floues si les services sont complétés par des tiers – des modules complémentaires ou des bots qui doivent interagir avec les utilisateurs, qu’ils soient ou non connectés à l’IA », déclare-t-il.

« En l’absence d’une déclaration explicite claire dans laquelle le sous-traitant tiers garantit que les informations ne seront pas divulguées, vous devez présumer qu’elles ne sont plus personnelles. »

En dehors des informations sensibles les données étant partagées par des utilisateurs réguliers, les entreprises doivent également comprendre les attaques par injection opportunes qui pourraient exposer les directives précédentes proposées par les développeurs lors du réglage de l’outil ou le faire négliger les directives précédemment configurées, déclare Neil Thacker, CISO de Netskope pour la région EMEA, au CSO.

« Les exemples actuels incluent les farceurs de Twitter qui modifient les habitudes et les préoccupations du bot avec Bing Chat, où les chercheurs ont découvert une méthode pour que ChatGPT divulgue les instructions précédentes très probablement écrites par Microsoft qui devraient être masquées. »

Contrôler les données envoyées à ChatGPT

Les informations sensibles représentent actuellement 11 % de ce que les membres du personnel collent dans ChatGPT, l’entreprise moyenne transmettant des informations sensibles à ChatGPT plusieurs fois par semaine, selon Cyberhaven.

« ChatGPT passe du buzz au monde réel et les organisations expérimentent des applications pratiques tout au long de leur service pour rejoindre leurs autres outils basés sur ML/AI, mais il faut faire preuve de prudence, en particulier lorsqu’il concerne le partage d’informations secrètes », déclare Thacker.

« Le facteur à prendre en compte doit être pris en compte sur les éléments de la propriété de l’information et quel est l’effet potentiel si l’organisation hébergeant les données est violée. Comme entraînement facile, les spécialistes de la sécurité de l’information devraient, au minimum, être capable d’identifier la classification des informations éventuellement accessibles en cas de violation de ces services. »

En fin de compte, il est de la responsabilité d’un service de s’assurer que ses utilisateurs sont pleinement informés des informations qui doivent et doivent ne pas être révélé à ChatGPT. Les organisations doivent faire très attention aux informations qu’elles choisissent de soumettre dans les invites, déclare le NCSC : « Vous devez vous assurer que ceux qui souhaitent expérimenter les LLM ont la capacité de le faire, mais d’une manière qui ne positionne pas les données organisationnelles en cas de menace. »

Avertir les travailleurs du danger potentiel des chatbots

Identifier et gérer les données que les employés envoient à ChatGPT n’est pas sans obstacle, a alerté Cyberhaven.

« Lorsque les employés saisissent les données de l’entreprise dans ChatGPT, ils ne soumettent pas de fichier, mais copient et collent plutôt le contenu dans leur navigateur Web. De nombreux produits de sécurité sont créés pour protéger les fichiers (qui sont étiquetés personnels) de en cours de publication, mais une fois que le matériel est copié du fichier, ils ne peuvent pas le suivre », écrit-il. De plus, les informations sur l’entreprise transmises à ChatGPT ne contiennent souvent pas de modèle reconnaissable que les outils de sécurité recherchent, comme un numéro de carte de crédit ou un numéro de sécurité sociale, a déclaré Cyberhaven.

« Sans en savoir plus sur son contexte, les outils de sécurité d’aujourd’hui ne peuvent pas faire la distinction entre quelqu’un qui saisit le menu de la cafétéria et les stratégies MA de l’entreprise. »

Pour une meilleure exposition, les organisations doivent exécuter des politiques sur leurs entrées Web sûres et sécurisées (SWG) pour reconnaître l’utilisation d’outils d’IA et peuvent également appliquer des politiques de prévention de la perte de données (DLP) pour reconnaître quelles informations sont soumises à ces outils, déclare Thacker.

Les organisations doivent mettre à jour les politiques de protection des détails pour s’assurer que les types d’applications qui sont des gestionnaires appropriés d’informations confidentielles sont bien enregistrés, déclare Michael Covington, vice-président de la stratégie de portefeuille chez Jamf.

« La gestion de ce flux d’informations commence par une politique bien documentée et éduquée », déclare-t-il. « En outre, les organisations devraient vérifier comment elles peuvent utiliser ces toutes nouvelles technologies pour améliorer leurs services de manière réfléchie. N’hésitez pas à ces services par souci et imprévisibilité, mais consacrez du personnel à découvrir de nouveaux outils qui montrer prospectif afin que vous puissiez comprendre les dangers tôt et vous assurer que suffisamment de sécurités restent en place lorsque les premiers utilisateurs finaux souhaitent commencer à utiliser les outils. »