vendredi, 1 mars 2024

Pourquoi la promesse de l’IA générative se résume à la sécurité

Les responsables informatiques donnent désormais la priorité à l’IA générative et adoptent des cas d’utilisation critiques dans l’ensemble de l’entreprise, du à l’amélioration du style et des articles en passant par la science de l’information, les opérations et les ventes. En dehors de l’entreprise, il est utilisé dans ce que l’on pourrait appeler des cas critiques pour l’humanité, comme le développement de vaccins et la détection du cancer, ainsi que dans des efforts environnementaux, sociaux et de gouvernance comme l’optimisation des ressources et bien plus encore.

Mais chacun des ces cas d’utilisation comportent leurs propres dangers en matière de sécurité, en particulier lorsqu’ils concernent la confidentialité et la sécurité, la conformité et la perte possible de données sensibles et d’adresses IP. Et la menace continuera de croître.

« Les organisations doivent préparer chaque tâche d’IA générative, dans l’entreprise et à l’extérieur, non seulement aux risques actuels, mais aussi en gardant l’avenir à l’esprit », déclare Vijoy. Pandey, vice-président directeur chez Outshift by Cisco. « Dans le même temps, il est essentiel de trouver un équilibre entre le développement d’applications et la confiance des utilisateurs, et de donner la priorité à la confidentialité, à l’authenticité et à l’attribution. »

Les menaces distinctes de l’IA générative

Une partie de la difficulté réside dans le fait que les risques de l’IA générative sont particuliers. Considérez la nouvelle élégance des attaques de phishing. La capacité de produire des contrefaçons profondes et de se faire passer pour n’importe qui par vidéo, voix et texte afin de lancer des appâts encore plus convaincants a en fait fait passer les escroqueries à l’identité à un niveau supérieur. Un fraudeur tente peut-être d’arnaquer une entreprise avec d’innombrables dollars, mais quelqu’un qui ressemble et semble être le représentant du service client d’une entreprise pourrait cibler des individus.

Les utilisateurs saisissent allègrement des informations sensibles. en modèles d’IA génératifs dans la nature. L’IA générative aime conserver les données qu’elle reçoit, et toute information collectée par un système est utilisée pour former des modèles. Comment une organisation peut-elle sécuriser les informations sensibles ou empêcher l’organisation de violer les directives en matière de confidentialité personnelle dans ces cas-là ? Les organisations doivent également rester au courant des toutes nouvelles réglementations à mesure qu’elles émergent en réaction aux risques potentiels de l’IA générative.

Et même si vous en croyez les quantités véritablement énormes d’informations que les grands langages conçoivent (LLM) dont ils ont besoin pour fonctionner – ainsi que la grande quantité d’informations nouvelles qu’ils développent – constituent les difficultés de sécurité les plus importantes, des paradigmes de sécurité existent pour protéger les informations brutes et les plates-formes de données, ainsi que pour prévenir les fuites d’informations.

Les fraudeurs peuvent s’infiltrer n’importe où dans le pipeline de la génération IA pour empoisonner la conception et altérer sa capacité à faire des prévisions précises, à refuser un service ou à accéder au système d’exploitation.

Le véritable problème, déclare Pandey, est la vulnérabilité du pipeline gen AI. Les fraudeurs peuvent s’infiltrer n’importe où dans le pipeline de la génération IA pour empoisonner la conception et nuire à sa capacité à faire des prévisions précises, voire même l’amener à mentir joyeusement aux utilisateurs, à refuser un service, à accéder au système d’exploitation ou à vous embarrasser sur les réseaux sociaux. Cela peut avoir un impact profond à la fois sur les clients et sur les utilisateurs de l’entreprise qui peuvent s’appuyer sur un outil d’IA générative pour les aider à prendre des décisions critiques.

« Nous étudions des problèmes tels que les attaques par empoisonnement des informations et la conception. attaques d’inversion et bien plus encore, et la détection est le principal problème », explique-t-il. « Nous dépendons tous d’intervalles de confiance et d’une barre que nous fixons pour l’ensemble du pipeline pour dire oui ou non, si je dois me fier ou non au résultat. Et si les attaques elles-mêmes tendent à mettre en danger le pipeline, cette barre ou cette barre. votre niveau de confiance peut jouer contre vous. Les groupes SecOps bénéficient du soutien de structures de sécurité reconnues telles que MITRE ATLAS et OWASP Top 10, qui restent en train de répondre aux problèmes de sécurité de l’IA générative à mesure qu’ils sont connus.

« Mais ce que nous devons retenir « Il faut garder à l’esprit que l’IA générative est encore toute nouvelle et continue de progresser, et que la sécurité devra suivre le rythme », déclare Pandey. « Ce sera un voyage. »

La sécurité IP et la boîte non transparente

Les résultats sophistiqués de l’IA générative sont le résultat de ces grandes quantités d’informations l’algorithme ingère, en plus de la complexité de ces algorithmes. Naturellement, l’utilisateur à l’autre bout du fil n’a aucun espoir de retracer le cheminement de choix d’une réponse qu’il obtient, ni de découvrir d’où proviennent les informations. Cela nous amène directement à l’une des plus grandes menaces liées à l’utilisation de conceptions disponibles dans le commerce, qu’il s’agisse d’OpenAI ou de conceptions open source comme Hugging Face ou Mistral AI : l’exposition directe de la propriété intellectuelle. Le problème est à la fois externe (les données sur lesquelles le modèle a été formé) et provenant de l’intérieur de votre maison (les informations saisies par vos utilisateurs).

« La préoccupation en fin de compte est de savoir comment puis-je sécuriser mon accès aux données, tout en empêchant la propriété intellectuelle ou toute information délicate de quitter l’organisation et de se retrouver dans cette boîte opaque, et vice versa. »

« La préoccupation devient : comment puis-je protéger mon accès aux données, tout en empêchant la propriété intellectuelle ou tout autre détail délicat de quitter l’organisation et de se retrouver dans cette boîte non transparente, et vice versa », déclare Pandey. « Est-ce que j’utilise par inadvertance un contenu open source ou un contenu sous licence qui a fait son chemin vers ce modèle que je ne devrais pas utiliser sans licences appropriées en place ? C’est une voie à double sens. »

Il y a aussi une préoccupation avec à la fois une récence et un caractère unique, dont aucun n’est intégré dans des conceptions de structure standard prêtes à l’emploi : les données sont tout aussi récentes que la date indiquée sur la boîte, et elles ne sont pas adaptées à votre environnement de service ou aux cas d’utilisation de votre entreprise. . Cela peut avoir un impact direct sur la génération augmentée par récupération (RAG), qui constitue actuellement le meilleur moyen d’inclure un contexte d’entreprise sécurisé et à jour, et de fournir des citations permettant aux utilisateurs de confirmer et d’évaluer les résultats du modèle.

Contrairement aux LLM pré-entraînés, RAG permet à une conception de découvrir dans le temps, diminue ou minimise les hallucinations et conserve les informations privées et IP internes.

RAG intègre la récupération d’informations (ou la navigation) dans la génération de texte LLM. Il peut à la fois collecter des informations contextuelles et spécifiques à l’utilisateur en temps réel et puiser dans une base de données vectorielles exclusive ou dans un magasin de fonctionnalités opérationnelles, qui peut être autonome ou intégré à l’application LLM. Contrairement aux LLM pré-entraînés, RAG permet à un modèle d’apprendre dans le temps, de réduire ou de réduire les hallucinations et de conserver les informations privées et les adresses IP en interne.

« C’est comme demander à un généraliste d’en apprendre davantage sur la physique quantique et de l’envoyer à la bibliothèque », explique Pandey. « Cette procédure consistant à aller à la bibliothèque, à sortir ces livres et à consommer les informations est essentiellement du RAG. Il y a des obstacles et cela demande de l’expérimentation – et cela changera progressivement. À l’heure actuelle, c’est une manière de facto d’adapter les conceptions de structure aux besoins d’une entreprise. cas d’utilisation sans exposer vos informations. »

Protéger les utilisateurs et la structure pour l’avenir

 » Il existe aujourd’hui une limite distincte autour des cas d’utilisation de l’IA générative, mais dans quelques années, cette frontière deviendra floue et elle finira par être répandue dans tout ce que nous construisons ou consommons », déclare Pandey. « Et cela signifie que lorsque vous cherchez à construire l’avenir, vous devez adopter une méthode de confiance zéro. »

Présumez que tout et n’importe quoi peut échouer dans l’ensemble de votre pipeline : le les données elles-mêmes, le modèle depuis la production jusqu’à la mise en œuvre, l’accès non approuvé aux informations et l’application finale.

Cela suggère de supposer que tout et n’importe quoi peut mal tourner dans l’ensemble de votre pipeline : les informations lui-même, la conception depuis la production jusqu’à la sortie, l’accès non autorisé aux données et la dernière application.

Et il y a l’aspect humain : il s’agit d’une toute nouvelle innovation, et les lignes directrices n’ont en fait pas encore été gravé dans la pierre. Vous pourriez présumer que quiconque touche au modèle est susceptible de commettre des erreurs, mais il existe un risque accru de négliger involontairement une vulnérabilité puisqu’elle n’était en réalité pas un problème dans le passé. La paperasse est cruciale ici, à des fins médico-légales, il faut qu’une infraction ait lieu et pour aider à se concentrer sur les mesures de sécurité.

« Assurez-vous que vous enregistrez l’intention de ce que vous souhaitez faire : cataloguer les sources d’informations, cataloguer les modèles utilisés en production qui sont utilisés pour s’entraîner et se répéter sur ce pipeline », explique Pandey. « Ensuite, cataloguez les applications elles-mêmes, classez ces applications en fonction de leur importance et assurez-vous que vos politiques de sécurité et vos garde-fous correspondent réellement à cette urgence. »

De toute évidence, cette sécurité doit être présente à chaque niveau. de la pile jusqu’à l’infrastructure, car si un système ou une couche cesse de fonctionner, la défense en profondeur concerne le sauvetage – et encore une fois, souligne-t-il, le processus de sécurité sera un voyage.

« La méthode pour assurer la sécurité dans un environnement d’IA générative consiste à utiliser des procédures stochastiques : construire des modèles d’IA qui gèrent la sécurité dans d’autres conceptions. »

« Ceci est où nous devons créer de toutes nouvelles techniques », dit-il. « Si les attaques elles-mêmes tendent à compromettre le pipeline, à produire des informations biaisées ou à prendre de mauvaises décisions, le niveau de problèmes s’élèvera à des sommets. La méthode pour assurer la sécurité dans un environnement d’IA générative consiste à utiliser des processus stochastiques : développer des modèles d’IA qui gèrent la sécurité dans d’autres conceptions, signaler les problèmes dans le contenu créé lorsque les choses tournent mal. »

IA générative et l’importance de la confiance des utilisateurs

La confiance est un KPI d’organisation massif, explique Pandey. La sécurité a un impact direct sur la confiance des utilisateurs, l’expérience utilisateur et le succès d’une solution d’IA générative. Si un client ou un client perd confiance dans votre organisation, cela a un impact profond sur les bénéfices.

« Une application non sécurisée est une application indisponible, fondamentalement inexistante, et pour cette raison, toute monétisation ou tout KPI commercial de cette application est sans objet. « 

« Une application non sécurisée est une application non disponible, pratiquement inexistante, et par conséquent, tout gain d’argent ou tout KPI commercial provenant de cette application est un point discutable », explique-t-il. « Le la même chose peut être dite à propos d’un pipeline, d’un modèle ou d’une application d’IA générative. Si vous avez un modèle non sécurisé, alors c’est un modèle indisponible. Vous ne pouvez pas vraiment construire une entreprise autour de ce modèle et monétiser ce modèle. »

D’un autre côté, si un consommateur découvre que ses informations privées a été exposé ou utilisé de manière inappropriée, ce qui peut se produire dans de nouvelles méthodes dans le monde de la génération IA, leur confiance disparaît immédiatement pour toujours – et la confiance des clients dans l’IA est actuellement assez fragile.

Ces 2 vecteurs qui se produisent à en même temps, et accepter les menaces et découvrir des solutions va prendre du temps.

« Adoptez un état d’esprit de confiance zéro, construisez une défense en profondeur et supposez que vous devez prendre en compte les menaces. d’une boîte non transparente, en plus de l’accès au pipeline interne lui-même, depuis les données jusqu’à l’application elle-même », déclare-t-il. « Et gardez à l’esprit où vous commencez aujourd’hui et où vous serez dans 3 ans. va être très varié en raison du fait que le vecteur d’IA générative, ainsi que la sécurité qui l’entoure, se développent tous deux rapidement. »

.

Toute l’actualité en temps réel, est sur L’Entrepreneur

LAISSER UN COMMENTAIRE

S'il vous plaît entrez votre commentaire!
S'il vous plaît entrez votre nom ici