Pour quelque chose d’aussi complexe, les grandes conceptions de langage (LLM) peuvent être assez naïves en matière de cybersécurité.
Avec un ensemble d’invites simples et astucieuses, par exemple, ils peuvent divulguer des milliers de secrets. Ou encore, ils peuvent être amenés à créer des ensembles de codes nuisibles. En revanche, les données empoisonnées qui leur sont injectées en cours de route peuvent conduire à des prédispositions et à des habitudes contraires à l’éthique.
« Aussi puissants soient-ils, les LLM ne doivent pas être utilisés sans réserve », a déclaré Elad Schulman, cofondateur et PDG de Lasso Security, dans un communiqué. entretien spécial avec VentureBeat. « En raison de leurs capacités avancées et de leur complexité, les LLM sont sensibles à de nombreux problèmes de sécurité. »
L’entreprise de Schulman a pour objectif de « lasso » ces problèmes épineux – l’entreprise a été lancée de manière furtive aujourd’hui avec 6 millions de dollars d’investissement. financement d’amorçage d’Entrée Capital avec la participation de Samsung Next.
« La révolution LLM est très probablement plus grande que la révolution du cloud et la révolution du Web réunies », a déclaré Schulman. « Ce formidable progrès comporte d’excellents dangers, et il ne faut pas être trop tôt pour comprendre cela. »
VB Occasion
La tournée des effets AI
Connectez-vous à la communauté de l’IA d’entreprise lors de l’IA Impact Tour de VentureBeat dans une ville proche de chez vous !
Découvrez davantage de jailbreaking
, exposition involontaire
, l’empoisonnement de l’information Les LLM sont une technologie révolutionnaire qui a conquis le monde et qui est en fait rapidement devenue, comme l’explique Schulman, « un atout non négociable pour les entreprises cherchant à conserver un avantage concurrentiel. « L’innovation est conversationnelle
, non structurée et situationnelle, ce qui la rend vraiment facile à utiliser et à exploiter pour tout le monde. Pour les débutants, lorsqu’ils sont contrôlés par la meilleure méthode – via une injection rapide ou un jailbreak – les modèles peuvent révéler leurs données d’entraînement, les détails délicats de l’entreprise et des utilisateurs, des algorithmes propriétaires et d’autres informations personnelles. Lorsqu’ils sont accidentellement utilisés de manière inappropriée, les employés
peuvent divulguer des données d’entreprise, comme ce fut le cas avec Samsung, qui a finalement interdit complètement l’utilisation de ChatGPT et d’autres outils d’IA générative. « Étant donné que le contenu généré par LLM peut être contrôlé en temps opportun « , cela peut également conduire à offrir aux utilisateurs un accès indirect à des performances supplémentaires grâce à la conception », a déclaré Schulman. D’un autre côté, des problèmes surviennent en raison d’un « empoisonnement » de l’information ou lorsque les données de formation sont falsifiées, introduisant ainsi un biais qui met en danger la sécurité, l’efficacité ou le comportement éthique, a-t-il expliqué. De l’autre côté, la gestion des sorties n’est pas sécurisée en raison d’une reconnaissance et d’une hygiène insuffisantes des sorties avant qu’elles ne soient transmises à d’autres parties, utilisateurs et systèmes. « Cette vulnérabilité se produit lorsqu’une sortie LLM est acceptée sans examen minutieux, exposant les systèmes backend,
» selon une liste Top 10 du quartier en ligne OWASP. Une mauvaise utilisation peut entraîner de graves conséquences telles que XSS, CSRF, SSRF, une escalade d’avantages ou l’exécution de code à distance. OWASP identifie également un modèle de déni de service, dans lequel les attaquants inondent les LLM de demandes, provoquant une dégradation du service, voire un arrêt. La chaîne d’approvisionnement logicielle d’un LLM peut être compromise par des éléments ou des services vulnérables provenant d’ensembles de données ou de plugins tiers.
Concepteurs : ne comptez pas trop sur un modèle. La dépendance excessive à l’égard d’un modèle comme seule source d’informations est particulièrement préoccupante. Cela peut entraîner non seulement
de fausses informations, mais aussi des problèmes de sécurité
importants, selon les professionnels. Dans le cas d’une « hallucination groupée », par exemple, un développeur peut demander à ChatGPT de recommander un plan de code pour une tâche spécifique.
Le modèle pourrait alors accidentellement proposer une réponse à un plan qui n’existe pas (« hallucination »). Les pirates peuvent alors élaborer un plan de code nuisible qui correspond à celui halluciné.
Lorsqu’un développeur découvre ce code et l’insère, les pirates disposent d’une porte dérobée dans les systèmes de l’entreprise, a expliqué Schulman. « Cela peut exploiter la position de confiance des concepteurs dans les recommandations d’outils basés sur l’IA », a-t-il déclaré.
Obstruer et surveiller les interactions LLM En termes simples, l’innovation de Lasso obstrue les interactions avec les LLM. Cela pourrait se situer entre les travailleurs et les outils tels que Bard ou
ChatGPT ; des agents comme Grammarly liés aux systèmes d’une organisation ; des plugins connectés aux IDE des développeurs (comme Copilot) ; ou des fonctions backend effectuant des appels API. Une couche d’observabilité capture les données envoyées et récupérées depuis les LLM, et plusieurs couches de détection des menaces exploitent les classificateurs d’informations, le traitement du langage natif et les propres LLM de Lasso formés pour identifier les anomalies, a déclaré Schulman. Des actions d’action – obstruction ou avertissement – sont également utilisées. « L’une des recommandations les plus courantes est de comprendre quels outils LLM sont utilisés dans l’entreprise, par les travailleurs ou par les applications », a déclaré Schulman. , comprenez comment ils sont utilisés
et pour quelles fonctions. Ces 2 actions à elles seules apparaîtront comme une conversation importante sur ce qu’ils veulent et ce qu’ils doivent protéger. Les fonctions clés de la plateforme incluent : Shadow AI Discovery : les professionnels de la sécurité peuvent déterminer quels outils et modèles sont actifs, déterminer les utilisateurs et acquérir des informations. Suivi et observabilité des flux de données LLM : le système suit et enregistre chaque transmission de données entrant et sortant d’une
- organisation. Détection et notification en temps réel. Blocage et défense de bout en bout : garantit que les déclencheurs et les résultats produits développés par les employés ou les conceptions sont conformes aux politiques de sécurité. Panneau de commande convivial. Exploiter en toute sécurité les technologies avancées Lasso se distingue car il ne s’agit pas d’une simple fonctionnalité
- ou d’un outil de sécurité tel que la prévention des pertes d’informations (DLP) axé sur des cas d’utilisation spécifiques. Il s’agit plutôt d’une suite complète « concentrée sur le monde LLM », a déclaré Schulman. Les équipes de sécurité acquièrent
un contrôle total sur chaque interaction liée au LLM
au sein d’une entreprise et peuvent élaborer et imposer des politiques à divers groupes et utilisateurs. « Les organisations doivent adopter le développement, et elles ont besoin pour adopter les innovations LLM, mais ils doivent le faire de manière protégée et sûre », a déclaré Schulman.
Le blocage à l’aide de la technologie n’est pas durable, a-t-il gardé à l’esprit, et les entreprises qui n’adopteront pas la génération IA sans une stratégie de menace dédiée en souffriront. L’objectif de Lasso est de « doter les organisations du kit d’outils de sécurité idéal pour qu’elles puissent accepter le développement et utiliser cette innovation vraiment impressionnante sans compromettre leur sécurité », a déclaré Schulman.
La mission de VentureBeat est d’être une place publique numérique permettant aux décideurs techniques d’acquérir des connaissances sur les technologies d’entreprise transformatrices
et d’effectuer des transactions. Découvrez nos Briefings..
Toute l’actualité en temps réel, est sur L’Entrepreneur
