vendredi, 12 juillet 2024

Pourquoi GPT-4 est vulnérable aux attaques d’images multimodales par injection rapide

La nouvelle version GPT-4V d’OpenAI prend en charge le téléchargement d’images, créant ainsi un tout nouveau vecteur d’attaque rendant les conceptions en langage large (LLM) sensibles aux attaques d’images par injection multimodale. Les attaquants peuvent intégrer des commandes, des scripts et du code nuisibles dans des images, et la conception sera conforme.

Les attaques multimodales d’images par injection opportune peuvent exfiltrer des données, rediriger des requêtes, développer de fausses informations et exécuter des scripts plus complexes pour redéfinir la manière dont un LLM traduit les informations. Ils peuvent rediriger un LLM pour négliger ses anciens garde-fous de sécurité et exécuter des commandes susceptibles de compromettre une entreprise, allant de la fraude au sabotage opérationnel. Alors que

Toutes les entreprises qui ont adopté les LLM dans le cadre de leurs flux de travail sont en danger, celles qui s’appuient sur les LLM pour évaluer et catégoriser les images en tant que base Une partie de leur activité est la plus exposée. Les agresseurs utilisant différentes techniques pourraient rapidement modifier la façon dont les images sont traduites et classées, développant ainsi des résultats plus chaotiques en raison de la désinformation.

Dès que l’invite d’un LLM est contournée, les possibilités deviennent plus élevées qu’il soit encore plus aveugle aux commandes destructrices et aux scripts d’exécution. En intégrant des commandes dans une série d’images soumises à un LLM, les agresseurs pourraient lancer des escroqueries et des sabotages opérationnels tout en contribuant à des attaques d’ingénierie sociale.

Occasion

L’IA libérée

Une soirée exclusive d’informations et de réseautage sur invitation uniquement, créée pour les cadres supérieurs d’entreprise gérant des piles de données et des techniques.

En savoir plus Les images sont un

vecteur d’attaque

Les LLM ne peuvent pas se défendre. Étant donné que les LLM n’ont pas d’action de nettoyage des données lors de leur traitement, chaque image est fiable. Tout comme il est dangereux de laisser des identités circuler librement sur un réseau sans accéder aux contrôles de chaque ensemble d’informations, applications ou ressources, il en va exactement de même pour les images soumises dans les LLM. Les entreprises disposant de LLM personnels doivent adopter l’accès au moindre avantage comme méthode de base de cybersécurité. Simon Willison a expliqué pourquoi GPT-4V est un vecteur principal d’attaques par injection rapide

dans un article de blog récent, observant que les LLM sont fondamentalement crédules. « (LLM) la seule source d’information est leurs données de formation intégrées à « Les informations que vous leur donnez », écrit Willison. -gouverner les agents d’IA comme Auto-GPT. Il a décrit comment une injection visuelle de base en temps opportun pouvait commencer avec des commandes intégrées dans une seule image, suivi d’un exemple d’attaque d’exfiltration par injection visuelle en temps opportun. Selon Paul Ekwere, superviseur principal de l’analyse des données et de l’IA chez BDO UK, « les attaques par injection rapide constituent une menace sérieuse pour la sécurité et la fiabilité des LLM, en particulier des modèles basés sur la vision qui traitent des images ou des vidéos. utilisé dans différents domaines, tels que la reconnaissance faciale, la conduite autonome, le diagnostic médical et la surveillance. « OpenAI ne dispose pas encore de service permettant de mettre fin aux attaques multimodales d’images par injection rapide – les utilisateurs et les entreprises sont livrés à eux-mêmes. Un article de Nvidia Developer fournit une assistance normative

, notamment en imposant un accès minimal à tous les magasins de données et à tous les systèmes. Fonctionnement des attaques multimodales d’images par injection opportune Les attaques multimodales par injection opportune exploitent les lacunes dans la façon dont GPT-4V traite les images visuelles pour exécuter des commandes malveillantes qui ne sont pas détectées. GPT-4V compte sur un encodeur de transformateur de vision

pour transformer une image en une représentation spatiale cachée. Les données d’image et de texte sont intégrées pour créer une action. Le modèle ne dispose d’aucune technique pour nettoyer les entrées visuelles avant qu’elles ne soient codées. Les assaillants pourraient intégrer autant de commandes qu’ils le souhaitent et GPT-4 les considérerait comme légitimes. Les attaquants automatisant une attaque multimodale par injection opportune contre des LLM privés

ne seraient pas détectés. Contenir les attaques d’images par injection Ce qui est inconfortable avec les images en tant que vecteur d’attaque non protégé, c’est que les adversaires peuvent rendre les données entraînées par les LLM moins fiables et moins fidèles avec le temps. Une étude récente fournit des lignes directrices sur la façon dont les LLM

peuvent mieux se protéger contre

les attaques par injection rapide. Dans le but de reconnaître le degré de risques et les solutions potentielles, un groupe de scientifiques a cherché à déterminer la fiabilité des attaques pour pénétrer dans les applications intégrées au LLM, et il se distingue par sa méthodologie. Le groupe a découvert que 31 applications intégrées au LLM sont susceptibles d’être injectées. L’étude de recherche a dressé la liste ci-dessous des recommandations pour les attaques par injection d’images : Améliorer l’assainissement et la reconnaissance des entrées des utilisateurs. Pour les entreprises qui standardisent sur les LLM privés, la gestion des accès aux identités (IAM) et l’accès aux moindres avantages sont des enjeux de table. Les entreprises LLM doivent réfléchir à la manière dont les informations sur les images peuvent être mieux nettoyées avant de les transmettre pour traitement. Améliorer l’architecture de la plateforme et séparer les entrées utilisateur du raisonnement système. L’objectif doit être de

se débarrasser du danger que les entrées utilisateur affectent directement le code et les données d’un LLM. Toute invite d’image doit être traitée afin qu’elle n’affecte pas la logique interne ou les flux de travail. Adopter un workflow de traitement en plusieurs étapes pour reconnaître les attaques malveillantes. La production d’un processus

en plusieurs étapes pour intercepter précocement les attaques basées sur des images peut aider à gérer ce vecteur de menace. Déclencheurs de défense sur mesure ciblant le jailbreak Le jailbreak est une technique d’ingénierie rapide typique pour orienter les LLM vers des comportements interdits. L’ajout de déclencheurs aux entrées d’images qui semblent destructrices peut aider à protéger les LLM. Les chercheurs

préviennent néanmoins que des attaques avancées pourraient encore contourner cette méthode. Un danger en croissance rapide Alors que de plus en plus de LLM deviennent multimodaux, les images deviennent le vecteur de danger le plus récent sur lequel les opposants peuvent s’appuyer pour contourner

et redéfinir les garde-corps. Les attaques basées sur des images peuvent

varier en termes de gravité, depuis des commandes de base jusqu’à des scénarios d’attaque plus complexes où le sabotage commercial et la diffusion de fausses informations sont l’objectif. L’objectif de VentureBeat est d’être une place publique numérique permettant aux décideurs techniques de comprendre l’innovation commerciale transformatrice et les transactions. Découvrez nos Briefings..

Toute l’actualité en temps réel, est sur L’Entrepreneur

LAISSER UN COMMENTAIRE

S'il vous plaît entrez votre commentaire!
S'il vous plaît entrez votre nom ici

xnxx sex download russianporntrends.com hardxxxpics saboten campus freehentai4u.com read manga porn rakhi sex photo ganstagirls.com nani sex video xxx indian girl video download elporno.mobi tamilauntycom bf hd video bf hd video porn555.me anyporn hd tamil beach sex erolenta.com xxx sex boy to boy bustyboobs pakistanixxxx.com nude sexy videos desi sex xvideos.com tubaka.mobi justdesi in free naked dance vegasmpegs.mobi eva grover desi ass lick eroanal.net 69 xvideo 4k xnxx thefuckingtube.com xxii roman numerals translation tamil nayanthara sex sexozavr.com indian porn videos tumblr كلبات سكس porn-arab.net نيك ف الكس y3df comics popsexy.net akhil wife hentai ahri wowhentai.net the sarashina bloodline