La révolution assurée de l’IA est arrivée. Le ChatGPT d’OpenAI a établi un tout nouveau record pour la base d’utilisateurs à la croissance la plus rapide et la vague d’IA générative s’est étendue à d’autres plates-formes, créant un changement massif dans le monde de l’innovation.
Cela modifie également radicalement le paysage des menaces — et nous commençons à voir quelques-unes de ces menaces liées à l’exécution.
Les agresseurs utilisent l’IA pour améliorer le phishing et la fraude. Le modèle de langage de 65 milliards de critères de Meta a été divulgué, ce qui entraînera certainement de nouvelles attaques de phishing améliorées. Nous voyons chaque jour de nouvelles attaques par injection rapide.
Les utilisateurs placent généralement des données sensibles pour l’entreprise dans des services basés sur l’IA/ML, laissant les groupes de sécurité se démener pour prendre en charge et gérer l’utilisation de ces services. Par exemple, les ingénieurs de Samsung ont mis du code exclusif dans ChatGPT pour obtenir de l’aide pour le déboguer, dégoulinant de données sensibles. Une étude de Fishbowl a révélé que 68 % des personnes qui utilisent ChatGPT pour le travail n’en informent pas leurs patrons.
Événement
Transformer 2023
Rejoignez-nous à San Francisco les 11 et 12 juillet, où des cadres supérieurs expliqueront comment ils ont réellement intégré et amélioré l’IA financière investissements pour réussir et éviter les erreurs typiques.
Inscrivez-vous maintenant Utilisation abusive de l’IA
est nettement activé
l’esprit des clients, des entreprises et même du gouvernement. La Maison Blanche a révélé de tout nouveaux investissements dans la recherche sur l’IA et les évaluations et politiques publiques à venir. La transformation de l’IA évolue rapidement et a produit 4 grandes classes de problèmes. Asymétrie dans la dynamique attaquant-défenseur Les attaquants adopteront et concevront probablement l’IA plus rapidement que les défenseurs, offrant un avantage évident. Ils pourront lancer des attaques avancées alimentées par AI/ML à une échelle incroyable à faible coût. Les attaques d’ingénierie sociale seront les premières à tirer parti du texte, de la voix et des images synthétiques. Un certain nombre de ces attaques qui nécessitent un effort manuel – comme les tentatives de phishing qui se font passer pour l’IRS ou les agents immobiliers incitant les victimes à virer de l’argent – deviendront automatisées. Les attaquants auront la possibilité d’utiliser ces innovations pour créer un meilleur code malveillant et lancer de nouvelles attaques plus fiables à grande échelle
. Par exemple, ils auront la capacité de produire rapidement du code polymorphe pour les logiciels malveillants qui échappe à la détection des systèmes basés sur les signatures. Parmi les dirigeants d’AI, Geoffrey Hinton, a récemment fait la une des journaux lorsqu’il a déclaré au New York Times qu’il regrettait ce qu’il avait aidé à construire car « il est difficile de voir comment vous pouvez
éviter que les mauvais acteurs ne l’utilisent pour de mauvaises choses. « Sécurité et IA : nouvelle érosion de la confiance sociale Nous avons en effet vu à quelle vitesse la désinformation peut se propager grâce aux réseaux sociaux. Un sondage de l’Institut Pearson de l’Université de Chicago/AP-NORC révèle que 91 %
des adultes de tous les horizons politiques pensent
que la désinformation est un problème et près de la moitié estiment qu’ils l’ont propagée. Mettez un fabricant derrière, et la confiance sociale peut se détériorer moins cher et beaucoup plus rapidement. Les systèmes d’IA/ML existants basés sur de grandes conceptions de langage (LLM) sont intrinsèquement limités dans leur compréhension, et lorsqu’ils ne comprennent pas comment répondre, ils inventent des choses. Ceci est fréquemment décrit comme « hallucinant », une conséquence inattendue de cette innovation émergente. Lorsque nous recherchons des réponses légitimes, le manque de précision est un énorme problème. Cela trahira la confiance humaine et créera des erreurs remarquables qui auront des conséquences remarquables. Un maire australien, par exemple, a déclaré qu’il pourrait poursuivre OpenAI pour diffamation après que ChatGPT l’ait identifié à tort comme étant emprisonné pour corruption alors qu’il était en fait
le lanceur d’alerte dans une affaire. Nouvelles attaques Au cours des prochaines années, nous verrons une nouvelle génération d’attaques sur les systèmes AI/ML. Les attaquants influenceront les classificateurs que les systèmes utilisent pour biaiser les modèles et contrôler les sorties. Ils créeront des modèles malveillants qui seront impossibles à distinguer des modèles réels, ce qui pourrait causer de réels dommages selon
la façon dont ils sont utilisés. Les attaques par injection de déclenchement deviendront également plus courantes.
Simplement un jour après que Microsoft a introduit Bing Chat, un étudiant de l’Université de Stanford a encouragé la conception à exposer ses directives internes. Les attaquants lanceront une course aux armements avec des outils ML contradictoires qui trompent les systèmes d’IA de différentes manières, empoisonnent les données qu’ils utilisent ou extraient des informations délicates du modèle. Comme une plus grande partie de notre code d’application logicielle est générée par des systèmes d’IA, les ennemis pourraient être en mesure de tirer le meilleur parti des vulnérabilités intrinsèques que ces systèmes ont présentées par inadvertance pour compromettre les applications à grande échelle. Externalités d’échelle Les coûts de construction et d’exploitation de conceptions à grande échelle produiront des monopoles et des barrières à l’entrée qui conduiront à des externalités que nous ne pourrons peut-être pas anticiper. En fin de compte, cela affectera les citoyens et les clients de manière négative. La désinformation finira par se généraliser, tandis que les attaques d’ingénierie sociale à grande échelle affecteront les consommateurs qui n’auront aucun moyen de se protéger.
La déclaration du gouvernement fédéral
selon laquelle la gouvernance est à venir est un excellent début, mais il reste encore beaucoup de chemin à faire pour se placer devant cette course à l’IA. IA et sécurité : ce qui vient
prochainement L’Institut à but non lucratif Future of Life a publié une lettre ouverte appelant à une pause dans l’innovation en matière d’IA. Il a reçu beaucoup de couverture médiatique, avec des gens comme Elon Musk se joignant à la foule des célébrations inquiètes, mais appuyer sur le bouton pause n’est tout simplement pas pratique. Même Musk comprend cela – il a en fait relativement changé de cap et a créé sa propre entreprise d’IA pour terminer. Il était toujours fallacieux de suggérer que le développement devait être étouffé.
Les attaquants ne respecteront certainement pas cette
demande. Nous avons besoin de plus d’innovation et de plus d’action pour nous assurer que l’IA est utilisée de manière responsable et équitable. La doublure argentée est que cela crée également des opportunités pour des techniques ingénieuses de sécurité qui utilisent l’IA. Nous verrons des améliorations dans la chasse aux dangers et l’analyse comportementale, mais ces développements prendront du temps et nécessiteront des investissements. Toute toute nouvelle innovation développe un changement de paradigme,
et les choses s’aggravent toujours avant de s’améliorer. Nous avons en fait eu un avant-goût des possibilités dystopiques lorsque l’IA est utilisée par les mauvaises personnes, mais nous devons agir maintenant pour que les professionnels de la sécurité puissent établir des techniques et réagir lorsque des problèmes massifs émergent. En ce moment, nous ne sommes malheureusement pas préparés à l’avenir de l’IA.
Toute l’actualité en temps réel, est sur L’Entrepreneur
