Au début de l’année 2023, nous avons assisté à l’utilisation explosive de ChatGPT d’OpenAI, accompagnée par les inquiétudes des profanes concernant la transformation de l’intelligence générale artificielle (AGI) et les interruptions prévues des marchés. Il ne fait aucun doute que l’IA aura une influence considérable et transformatrice sur une grande partie de ce que nous faisons, mais le moment est venu d’examiner de manière plus sobre et réfléchie la manière dont l’IA modifiera le monde et, en particulier, la cybersécurité. Avant cela, prenons une minute pour parler d’échecs.
En 2018, l’un de nous a eu la chance d’entendre et de parler brièvement avec Garry Kasparov, l’ancien champion du monde d’échecs (de 1985 à 2000). ). Il a parlé pour la première fois de ce que c’était que de jouer et de perdre contre Deep Blue, le superordinateur de jeu d’échecs d’IBM. Il a déclaré que c’était écrasant, mais il s’est rallié et l’a battu. Il gagnerait plus qu’il ne perdrait.
Cela a changé progressivement : il perdrait alors plus que gagnerait, et finalement, Deep Blue gagnerait systématiquement. Il a souligné un point important : « Pendant une dizaine d’années, le monde des échecs a été contrôlé par des personnes assistées par ordinateur. » En fin de compte, l’IA seule a dominé, et il convient de garder à l’esprit qu’aujourd’hui, les stratagèmes utilisés par l’IA dans de nombreux jeux déroutent même les meilleurs maîtres.
Le point crucial est que les humains assistés par l’IA ont un avantage. L’IA est en réalité une boîte à outils composée principalement d’apprentissage automatique et de LLM, dont beaucoup ont été mis au point au fil des années pour résoudre des problèmes tels que la détection de nouveaux logiciels malveillants et la détection de fraudes. Mais il y a plus que cela. Nous sommes à une époque où les progrès des LLM éclipsent ce qui a réellement existé auparavant. Même si nous assistons à l’éclatement d’une bulle boursière, le génie de l’IA est sorti de sa bouteille et la cybersécurité ne sera plus jamais la même.
Avant de continuer, faisons une dernière stipulation (obtenue de Daniel Miessler) selon laquelle l’IA a jusqu’à présent de la compréhension, mais elle ne montre pas le raisonnement, l’effort ou la vie. Et cela est essentiel pour apaiser les inquiétudes et l’embellissement du rachat du fabricant, et pour comprendre que nous ne sommes pas encore à une époque où les esprits du silicium s’affrontent sans les cerveaux du carbone dans la boucle.
Examinons trois points. aspects de l’interface utilisateur de la cybersécurité et de l’IA : la sécurité de l’IA, l’IA en défense et l’IA en attaque.
Sécurité de l’IA
Pour la plupart D’une part, les entreprises sont confrontées à un problème similaire à celui de l’introduction de la messagerie instantanée, des moteurs de recherche en ligne et du cloud computing : elles doivent adopter et s’adapter ou affronter des concurrents dotés d’un avantage technologique disruptif. Cela indique qu’ils ne peuvent pas simplement bloquer l’IA s’ils veulent rester appropriés. Tout comme ces autres technologies, la toute première délocalisation consiste à créer des instances privées de LLM en particulier, alors que les IA publiques se démènent comme les anciens fournisseurs de cloud public pour s’adapter et répondre aux exigences du marché.
En empruntant le langage de la transformation du cloud à l’ère de l’IA, ceux qui visent une IA personnelle, hybride ou publique doivent réfléchir attentivement à une variété de questions, parmi lesquelles les moindres sont la vie privée, la propriété intellectuelle et gouvernance.
Néanmoins, il existe également des préoccupations en matière de justice sociale, car les ensembles d’informations peuvent souffrir de prédispositions à l’admission, les conceptions peuvent lutter contre des préjugés hérités (ou nous tenir un miroir nous montrant des faits en nous-mêmes que nous devons gérer). avec) ou peut provoquer des répercussions inattendues sur la production. Dans cette optique, il est essentiel de réfléchir aux éléments suivants :
- Comité d’évaluation de l’utilisation éthique : l’utilisation des IA doit être réglementée et surveillée pour une utilisation correcte et une utilisation éthique, tout comme d’autres industries régissent la recherche et l’utilisation, comme les soins de santé avec les études de recherche sur le cancer.
- Contrôles de l’approvisionnement en informations : il y a des problèmes de droits d’auteur, bien sûr, mais aussi de confidentialité. facteurs à considérer sur la consommation. Même si l’inférence peut réidentifier les informations, l’anonymisation est très importante, tout comme la recherche d’attaques d’empoisonnement et de sabotage.
- Contrôles d’accès à : l’accès à doit être réservé à des usages particuliers. dans la recherche et par des appels distinctifs et un suivi des individus et des systèmes de responsabilisation. Cela inclut le traitement, le réglage et la maintenance des informations.
- Sortie particulière et de base : la sortie doit être destinée à un objectif et à une application spécifiques et liés à l’entreprise, et aucune interrogation de base ne doit être autorisée. ou l’API ouverte y a accès à moins que les représentants utilisant cette API ne soient également gérés et gérés.
- Fonction de sécurité de l’IA : pensez à un gestionnaire dédié à la sécurité de l’IA et à la confidentialité personnelle. Cette personne se concentre sur les attaques qui pratiquent l’évasion (récupération des caractéristiques et des entrées utilisées pour entraîner un modèle), le raisonnement (interrogation itérative pour obtenir un résultat souhaité), la détection de la folie (c’est-à-dire l’hallucination, le mensonge, la créativité, etc.), l’extraction pratique. et une confidentialité et un ajustement personnels durables. Ils examinent également les accords, effectuent les liaisons juridiques, traitent avec des spécialistes de la sécurité de la chaîne d’approvisionnement, interagissent avec les équipes qui travaillent avec les boîtes à outils d’IA, garantissent l’exactitude des déclarations marketing (on peut rêver !), etc.
L’IA dans la défense
Il existe néanmoins également des applications de l’IA dans la pratique de la cybersécurité elle-même. C’est là que le paradigme humain assisté par l’IA s’avère être un facteur essentiel à prendre en compte dans la façon dont nous envisageons les futurs services de sécurité. Les applications sont naturellement nombreuses, mais partout où il y a un travail de routine en matière de cybersécurité, depuis les requêtes et les scripts jusqu’à l’intégration et l’analyse répétitive, il existe une chance pour l’application discrète de l’IA. Lorsqu’un humain au cerveau carboné doit effectuer un travail en profondeur à grande échelle, l’erreur humaine s’infiltre et ce système carboné finit par être moins efficace.
L’esprit humain se démarque dans les tâches liées à l’imagination et à la motivation. et les choses pour lesquelles un cerveau de silicium n’est pas bon : la réflexion, la vie et l’initiative. La plus grande capacité du silicium, application de l’IA dans la cyberdéfense, réside dans l’efficacité des procédures, les extrapolations d’ensembles de données, la suppression de tâches par cœur, etc. fait pour eux.
Par exemple, la possibilité d’une action événementielle dirigée qui peut aider à prédire les prochaines actions d’un attaquant, aider les experts en sécurité à le découvrir plus rapidement et augmenter l’efficacité de l’interface homme-machine avec un copilote (et non un pilote automatique). ) approche se développe aujourd’hui. Nous devons nous assurer que ceux qui bénéficient du soutien en matière de vol d’action en cas d’incident comprennent ce qui leur est présenté, peuvent être en désaccord avec les conseils, apporter des corrections et utiliser leur créativité et leur inspiration typiquement humaines.
Si cela commence pour ressembler un peu à notre précédent post sur l’automatisation, ça devrait ! Un grand nombre des problèmes mis en évidence ici, tels que le développement d’une prévisibilité que les agresseurs peuvent exploiter grâce à l’automatisation, peuvent désormais être pris en compte et résolus grâce aux applications de la technologie de l’IA. En termes simples, l’utilisation de l’IA peut rendre la mentalité d’automatisation plus pratique et efficace. D’ailleurs, l’utilisation de l’IA peut rendre l’utilisation d’une plateforme sans confiance pour analyser le « jamais jamais » de l’outback informatique (mentionné dans notre autre article sur l’exposition aux changements de réseau) beaucoup plus efficace et utile. Pour être clair, ceux-ci ne sont pas totalement gratuits ou simplement fournis par la publication des LLM et du reste de la boîte à outils de l’IA, mais ils finissent par être des tâches faciles à gérer et réalisables.
L’IA en attaque
La sécurité elle-même doit être modifiée puisque l’adversaire lui-même utilise des outils d’IA pour dynamiser ses propres améliorations. De la même manière que les entreprises ne peuvent pas négliger l’utilisation de l’IA car elles courent le risque d’être interrompues par leurs concurrents, Moloch nous guide en matière de cybersécurité car l’ennemi l’utilise également. Cela indique que les membres des groupes d’architecture de sécurité doivent s’inscrire auprès des comités d’évaluation de l’IA d’entreprise évoqués plus haut et éventuellement ouvrir la voie, en envisageant l’adoption de l’IA :
- Les groupes rouges doivent utiliser les outils de l’adversaire. est-ce que
- Les équipes bleues doivent les utiliser lors d’incidents
- GRC doit les utiliser pour acquérir de l’efficacité dans l’analyse du langage naturel vers la politique
- La sécurité de l’information doit utiliser leur permettre de comprendre le flux réel d’informations
- L’identité et d’y accéder doivent les utiliser pour générer absolument aucune confiance et pour obtenir progressivement des privilèges plus spéciaux et spécifiques, plus détaillés en temps réel
- Les innovations trompeuses les obligent à s’appuyer négativement sur notre infrastructure pour déjouer le challenger.
En conclusion, nous entrons dans une époque non pas de suprématie de l’IA sur les êtres humains, mais plutôt d’une possible ère de suprématie humaine assistée par l’IA. triomphe. Nous ne pouvons pas laisser les boîtes à outils de l’IA à l’écart car les concurrents et les ennemis vont les utiliser, ce qui implique que le vrai problème est de savoir comment mettre en place les meilleures normes et comment se développer. À court terme, les ennemis en particulier vont améliorer leur capacité à générer du phishing et des logiciels malveillants. Nous comprenons cela. À long terme, les applications en matière de défense, les défenseurs de ceux qui construisent des choses incroyables dans le monde numérique et la capacité de réussite dans les cyberconflits dépassent de loin les capacités des barbares et des vandales aux portes.
.
Toute l’actualité en temps réel, est sur L’Entrepreneur
