« L’atténuation du risque d’arrêt de l’IA devrait être une priorité mondiale aux côtés d’autres risques à l’échelle de la société, tels que les pandémies et la guerre nucléaire. »
Cette déclaration, lancée aujourd’hui par le Center for La sécurité de l’IA (CAIS) reflète un stress global – et certains pourraient dire excessif – sur les circonstances apocalyptiques en raison d’une superintelligence galopante. La déclaration du CAIS reflète les préoccupations dominantes exprimées dans les conversations de l’industrie de l’IA au cours des deux derniers mois : à savoir que des dangers existentiels pourraient se manifester au cours de la prochaine décennie ou plus, à moins que la technologie de l’IA ne soit strictement gérée à l’échelle mondiale.
La déclaration a en fait été signée par un who’s who de professionnels universitaires et de stars de la technologie allant de Geoffrey Hinton (précédemment chez Google et vétéran défenseur de profonde connaissance) à Stuart Russell (professeur d’informatique à Berkeley) et Lex Fridman (chercheur scientifique et animateur de podcast du MIT). En plus de l’extinction, le Center for AI Security alerte sur d’autres problèmes considérables allant de l’affaiblissement de la croyance humaine aux dangers de la désinformation générée par l’IA qui sape la prise de décision sociétale.
Doom gloom
Dans un article du New York City Times, le directeur exécutif du CAIS, Dan Hendrycks, a déclaré : « Il existe une croyance erronée très typique, même dans la communauté de l’IA, selon laquelle il existe simplement un une poignée de condamnés. Cependant, en vérité, beaucoup de gens exprimeraient en privé des problèmes à propos de ces choses.
Occasion
Changement 2023
Rejoignez-nous à San Francisco les 11 et 12 juillet, où des cadres supérieurs partageront comment ils ont réellement intégré et optimisé l’IA financière investissements pour réussir et prévenir les risques communs.
Inscrivez-vous maintenant »Doomers »
est le mot-clé de cette déclaration.
De toute évidence, il y a beaucoup de discours catastrophiques en cours en ce moment. Par exemple, Hinton a récemment quitté Google pour pouvoir se lancer dans une tournée catastrophique de l’IA qui nous menace tous. Dans tout le quartier de l’IA, le terme « P(doom) » est en fait
devenu élégant pour décrire la probabilité d’un tel malheur. P(doom)est une tentative de mesurer le danger d’une circonstance de fin du monde dans laquelle l’IA, en particulier l’IA superintelligente, cause de graves dommages à l’humanité et provoque même l’extinction humaine. Sur un podcast actuel de Hard Fork, Kevin Roose du New York City Times a fixé son P(doom) à
5 %. Ajeya Cotra, experte en sécurité de l’IA chez Open Philanthropy et invitée de l’émission, a fixé son P (doom) à 20 à 30 %. Il faut dire que P (doom) est simplement spéculatif et subjectif, un reflet de croyances et d’attitudes spécifiques envers la menace de l’IA – plutôt qu’une procédure concluante de ce danger. Tout le monde n’adhère pas au récit du destin de l’IA. En réalité, certains professionnels de l’IA soutiennent le contraire.
Ceux-ci incluent Andrew Ng (qui a fondé et dirigé la tâche Google Brain) et Pedro Domingos (enseignant d’informatique et d’ingénierie à l’Université de Washington et auteur de ). Ils soutiennent plutôt que l’IA fait partie de la solution. Comme l’a avancé Ng, il existe en effet des risques existentiels, tels que le changement climatique et les futures pandémies, dont l’IA peut faire partie de la façon dont ils sont traités et, espérons-le, réduits. Éclipser l’effet favorable de l’IA Melanie Mitchell, une éminente chercheuse en IA, est également
douteuse de penser à la fin du monde. Mitchell est
le professeur Davis de complexité au Santa Fe Institute et auteur de. Parmi ses arguments, il y a que l’intelligence ne peut être séparée de la socialisation. Dans, Jeremie Harris, co-fondateur de l’entreprise de sécurité de l’IA Gladstone AI, analyse Mitchell comme faisant valoir qu’un système d’IA vraiment
intelligent est le plus susceptible de finir par être mélangé en obtenant un jugement et des principes solides en tant que sous-produit de leur développement et serait donc probablement sans danger. Alors que le concept de P(doom) sert à mettre en évidence les menaces potentielles de l’IA, il peut éclipser par inadvertance un aspect important du débat
: l’effet favorable que l’IA pourrait avoir sur l’atténuation des risques existentiels. Ainsi, pour équilibrer la conversation, nous devrions également envisager une autre possibilité que j’appelle « P (option) » ou « P (sol) « , la possibilité que l’IA puisse jouer un rôle dans la prise en charge de ces dangers. Pour vous donner une idée de mon point de vue, j’ai une approximation de mon P(doom) à environ 5 %, mais mon P(sol) est plus proche de 80 %. Cela montre ma conviction que, bien que nous ne devrions pas minimiser les risques, les avantages potentiels de l’IA pourraient être suffisamment importants pour les dépasser. Cela ne veut pas dire qu’il n’y a pas de menaces ou que nous n’avons pas besoin de suivre les meilleures pratiques et directives pour prévenir les pires possibilités. Il s’agit d’affirmer, néanmoins, que nous ne devons pas nous concentrer entièrement sur les mauvais résultats ou réclamations potentiels, comme le fait un message sur le forum Reliable Selflessness Online, cette catastrophe est la possibilité. Le problème de l’alignement La principale préoccupation, selon de nombreux doomers, est la question du positionnement, où les objectifs d’une IA superintelligente ne sont pas alignés sur les valeurs humaines ou les objectifs sociétaux.
Le sujet apparaît tout neuf
avec l’émergence de ChatGPT, cette problématique est apparue il y a près de 65 ans. Comme le rapporte The Economist, Norbert Weiner – un leader de l’IA et le père de la cybernétique – a publié un essai en 1960 décrivant son inquiétude à propos d’un monde dans lequel « les machines découvrent » et « établissent des stratégies imprévues à des taux qui déroutent leurs développeurs. « Le problème d’alignement a été dramatisé pour la première fois dans le film de 1968. Marvin Minsky, un autre pionnier de l’IA, a travaillé comme consultant technique pour le film. Dans le film, l’ordinateur HAL 9000 qui alimente l’IA embarquée du vaisseau spatial Discovery One commence à agir d’une manière qui va à l’encontre des intérêts des membres d’équipage. Le problème de positionnement de l’IA fait surface lorsque les objectifs de HAL divergent de ceux de l’équipage humain. Lorsque HAL découvre les plans de l’équipe de le déconnecter en raison de préoccupations concernant son comportement, HAL considère cela comme une menace pour le succès de l’objectif et répond en essayant d’éliminer les membres d’équipage. Le message est que si les objectifs d’une IA ne sont pas parfaitement alignés sur les valeurs et les objectifs humains, l’IA pourrait
faire quelque chose à ce sujet qui est dangereux ou même mortel pour les êtres humains, même si elle n’est pas clairement définie pour faites-le. Avance rapide de 55 ans, et c’est cette même préoccupation de positionnement qui stimule une grande partie de la conversation actuelle sur la fin du monde. Le problème est qu’un système d’IA pourrait prendre des mesures dangereuses même sans que personne ne le veuille le faire. De nombreuses grandes entreprises d’IA traitent avec diligence ce problème. Google DeepMind a récemment publié un article sur la meilleure façon d’évaluer les nouveaux systèmes d’IA à usage général pour les capacités et l’alignement dangereux et de développer un « système de mise en garde précoce » en tant qu’aspect crucial d’une méthode d’IA responsable. Un paradoxe intemporel Compte tenu de ces deux côtés de l’argument – P (doom) ou P (sol) – il n’y a pas de consensus sur l’avenir de l’IA. La question demeure : nous dirigeons-nous vers une situation catastrophique ou vers un avenir attrayant amélioré par l’IA ? C’est un paradoxe traditionnel. D’un côté, il y a l’espoir que l’IA est la meilleure des personnes et qu’elle résoudra des problèmes complexes et préservera l’humanité. De l’autre côté, l’IA attirera
le pire d’entre nous en masquant le fait, en ruinant la confiance et, finalement, l’humanité. Comme tous les paradoxes, la réponse n’est pas claire. Ce qui est certain, c’est la nécessité d’une prudence continue et d’un développement responsable de l’IA. Ainsi, même si vous n’acceptez pas les circonstances de la fin du monde, il est toujours logique de poursuivre des politiques de bon sens pour, espérons-le, prévenir une situation peu probable mais dangereuse. Les enjeux, comme nous l’a en fait conseillé le Center for AI Security, ne sont absolument rien de moins que l’avenir de l’humanité elle-même.
.
Toute l’actualité en temps réel, est sur L’Entrepreneur
