samedi, 13 avril 2024

Un chercheur de premier plan en IA rejette les craintes d’« extinction » de l’IA et remet en question le récit du « scientifique héros »

Kyunghyun Cho, un éminent scientifique de l’IA et enseignant associé à l’Université de New York, a en fait exprimé son agacement face au discours existant sur la menace de l’IA. Alors que des sommités comme Geoffrey Hinton et Yoshua Bengio ont récemment mis en garde contre les dangers existentiels possibles du développement futur de l’intelligence artificielle de base (AGI) et ont appelé à une réglementation ou à un moratoire sur les études de recherche, Cho pense que ces histoires « catastrophiques » s’éloignent des vrais problèmes. , à la fois favorables et défavorables, présentés par l’IA d’aujourd’hui.

Dans une récente interview avec VentureBeat, Cho– qui est extrêmement préoccupé par son travail fondamental sur la traduction des fabricants de neurones, qui a contribué à l’avancement du Transformer l’architecture sur laquelle ChatGPT est basé – a exprimé sa déception face au manque de propositions concrètes lors des récentes audiences du Sénat associées au contrôle des dommages existants de l’IA, en plus d’un manque de discussion sur la façon d’améliorer les utilisations utiles de l’IA.

Bien qu’il apprécie les scientifiques comme Hinton et son ancien manager Bengio, Cho a également mis en garde contre la glorification des « chercheurs héros » ou la prise des avertissements d’une personne comme parole d’évangile, et a fait part de ses préoccupations concernant le mouvement d’altruisme fiable qui finance de nombreux efforts de l’AGI. (Note de l’éditeur : cette interview a été modifiée pour plus de longueur et de clarté.)

VentureBeat : Vous venez d’exprimer récemment votre frustration concernant les récentes audiences du Sénat sur l’IA sur Twitter. Pourriez-vous développer cela et partager vos idées sur la « Déclaration sur les risques liés à l’IA » signée par Geoffrey Hinton, Yoshua Bengio et d’autres ?

Événement

Transform 2023

Rejoignez-nous à San Francisco les 11 et 12 juillet, où des cadres supérieurs partageront comment ils ont incorporé et a amélioré les investissements financiers de l’IA pour réussir et éviter les erreurs courantes.

Inscrivez-vous maintenant Kyunghyun

Cho : Tout d’abord

, je pense qu’il y a trop de lettres. En règle générale, je n’ai jamais signé aucune de ces pétitions. J’ai toujours tendance à être un peu plus prudent lorsque je signe mon nom sur quelque chose. Je ne comprends pas pourquoi les gens signent simplement leur nom si doucement. En ce qui concerne les audiences du Sénat, j’ai lu toute la transcription et

je me suis senti un peu malheureux. Il est extrêmement clair que les armes nucléaires, la modification du climat, une éventuelle IA voyous, bien sûr, peuvent être dangereuses. Il y a beaucoup d’autres dommages qui sont réellement causés par l’IA, ainsi que les avantages immédiats que nous voyons de l’IA, mais il n’y a pas eu une seule proposition potentielle ou discussion sur ce que nous pouvons faire à propos des avantages instantanés ainsi que des dommages immédiats. de l’IA. Je crois que Lindsey Graham a souligné l’utilisation militaire de l’IA. C’est en fait ce qui se passe maintenant.

Sam Altman n’a même pas pu fournir une seule proposition sur la manière dont l’utilisation militaire immédiate de l’IA devrait être réglementée. Dans le même temps, l’IA a la perspective d’améliorer les soins de santé afin que nous puissions mettre en place un système de soins de santé bien meilleur et plus équitable, mais rien de tout cela n’a été vraiment discuté. Je suis déçu par une grande partie de cette conversation sur le danger existentiel; maintenant ils l’appellent même « extinction » littérale. Il aspire l’air

de l’espace. VB : Pourquoi pensez-vous que c’est le cas ? Pourquoi la discussion sur le « risque existentiel » tire-t-elle l’air de l’espace au détriment de

dommages et avantages plus immédiats ? Kyunghyun Cho : Dans un sens, c’est une excellente histoire. Que ce système AGI que nous développons s’avère aussi bon que nous, ou meilleur que nous. C’est précisément la fascination que l’humanité a toujours eue depuis le tout début. Le cheval de Troie [qui semble inoffensif mais qui est nuisible] — c’est une histoire similaire, n’est-ce pas ? Cela a à voir avec la suraccentuation des aspects qui sont différents de nous mais qui sont sages comme nous. À mon avis, c’est bien que le grand public soit émerveillé et ravi par les avancées cliniques que nous réalisons. Le malheur est que les scientifiques, en plus des décideurs politiques, les personnes qui

​​prennent des décisions ou développent ces avancées, sont simplement ravis ou négativement par ces avancées, sans en être vitaux. Notre tâche en tant que scientifiques, et également en tant que décideurs politiques, est d’être au cœur de certaines de ces avancées évidentes qui pourraient avoir des effets à la fois favorables et défavorables sur la société. Mais à la minute, AGI est une sorte de baguette magique qu’ils essaient simplement de balancer pour hypnotiser les individus afin qu’ils cessent de travailler pour être critiques sur ce qui se passe. VB : Mais qu’en est-il du dispositif découvrant les dirigeants qui en font partie ? Geoffrey Hinton et Yoshua Bengio, par exemple, ont signé la « Déclaration sur la menace de l’IA ». Bengio a déclaré qu’il se sentait « perdu » et regrettait quelque peu le travail de sa vie.

Qu’est-ce que vous dites à cela ? Kyunghyun Cho : J’ai une énorme estime pour Yoshua et Geoff ainsi que Yann [LeCun], je les comprends tous très bien et j’ai étudié avec eux, j’ai collaboré avec eux. Cependant, la façon dont je vois cela est la suivante : naturellement, les gens – scientifiques ou non

– peuvent avoir leur propre évaluation des exemples les plus susceptibles de se produire, des exemples les moins probables avoir lieu, quels exemples sont plus destructeurs que d’autres. Le choix de la circulation sur ce qui va se passer dans le futur, et le choix de la fonction énergétique qui est attachée à chacune de ces occasions, ce n’est pas comme les sciences difficiles ; il y a toujours de la subjectivité. C’est parfaitement bien. Ce que je considère comme un élément vraiment gênant [l’accent répété sur] Yoshua et Geoff … en particulier dans les médias de nos jours, c’est qu’il s’agit d’un exemple typique d’une sorte d’héroïsme dans la science. C’est précisément l’inverse de ce qui s’est passé en fait dans le domaine de la science, et en particulier

de l’apprentissage automatique. Il n’y a jamais eu un seul chercheur qui reste dans son laboratoire et 20 ans plus tard sort en disant « voici l’AGI ». Cela a toujours été une entreprise cumulative par des milliers, voire des centaines de milliers d’individus partout dans le monde, au fil des décennies. Et maintenant, l’histoire du chercheur héros est revenue. Il y a une raison pour laquelle dans ces lettres, ils placent constamment Geoff et Yoshua au sommet. Je pense que c’est en fait nocif d’une manière à laquelle je n’avais jamais pensé. Chaque fois que les gens avaient l’habitude de parler de leurs préoccupations avec ce type d’histoire de chercheur de héros, je me disais : « Eh bien, c’est une histoire amusante

. Pourquoi pas ? » Mais en regardant ce qui se passe maintenant, je pense que nous voyons le côté défavorable du héros scientifique. Ce ne sont que des gens. Ils peuvent avoir diverses idées. Évidemment, je les respecte et je crois que c’est ainsi que fonctionne constamment le quartier scientifique. Nous avons toujours des points de vue divergents. Maintenant, ce culte du héros, intégré à ce doomérisme AGI … Je ne comprends pas, c’est trop pour moi à suivre. VB: L’autre chose qui me semble étrange est que beaucoup de ces pétitions, comme la déclaration sur le danger de l’IA, sont financées en coulisses par des gens d’Efficient Selflessness [la déclaration sur la menace de l’IA a été publiée par le Center for AI Security, qui déclare qu’il obtient plus de 90 % de son financement d’Open Philanthropy, qui à son tour est principalement financé par Cari Tuna et Dustin Moskovitz, donateurs populaires du mouvement Reliable Altruism

] Que pensez-vous de cela ? Kyunghyun Cho : Je ne suis pas fan de l’Altruisme Efficient (EA) en basic. Et je suis extrêmement familier avec le fait que le mouvement EA est celui qui dirige vraiment tout ce qui concerne l’AGI et le risque existentiel. Je pense qu’il y a beaucoup de gens dans la Silicon Valley avec ce type de complexe de héros. Ils veulent tous nous sauver du destin inévitable qu’ils voient et qu’ils croient pouvoir résoudre. Dans cette ligne, je suis d’accord avec ce que

Sara Hooker de Cohere for AI a dit [dans votre article] Ces personnes sont bruyantes, mais elles restent marginales groupe au sein de l’ensemble de la société, sans parler de l’ensemble de la machine découvrant la communauté. VB : Quel est donc le contre-récit ? Rédigeriez-vous votre propre lettre ou publieriez-vous votre propre déclaration ? Kyunghyun Cho : Il y a des choses sur lesquelles vous ne pouvez pas rédiger une lettre. Il serait ridicule d’écrire

une lettre déclarant « Il n’y a absolument aucune chance qu’il y ait une IA malveillante qui transforme tout le monde en trombones. » Cela ressemblerait à, que faisons-nous ? Je suis éducateur de profession. J’ai l’impression que ce qui manque en ce moment, c’est une exposition aux petites choses

faites pour que l’IA puisse être utile à l’humanité, les petites victoires étant faites. Nous avons besoin d’exposer le grand public à ce

petit, mais sûr, flux de succès qui sont réalisés ici. Car à la minute, hélas, les histoires hallucinantes ne se lisent plus. Le concept est que soit l’IA va tous nous tuer, soit l’IA va guérir quoi que ce soit – les deux sont incorrects. Et peut-être que ce n’est même pas la fonction

des médias [d’aborder cela]. En réalité, c’est probablement la fonction de l’enseignement de l’IA — disons K-12 — d’introduire des principes de base qui ne sont en fait pas rendus complexes. VB : Donc, si vous parliez à vos collègues chercheurs en IA, que diriez-vous que vous pensez en ce qui concerne les risques liés à l’IA ?

 ? Serait-il axé sur les risques actuels, comme vous l’avez décrit? Pourriez-vous ajouter quelque chose sur la façon dont cela va progresser ? Kyunghyun Cho : Je ne dis pas aux gens ma compréhension du danger de l’IA, parce que je comprends que je ne suis qu’une seule personne. Mon autorité n’est pas bien calibrée. Je sais que puisque je suis moi-même scientifique, j’ai tendance à être très attentif lorsque je discute des choses qui ont une incertitude exceptionnellement mal calibrée, en particulier s’il s’agit d’une sorte de prévision. Ce que je dis aux scientifiques de l’IA – pas aux plus expérimentés, ils savent mieux – mais à mes étudiants, ou aux scientifiques plus jeunes, je fais de mon mieux pour leur montrer sur quoi je travaille, sur quoi je pense que nous devons travailler pour nous offrir des

avantages petits mais concrets. C’est la raison pour laquelle je traite de l’IA pour la santé et la science. C’est pourquoi j’investis 50 % de mon temps chez [société de biotechnologie] Genentech, qui fait partie du groupe Prescient Design, pour créer des anticorps et des médicaments de type informatique. Je pense simplement que c’est le mieux que je puisse faire. Je ne vais pas composer une grande lettre. Je suis extrêmement mauvais pour ça. La mission de VentureBeat est

d’être une place publique numérique permettant aux décideurs techniques de comprendre l’innovation d’entreprise transformatrice et de négocier. Découvrez nos aperçus..

Toute l’actualité en temps réel, est sur L’Entrepreneur

LAISSER UN COMMENTAIRE

S'il vous plaît entrez votre commentaire!
S'il vous plaît entrez votre nom ici