10 ans plus tard, la « révolution » de l’apprentissage en profondeur fait rage, selon les pionniers de l’IA Hinton, LeCun et Li

Dans une interview avec VentureBeat, LeCun a déclaré que les barrières sont supprimées à une vitesse extraordinaire et accélérée. « Le développement au cours des quatre ou cinq dernières années a en fait été incroyable », a-t-il ajouté.

Et Li, qui en 2006 a inventé ImageNet, un ensemble de données massif de photos annotées par l’homme pour développer des algorithmes de vision par ordinateur, a informé VentureBeat que l’évolution de l’apprentissage en profondeur depuis 2012 a été « une révolution phénoménale que je ne pourrais pas ont imaginé. »

Le succès a tendance à attirer les critiques. Et il y a des voix fortes qui dénoncent les restrictions de l’apprentissage en profondeur et disent que son succès est incroyablement limité. Ils maintiennent également que le buzz que l’Internet neuronal a créé n’est que cela, et n’est pas près d’être l’avancée fondamentale que certains partisans disent qu’il est : que c’est la base qui nous aidera finalement à nous préparer à « l’intelligence artificielle de base ». (AGI), où l’IA est véritablement humaine dans son pouvoir de réflexion.

Regard sur une décennie en plein essor de l’IA

Gary Marcus, professeur émérite à NYU et créateur et PDG de Robust.AI, a écrit en mars dernier sur l’apprentissage en profondeur « frappant un mur » et dit que bien qu’il y ait certainement eu du développement, « nous sommes assez bloqués sur la connaissance du bon sens et la réflexion sur le monde réel ».

Et Emily Bender, professeur de linguistique informatique à l’Université de Washington et critique de routine de ce qu’elle appelle la « bulle d’apprentissage en profondeur », a déclaré qu’elle ne pense pas que le traitement du langage naturel (TAL) d’aujourd’hui et les modèles de vision du système informatique équivalent à des « actions significatives » vers « ce que d’autres personnes suggèrent par l’IA et l’AGI ».

Quoi qu’il en soit, ce que les critiques ne peuvent pas supprimer, c’est que des progrès substantiels ont actuellement été réalisés dans certaines applications cruciales telles que la vision par ordinateur et le langage, qui ont en fait poussé des milliers d’entreprises à se démener pour exploiter la puissance de apprentissage en profondeur, puissance qui a déjà donné d’excellents résultats dans les moteurs de recommandation, les applications logicielles de traduction, les chatbots et bien plus encore.

Il existe également de graves conflits d’apprentissage en profondeur qui ne peuvent être ignorés. Il y a des problèmes vitaux à résoudre concernant l’éthique et les préjugés de l’IA, par exemple, ainsi que des inquiétudes quant à la manière dont la réglementation de l’IA peut empêcher le grand public d’être victimisé dans des domaines tels que le travail, les soins de santé et la surveillance.

En 2022, alors que nous regardons en arrière sur les années de croissance de l’IA, VentureBeat aimerait savoir ce qui suit : Quelles leçons pouvons-nous tirer des dernières années de développement de l’apprentissage en profondeur ? Et que réserve l’avenir à cette technologie de pointe qui change le monde, pour le meilleur ou pour le pire ?

Les pionniers de l’IA ont compris qu’une révolution arrivait

Hinton déclare qu’il a constamment compris que la « révolution » profonde de la connaissance arrivait.

« Un tas de gens ont été encouragés à dire que cela devait être l’avenir [de l’intelligence artificielle] », a déclaré Hinton, dont l’article de 1986 a popularisé l’algorithme de rétropropagation pour la formation de réseaux de neurones multicouches. « Nous avons réussi à révéler que ce que nous avions toujours cru était approprié. »

LeCun, qui a été le premier à utiliser la rétropropagation et les réseaux de neurones convolutifs en 1989, est d’accord. « Je ne doutais guère qu’éventuellement, des techniques comparables à celles que nous avions effectivement mises en place dans les années 80 et 90 » seraient adoptées, a-t-il déclaré.

Ce que Hinton et LeCun, entre autres, pensaient être une vision contraire selon laquelle les architectures de connaissances approfondies telles que les réseaux de neurones multicouches pourraient être appliquées à des domaines tels que la vision par ordinateur, la reconnaissance vocale, la PNL et la traduction de dispositifs pour produire des résultats tels que excellents ou bien meilleurs que ceux des professionnels humains. Repoussant les critiques qui refusaient généralement de considérer leur étude, ils ont préservé que les techniques algorithmiques telles que la rétropropagation et les réseaux de neurones convolutifs étaient essentielles pour relancer les progrès de l’IA, qui s’étaient en fait bloqués en raison d’une série d’obstacles dans les années 1980 et 1990.

Li, qui est également codirectrice du Stanford Institute for Human-Centered AI et ancienne scientifique en chef de l’IA et de l’apprentissage automatique chez Google, était également convaincue que son hypothèse – qu’avec les algorithmes idéaux, le La base de données ImageNet détenait l’essentiel pour faire progresser la vision du système informatique et l’étude de recherche sur l’apprentissage en profondeur – était correcte.

« C’était une façon vraiment originale de penser à l’intelligence artificielle et à une délocalisation à haut risque », a-t-elle déclaré, mais « notre entreprise pense scientifiquement que notre hypothèse était juste ».

Toutes ces théories, établies au cours de nombreuses années d’études de recherche sur l’IA, n’ont fait leurs preuves qu’à l’automne 2012. C’est à ce moment-là qu’une percée s’est produite qui, pour beaucoup, a stimulé un tout nouvel apprentissage en profondeur. transformation.

En octobre 2012, Alex Krizhevsky et Ilya Sutskever, ainsi que Hinton dans le cadre de leur doctorat. advisor, a participé au concours ImageNet, qui a été fondé par Li pour examiner les algorithmes créés pour la détection d’éléments à grande échelle et la classification d’images. Le trio a gagné avec leur article ImageNet Category with Deep Convolutional Neural Networks, qui a utilisé la base de données ImageNet pour créer un réseau de neurones pionnier appelé AlexNet. Il s’est avéré beaucoup plus précis pour catégoriser différentes images que tout ce qui était venu auparavant.

L’article, qui a séduit le quartier des études de recherche sur l’IA, s’est développé sur des développements antérieurs et, grâce à l’ensemble de données ImageNet et à un matériel GPU plus puissant, a directement causé les principales réussites de l’IA des années suivantes – quoi que ce soit de Google Photos , Google Translate et Uber vers Alexa, DALL-E et AlphaFold.

Depuis lors, l’investissement financier dans l’IA a en fait considérablement augmenté : le financement mondial de démarrage de l’IA est passé de 670 millions de dollars en 2011 à 36 milliards de dollars américains en 2020, puis a de nouveau doublé pour atteindre 77 milliards de dollars en 2021.

L’année où l’internet neuronal s’est généralisé

Après le concours ImageNet 2012, les médias ont rapidement repris la tendance de la connaissance profonde. Un article du mois suivant, Scientists See Promise in Deep-Learning Programs [abonnement requis], a déclaré : « En utilisant une technique d’intelligence artificielle influencée par des théories sur la façon dont le cerveau reconnaît les modèles, les entreprises d’innovation rapportent des gains choquants dans des domaines aussi divers que le système informatique. vision, la reconnaissance de la parole et l’identification de nouvelles molécules prometteuses pour la conception de médicaments. » Ce qui est tout nouveau, poursuit le court article, « c’est la vitesse et la précision croissantes des programmes d’apprentissage en profondeur, généralement appelés réseaux de neurones artificiels ou simplement » réseaux de neurones « pour leur ressemblance avec les connexions neuronales du cerveau ».

AlexNet n’était pas le seul à faire de grandes nouvelles profondes cette année-là : en juin 2012, les scientifiques du laboratoire X de Google ont construit un réseau de neurones composé de 16 000 processeurs informatiques avec un milliard de connexions qui, progressivement, ont commencé à identifier  » cat-like » fonctionne jusqu’à ce qu’il puisse reconnaître les vidéos de félins sur YouTube avec un haut degré de précision. Au même moment, Jeffrey Dean et Andrew Ng effectuaient des travaux d’avancement sur la reconnaissance massive d’images chez Google Brain. Et lors de la conférence IEEE de 2012 sur la vision par ordinateur et la reconnaissance des modèles, les chercheurs Dan Ciregan et al. a considérablement dépassé la meilleure efficacité pour les réseaux de neurones convolutifs sur plusieurs bases de données d’images.

Au total, en 2013, « presque toutes les recherches sur la vision des systèmes informatiques étaient en fait passées aux réseaux de neurones », a déclaré Hinton, qui depuis partage son temps entre l’étude de Google Research et l’Université de Toronto. C’était un changement d’avis presque total sur l’IA depuis 2007, a-t-il ajouté, quand « il n’était pas approprié d’avoir 2 documents sur l’apprentissage en profondeur lors d’une conférence ».

Fei-Fei Li

Une année de développement de connaissances approfondies

Li a déclaré sa participation intime aux développements de connaissances approfondies – elle a personnellement révélé le gagnant des concurrents ImageNet lors de la conférence 2012 à Florence, L’Italie – a laissé entendre qu’il n’est pas surprenant que les individus reconnaissent la valeur de cette minute.

« [ImageNet] était une vision lancée en 2006 que presque personne ne soutenait », a déclaré Li. Mais, a-t-elle ajouté, cela « s’est vraiment installé dans une méthode aussi historique et capitale ».

Depuis 2012, le développement de l’apprentissage en profondeur a été à la fois étonnamment rapide et impressionnant.

« Il y a des défis qui sont relevés à une vitesse incroyable », a déclaré LeCun, citant les progrès dans la compréhension du langage naturel, la traduction dans la génération de texte et la synthèse d’images.

Certains emplacements ont même progressé plus rapidement que prévu. Pour Hinton, cela consiste à utiliser des réseaux de neurones dans la traduction automatique, qui a connu de grands progrès en 2014. « Je pensais que cela prendrait encore de nombreuses années », a-t-il déclaré. Et Li a admis que les progrès de la vision des systèmes informatiques – tels que DALL-E – « ont évolué beaucoup plus rapidement que je ne le pensais ».

Rejeter les critiques de l’apprentissage profond

Néanmoins, tout le monde n’est pas d’accord pour dire que les progrès de l’apprentissage profond ont été à couper le souffle. En novembre 2012, Gary Marcus, professeur émérite à NYU et fondateur et PDG de Robust.AI, a écrit un court article pour le New Yorker [adhésion nécessaire] dans lequel il a déclaré : « Pour paraphraser une vieille parabole, Hinton a en fait construit un une meilleure échelle ; cependant, une bien meilleure échelle ne vous amène pas nécessairement sur la lune. »

Aujourd’hui, Marcus déclare qu’il ne croit pas que la connaissance approfondie ait réellement rapproché l’IA de la « lune » – la lune étant l’intelligence générale artificielle, ou l’IA au niveau humain – qu’il y a quelques années .

« Naturellement, il y a eu des progrès, mais pour aller sur la lune, vous auriez besoin de résoudre la compréhension causale et la compréhension et le raisonnement du langage naturel », a-t-il déclaré. « Il n’y a pas eu beaucoup de progrès sur ces choses. »

Marcus a déclaré qu’il croyait que les conceptions hybrides qui intègrent des réseaux de neurones avec un système expert symbolique, la branche de l’IA qui contrôlait le domaine avant l’essor de la connaissance approfondie, sont la méthode à suivre pour lutter contre les limites des réseaux de neurones.

Pour leur part, Hinton et LeCun rejettent les critiques de Marcus.

« [Deep learning] n’a pas heurté un mur – si vous jetez un coup d’œil aux progrès réalisés récemment , c’est fantastique », a déclaré Hinton, bien qu’il ait en fait reconnu dans le passé que l’apprentissage en profondeur est limité dans l’étendue des problèmes qu’il peut résoudre.

Il n’y a « aucun mur touché », a ajouté LeCun. « Je crois qu’il existe des obstacles à la suppression et des options à ces obstacles qui ne sont pas entièrement connues », a-t-il déclaré. « Mais je ne vois pas du tout les progrès diminuer … les progrès s’accélèrent, voire rien. »

Pourtant, Bender n’est pas convaincu. « Au niveau où ils ne discutent que des progrès vers la catégorisation des images en fonction des étiquettes proposées dans des critères comme ImageNet, il semble que 2012 ait connu des percées qualitatives », a-t-elle informé VentureBeat par e-mail. « S’ils discutent de quelque chose de plus grandiose que cela, c’est du battage médiatique. »

Les problèmes de partialité et d’éthique de l’IA occupent une place importante

Par d’autres moyens, Bender également soutient que le domaine de l’IA et de la connaissance approfondie est allé trop loin. « Je crois que la capacité (calculer des algorithmes économes en énergie) à traiter de grands ensembles de données dans des systèmes capables de générer du texte et des images synthétiques nous a en fait permis de nous échapper par-dessus nos skis de nombreuses façons », a-t-elle déclaré. Par exemple, « nous semblons être coincés dans un cycle d’individus » trouvant « que les conceptions sont biaisées et proposant d’essayer de les débiaiser, malgré des résultats réputés selon lesquels il n’existe pas d’ensemble de données ou de modèle totalement débiaisé ».

En outre, elle a déclaré qu’elle « souhaiterait que le domaine soit tenu à de véritables exigences de responsabilité, à la fois pour les allégations empiriques faites en cours d’évaluation et pour la sécurité des éléments – pour que cela se produise, nous allons ont besoin que le grand public comprenne ce qui est en jeu en plus de savoir comment translucider les allégations de battage médiatique sur l’IA et nous aurons besoin de lignes directrices efficaces. »

LeCun a souligné que « ce sont des questions complexes et importantes que les individus ont tendance à simplifier », et que de nombreuses personnes « ont des présomptions de mauvaise intention ». Beaucoup d’entreprises, a-t-il poursuivi, « veulent en fait faire ce qu’il y a de mieux ».

En outre, il s’est plaint de ceux qui ne sont pas associés à la science et à la technologie et à la recherche sur l’IA.

« Vous avez toute une communauté d’individus qui tirent en quelque sorte depuis les gradins », a-t-il dit, « et qui attirent simplement l’attention. »

Les différends sur l’apprentissage en profondeur continueront certainement

Aussi féroces que ces débats puissent paraître, Li souligne qu’ils sont l’essence même de la science. « La science n’est pas la réalité, la science est un voyage pour chercher la réalité », a-t-elle déclaré. « C’est le voyage pour trouver et améliorer – donc les débats, les critiques, l’événement en font partie. »

Pourtant, quelques-uns des arguments et des critiques lui semblent « un peu artificiels », avec des extrêmes de chaque côté, qu’il s’agisse de dire que l’IA est tout à fait incorrecte ou que l’AGI est au coin de la rue. « Je crois que c’est une variante relativement promue d’un débat clinique beaucoup plus profond, beaucoup plus subtil, plus nuancé et plus multidimensionnel », a-t-elle déclaré.

Certainement, a mentionné Li, il y a eu des déceptions dans le développement de l’IA au cours des années précédentes — et pas toujours à propos de la technologie. « Je crois que la chose la plus frustrante est de retour en 2014 lorsque, avec mon ancien étudiant, j’ai cofondé AI4ALL et commencé à amener des filles, des étudiants de couleur et des étudiants de communautés mal desservies dans le monde de l’IA », a-t-elle déclaré. « Nous souhaitions voir un avenir beaucoup plus diversifié dans le monde de l’IA. »

Bien que cela ne fasse en fait que 8 ans, elle a fermement insisté sur le fait que le changement était encore trop lent. « J’aimerais voir des changements plus rapides et beaucoup plus profonds et je ne vois pas assez d’efforts pour aider le pipeline, en particulier au centre et au lycée », a-t-elle déclaré. « Nous avons en fait déjà perdu de nombreux étudiants qualifiés. »

Yann LeCun

L’avenir de l’IA et de l’apprentissage en profondeur

LeCun avoue que certains défis de l’IA auxquels les gens ont en fait consacré une énorme quantité de ressources n’ont en fait pas été résolus, comme l’auto- régissant la conduite.

« Je dirais que d’autres personnes en ont sous-estimé la complexité », a-t-il déclaré, ajoutant qu’il ne se place pas dans cette classification. « Je savais que c’était dur et que ça prendrait beaucoup de temps », a-t-il déclaré. « Je ne suis pas d’accord avec certaines personnes qui affirment que nous avons tout compris … [that] c’est juste une question de rendre ces conceptions plus grandes.  »

En vérité, LeCun a récemment publié un plan pour créer une « intelligence de fabricant autonome » qui montre également comment il pense que les techniques existantes d’IA ne nous mèneront pas à l’IA au niveau humain.

De même, il voit encore une vaste capacité pour l’avenir de l’apprentissage en profondeur : ce qui le passionne le plus personnellement et sur lequel il travaille activement, dit-il, c’est d’obtenir des appareils pour apprendre plus efficacement – plus comme les animaux et les êtres humains .

« La grande question pour moi est de savoir quel est le concept sous-jacent sur lequel la connaissance animale est basée – c’est l’une des raisons pour lesquelles je préconise des choses comme la connaissance auto-supervisée », a-t-il déclaré. « Ces progrès nous permettraient de construire des choses que nous sommes actuellement complètement hors de portée, comme des systèmes intelligents qui peuvent nous aider dans notre vie quotidienne comme s’il s’agissait d’assistants humains, ce dont nous aurons besoin du fait que nous allons tous utiliser des lunettes de vérité améliorées et que nous devrons nous connecter avec elles. »

Hinton convient qu’il y a des progrès de connaissance beaucoup plus profonds en cours. En plus des progrès de la robotique, il pense également qu’il y aura un autre progrès dans les installations de calcul fondamentales pour les réseaux neuronaux, car « actuellement, il s’agit uniquement de calcul numérique effectué avec des accélérateurs qui sont très bons pour faire des multiplicateurs matriciels ». Pour la rétropropagation, a-t-il déclaré, les signaux analogiques doivent être convertis en numérique.

« Je pense que nous trouverons des options de rétropropagation qui fonctionnent dans du matériel analogique », a-t-il déclaré. « Je suis plutôt encouragé qu’à plus long terme, nous aurons presque tous les calculs effectués en analogique. »

Li déclare que ce qui est le plus important pour l’avenir de l’apprentissage en profondeur, c’est l’interaction et l’éducation. » [Chez Stanford HAI], nous investissons en fait une quantité extrême d’efforts pour informer les chefs d’entreprise, le gouvernement, les décideurs, les médias, les reporters et les journalistes et la société juste dans son ensemble, et produire des séminaires, des conférences, des ateliers, publier des notes d’orientation, des notes de marché », a-t-elle déclaré.

Avec une technologie si nouvelle, a-t-elle ajouté : « Je suis personnellement très préoccupée par le fait que le manque de connaissances de base n’aide pas à transférer une description plus nuancée et plus réfléchie de ce dont il s’agit cette fois. »

Comment 10 ans de connaissance profonde resteront dans les mémoires

Pour Hinton, les années précédentes ont en fait fourni un succès de connaissance approfondie « au-delà de mes rêves les plus fous ».

Mais, il souligne que si l’apprentissage en profondeur a en fait fait d’énormes progrès, il faut également s’en souvenir comme d’une période d’avancées matérielles. « Tout repose sur les progrès du matériel informatique », a-t-il déclaré.

Des critiques comme Marcus disent que même si certains développements ont été réalisés grâce à l’apprentissage en profondeur, « je pense que cela peut être considéré avec le recul comme une sorte de mésaventure », a-t-il déclaré. « Je pense que les gens en 2050 jetteront un coup d’œil aux systèmes de 2022 et se diront, oui, ils ont été courageux, mais ils n’ont pas vraiment fonctionné. »

Li espère que les dernières années seront gardées à l’esprit comme le début d’une « fantastique transformation numérique qui permet à tous, et pas seulement à quelques personnes ou groupes de personnes, de vivre et de travailler beaucoup mieux . »

En tant que chercheuse, elle a ajouté : « Je ne voudrai jamais croire que la connaissance profonde d’aujourd’hui est la fin de l’expédition de l’IA. » Et sur le plan sociétal, elle a déclaré qu’elle souhaitait voir l’IA comme « un outil technologique incroyable qui est établi et utilisé dans la méthode la plus centrée sur l’humain – il est impératif que nous reconnaissions l’effet profond de cet outil et que nous acceptions le cadre centré sur l’humain de penser, concevoir et déployer l’IA. »

Elle a souligné : « La façon dont on se souviendra de nous dépend de ce que nous faisons maintenant. »

.

Toute l’actualité en temps réel, est sur L’Entrepreneur