vendredi, 29 mars 2024

Pourquoi DeepMind ne déploie pas son nouveau chatbot IA

Le nouveau chatbot IA de DeepMind, Sparrow, est salué comme une étape essentielle vers la création de systèmes de détection d’appareils plus sûrs et moins biaisés, grâce à son application d’apprentissage de support basé sur les contributions des participants à la recherche humaine pour la formation.

Alphabet, filiale britannique de l’entreprise de mamans et papas de Google, déclare que Sparrow est un « représentant de discussion qui travaille et diminue le risque de réponses dangereuses et inappropriées ». Le représentant est créé pour « parler avec un utilisateur, répondre à des questions et effectuer des recherches sur le Web à l’aide de lorsqu’il est utile de rechercher des preuves pour éclairer ses réponses ».

Cependant, DeepMind considère Sparrow comme une conception de preuve de concept basée sur la recherche qui n’est pas prête à être publiée, a déclaré Geoffrey Irving, responsable de la sécurité chercheur à DeepMind et auteur principal de l’article présentant Sparrow.

« Nous n’avons pas déployé le système car nous pensons qu’il a beaucoup de biais et de défauts d’autres types », a déclaré Irving. « Je pense que la question est de savoir comment peser les avantages de la communication – comme l’interaction avec les humains – par rapport aux inconvénients ? J’ai tendance à penser aux exigences de sécurité de parler aux gens… Je pense que c’est un outil pour cela dans le long terme. »

Irving a également gardé à l’esprit qu’il ne se prononcera pas encore sur la voie possible pour les applications d’entreprise utilisant Sparrow– s’il sera finalement plus utile pour les applications générales assistants numériques tels que Assistant ou Alexa, ou pour des applications verticales particulières.

« Nous ne sommes pas près de là », a-t-il déclaré.

DeepMind traite les problèmes de discussion

L’une des principales difficultés de toute IA conversationnelle concerne la discussion, a décrit Irving, car il y a tellement de contexte qui nécessite de être considéré.

« Un système comme AlphaFold de DeepMind est intégré dans une tâche clinique claire, vous disposez donc d’informations telles que l’apparence de la protéine repliée et vous avez une idée approfondie de la réponse, comme vous l’avez fait obtenir la bonne forme », a-t-il déclaré. Cependant, dans les cas de base, « vous avez affaire à des questions et à des personnes molles – il n’y aura pas de définition complète du succès ».

Pour résoudre ce problème, DeepMind s’est tourné vers une forme de renforcement de la connaissance basée sur la rétroaction humaine. Il a utilisé les choix des participants à une étude de recherche rémunérée (en utilisant une plate-forme de crowdsourcing) pour former une conception sur l’utilité d’une réponse.

Pour s’assurer que les habitudes du modèle sont sûres, DeepMind a identifié un ensemble préliminaire de des directives pour la conception, telles que « ne faites pas de déclarations menaçantes » et « ne faites pas de commentaires malveillants ou insultants », ainsi que des directives concernant des recommandations potentiellement dommageables et d’autres directives éclairées par l’accord existant sur les dommages linguistiques et la recherche de conseils d’experts. Une « conception de règles » distincte a été formée pour suggérer quand les habitudes de Sparrow enfreignent l’une des directives.

Biais dans la « boucle humaine »

Eugenio Zuccarelli, spécialiste des données de développement chez CVS Health et chercheur au MIT Media Lab, a souligné qu’il pourrait toujours être une prédisposition dans la « boucle humaine » – après tout, ce qui peut être offensant pour une personne peut ne pas être offensant pour une autre.

Il a ajouté que les méthodes basées sur des règles peuvent établir des directives plus strictes, mais n’ont pas d’évolutivité et de polyvalence. « Il est difficile d’encoder toutes les règles auxquelles nous pouvons penser, en particulier au fil du temps, celles-ci peuvent changer, et la gestion d’un système basé sur des directives fixes peut entraver notre capacité à évoluer », a-t-il déclaré. « Des services polyvalents où les directives sont apprises directement par le système et ajustées automatiquement au fil du temps seraient choisis. »

Il a également mentionné qu’une règle codée en dur par une personne ou un groupe d’individus peut ne pas enregistrer toutes les nuances et les cas extrêmes. « La règle peut être réelle pour la plupart, mais ne pas enregistrer des circonstances plus rares et peut-être sensibles », a-t-il déclaré.

Les recherches peuvent également ne pas être des sources d’informations entièrement précises ou impartiales, a poursuivi Zuccarelli. « Ils sont généralement une représentation de nos caractéristiques individuelles et de nos prédispositions culturelles », a-t-il déclaré. « De plus, il est difficile de décider laquelle est une source fiable. »

DeepMind : l’avenir de Sparrow

Irving a déclaré que l’objectif à long terme de Sparrow est de pouvoir s’adapter à beaucoup plus de règles. « Je pense que vous auriez probablement besoin de finir par être quelque peu hiérarchique, avec une gamme de directives de haut niveau, puis beaucoup de détails sur des cas particuliers », a-t-il expliqué.

Il a ajouté qu’à l’avenir, la conception nécessiterait de prendre en charge plusieurs langues, cultures et dialectes. « Je pense que vous avez besoin d’un ensemble varié d’entrées pour votre procédure – vous souhaitez demander à beaucoup de types d’individus différents, des individus qui comprennent ce que le dialogue particulier a à voir », a-t-il déclaré. « Vous devez donc interroger les gens sur la langue, puis vous devez également pouvoir poser des questions dans toutes les langues en contexte – vous ne voulez donc pas penser à donner des réponses incohérentes en espagnol par rapport à l’anglais. »

Principalement, Irving a déclaré qu’il était « singulièrement très enthousiaste » à l’idée de développer l’agent de dialogue vers une sécurité accrue. « Il y a beaucoup de cas frontaliers ou de cas qui semblent juste mauvais, mais ils sont assez difficiles à voir, ou ils sont bons, mais ils ont l’air mauvais à première vue », a-t-il déclaré. « Vous souhaitez générer de toutes nouvelles informations et des conseils qui dissuaderont ou aideront l’évaluateur humain à identifier son jugement. »

L’aspect suivant, a-t-il poursuivi, est de s’occuper des règles : « Nous devons penser à l’aspect éthique – quelle est la procédure par laquelle nous identifions et améliorons cette ligne directrice fixée dans le temps ? Elle peut ce ne sont pas seulement les scientifiques de DeepMind qui choisissent quelles sont les lignes directrices, évidemment – cela doit également inclure des spécialistes de différents types et un jugement externe participatif. »

Zuccarelli a souligné que Sparrow est « à coup sûr une étape vers l’idéal instructions », ajoutant que l’IA responsable doit finir par devenir la norme.

« Il serait utile de l’élargir pour aller de l’avant en essayant de résoudre l’évolutivité et une approche cohérente pour considérer ce qui doit être rejeté et ce qui ne doit pas l’être », a-t-il déclaré.

La mission de VentureBeat est d’être une place publique numérique permettant aux décideurs techniques d’acquérir une compréhension de l’innovation commerciale transformatrice et de négocier. Découvrez nos Rundowns.

.

Toute l’actualité en temps réel, est sur L’Entrepreneur

LAISSER UN COMMENTAIRE

S'il vous plaît entrez votre commentaire!
S'il vous plaît entrez votre nom ici