dimanche, 3 mars 2024

Les employés des entreprises bénéficient d’une amélioration de leurs performances de 40 % grâce à GPT-4, selon une étude de Harvard

Une étude menée par Harvard a révélé que l’utilisation de l’IA générative a aidé de nombreux spécialistes travaillant pour le très apprécié Boston Consulting Group (BSG) à terminer une variété de tâches plus souvent, plus rapidement et avec une meilleure qualité que ceux qui l’ont fait. n’utilisent pas l’IA.

De plus, il a révélé que les artistes les plus bas du groupe ont réalisé les gains les plus importants en utilisant l’IA générative.

L’étude de recherche, menée par des chercheurs en information et des scientifiques de Harvard, Wharton et MIT, est la première étude de recherche considérable sur l’utilisation réelle de l’IA générative dans une entreprise, étant donné le succès explosif de la sortie publique de ChatGPT en novembre 2022 – qui a déclenché une ruée parmi les grandes entreprises pour trouver les meilleures façons de l’utiliser. Les scientifiques ont agi rapidement, en commençant leur étude de recherche en janvier de cette année et en utilisant GPT-4 pour l’expérience, qui est communément considéré comme le modèle de grand langage (LLM) le plus efficace. L’étude de recherche comporte des ramifications substantielles sur la manière dont les services doivent aborder son déploiement.

« Le fait que nous puissions augmenter les performances de ces consultants extrêmement rémunérés et hautement compétents, issus des meilleures organisations de MBA d’élite, effectuant des tâches extrêmement liées à leur travail quotidien, en moyenne 40 pour cent, je Je dirais que c’est en fait remarquable », a déclaré à VentureBeat Fabrizio Dell’Acqua de Harvard, l’auteur principal de l’article.

Événement

VB Transform 2023 à la demande

Avez-vous manqué une session de VB Transform 2023 ? Inscrivez-vous pour accéder à la bibliothèque à la demande pour toutes nos sessions en vedette.

Inscrivez-vous maintenant Le

le rapport a été lancé pour évaluation publique

il y a neuf jours, il n’a cependant pas retenu une attention considérable au-delà de l’industrie universitaire et de ses cercles sociaux. Distinction en termes d’efficacité parmi les consultants du BCG,

comparant ceux qui ont utilisé l’IA à ceux qui ne l’ont pas fait. (Crédit image : Browsing the Jagged Technological Frontier) Le rapport est la recherche actuelle vérifiant que l’IA générative aura

impact sur la productivité de la main-d’œuvre. Outre son titre, la recherche propose quelques conclusions édifiantes sur le moment où utiliser l’IA. L’étude conclut qu’il existe ce qu’elle appelle une « frontière déchiquetée de l’innovation », ou une barrière difficile à reconnaître entre les tâches qui sont rapidement réalisées par l’IA et d’autres qui sont en dehors des capacités actuelles de l’IA. Cette frontière n’est pas seulement irrégulière, elle évolue continuellement à mesure que les capacités de l’IA s’améliorent ou se modifient, a déclaré François Candelon, l’associé principal du BCG responsable de la conduite de l’expérience du côté du BCG, dans une interview avec VentureBeat. Cela rend plus difficile pour les entreprises de décider comment et quand déployer l’IA, a-t-il déclaré. L’étude de recherche a également souligné deux modèles émergents d’utilisation de l’IA par certains des consultants les plus compétents de l’entreprise en matière de technologie – que les scientifiques ont identifiés comme étant les habitudes des « Cyborg » et des « Centaures » – et qui, selon les scientifiques, pourraient révéler la méthode à suivre dans la façon dont pour aborder des emplois où les capacités de l’IA sont imprévisibles. Nous y reviendrons dans une seconde. L’étude de recherche est la toute première à étudier l’utilisation de l’IA en entreprise à grande échelle, parmi des professionnels effectuant de véritables tâches quotidiennes. L’étude de recherche comprenait 758 spécialistes, soit 7 % des experts de l’entreprise. Pour chacune des 18 tâches considérées dans cette frontière des capacités de l’IA,

les consultants ont réalisé 12,2 % de tâches en plus en moyenne et les ont accomplies 25 % plus rapidement que ceux qui n’ont pas utilisé l’IA. Les experts utilisant l’IA – l’étude leur a donné accès à GPT-4 – ont produit des résultats d’une qualité 40 % supérieure à ceux d’un groupe témoin qui n’avait pas accès à un tel accès. « L’efficacité s’est améliorée dans toutes les dimensions. Avec chaque méthode, nous avons mesuré la performance », a composé un autre contributeur à l’étude, Ethan Mollick, professeur à la Wharton School de l’Université de Pennsylvanie, dans son résumé de l’article. Les chercheurs ont d’abord établi des lignes de base pour chacun des individus, afin de comprendre comment ils effectuaient des tâches de base sans utiliser GPT-4. Les chercheurs ont ensuite demandé aux experts de réaliser un large éventail de travaux pour une entreprise de chaussures fictive, travaux que le groupe BCG a sélectionnés afin de tenter de représenter correctement ce que font les spécialistes. GPT-4 permet de niveler les compétences sur de nombreux emplois essentiels de haut niveau. Les types de tâches ont été classés en quatre catégories principales : innovantes (par exemple : « Proposer un minimum de 10 concepts pour une toute nouvelle chaussure ciblant un marché mal desservi ou sport. »), analytique(« Secteur du

marché de l’industrie de la chaussure en fonction des utilisateurs. »), rédactionnel et marketing( « Rédigez un communiqué de presse pour votre produit. « ), et orienté vers la persuasion (« Rédigez une note inspirante aux travailleurs détaillant pourquoi votre article surpasserait ses concurrents. »). Parmi les découvertes les plus intrigantes, il y avait que l’IA était un niveleur de capacités. Les consultants qui ont obtenu les pires résultats en termes de performances standards avant le L’étude a constaté que les performances ont le plus augmenté, de 43 %, lorsqu’ils ont utilisé l’IA. Les principaux consultants ont obtenu un coup de pouce, mais moins d’un. L’étude a révélé que les personnes qui utilisaient l’IA pour des emplois n’étaient pas très performantes. étaient plus susceptibles de commettre des erreurs, en s’appuyant sur l’IA alors qu’ils ne le devraient pas. L’une des principales conclusions de l’étude était que les fonctions internes de l’IA sont encore suffisamment opaques pour qu’il soit difficile de savoir précisément quand elle est suffisamment fiable pour être utilisée pour certaines tâches. Selon l’étude, les habitudes des Centaures et des Cyborgs pourraient révéler la voie à suivre. Certains spécialistes semblent bien mieux que d’autres franchir la frontière, selon le rapport, en agissant comme ce que l’étude appelle  » Centaures » ou  » Cyborgs « , ou des allers-retours entre l’IA et le travail humain selon des méthodes intégrant les atouts des deux. Les Centaures ont travaillé avec une frontière claire entre l’individu et l’appareil, basculant entre l’IA et les tâches humaines, en fonction des forces et des capacités perçues de chacun. Les cyborgs, quant à eux, combinaient machine et personne dans de nombreux travaux qu’ils effectuaient. « Je crois que c’est dans cette direction que le travail se dirige, extrêmement rapidement », a écrit Mollick de Wharton. Pourtant, le mur entre les tâches qui peuvent réellement être améliorées avec l’IA reste indétectable. Poème de 50 mots– sont en fait de différents côtés du mur », a déclaré Mollick. « L’IA est formidable pour le sonnet, cependant

, en raison de la façon dont elle conçoit le monde en symboles, au lieu de mots, il produit régulièrement des poèmes de plus de 50 mots. « Certaines tâches inattendues (comme la génération de concepts) sont faciles pour les IA tandis que d’autres tâches qui semblent simples à réaliser pour les appareils (comme les mathématiques de base) sont des difficultés pour les LLM, l’étude découvert. L’engagement d’AI peut inciter les gens à s’endormir au volant. Le problème est que les gens peuvent surestimer les domaines de compétence d’AI. L’article a validé une autre étude antérieure réalisée par Dell’Acqua de Harvard, qui révélait que le recours aux compétences en IA pouvait entraîner une dépendance excessive et dangereuse de la part des gens, et entraîner des résultats encore pires. Dans une interview avec VentureBeat, Dell’Acqua a déclaré que les utilisateurs « éteignent leur cerveau » et confient leur jugement à l’IA. Dell ‘AAcqua a créé ce « s’endormir au volant » dans une étude clé menée à la mi-2021, dans laquelle il a découvert que

les recruteurs utilisant l’IA pour découvrir les candidats devenaient paresseux et produisaient de pires résultats que s’ils n’avaient pas utilisé l’IA. . La dernière étude a également découvert que l’IA peut produire une homogénéisation. L’étude de recherche a examiné la variation des idées fournies par les sujets sur les nouveaux concepts de marché pour l’entreprise de chaussures et a révélé que même si les concepts étaient de meilleure qualité, ils présentaient moins d’irrégularités que les idées produites par des consultants n’utilisant pas l’IA. « Cela suggère que même si le GPT-4 aide à produire du matériel remarquable, il pourrait donner lieu à des résultats plus homogénéisés », a découvert l’étude. Comment lutter contre l’homogénéité induite par l’IA L’étude conclut que les entreprises doivent réfléchir au déploiement d’une variété de modèles d’IA – pas simplement le GPT-4 d’Open AI, mais de nombreux LLM – ou peut-être à une participation humaine uniquement accrue, pour contrecarrer cette homogénéisation. Cette exigence peut varier en fonction du produit d’une entreprise : certaines entreprises peuvent donner la priorité à des résultats typiques élevés, tandis que d’autres peuvent valoriser l’exploration et l’innovation, selon l’étude. Dans la mesure où de nombreuses entreprises utilisent la même IA dans un paysage concurrentiel, ce qui entraîne une harmonie réduite des concepts, les entreprises produisant des idées sans l’aide de l’IA pourraient se démarquer, conclut l’étude.

François Candelon du BCG a déclaré que les conclusions de l’étude concernant les dangers liés à l’homogénéité obligeront également les entreprises à s’assurer qu’elles continuent de collecter des données ordonnées et séparées pour les utiliser dans leurs applications d’IA. « Avec la génération IA, il est beaucoup plus urgent non seulement de s’assurer que vous avez nettoyer les données… mais recherchez des méthodes pour les collecter. Dans une certaine mesure, cela deviendra l’une des clés de distinction. « ChatGPT d’OpenAI, Bard de Google, Claude d’Anthropic et une foule d’autres plateformes LLM open source, notamment Meta’s Llama permet de plus en plus aux entreprises d’adapter leurs résultats en injectant leurs propres données exclusives dans les conceptions, afin qu’elles puissent améliorer non seulement la précision, mais aussi l’expertise et la différenciation dans des domaines particuliers. Candelon du BCG a déclaré que l’étude joue un rôle majeur dans la prise de décision de l’entreprise sur la manière d’utiliser l’IA en interne. Oui, l’étude a révélé que l’IA a une capacité surprenante à offrir une compréhension spécifique et a conclu que les impacts de l’IA devraient être plus importants sur les employés les plus créatifs, les mieux payés et les plus instruits. Cela a amélioré les performances des élèves les plus médiocres du BCG. Candelon a déclaré que les niveaux de compétence des consultants du BCG sont assez homogènes par rapport à la population de base, et que la différence de performance entre les artistes les plus pauvres et les meilleurs n’est donc pas trop grande. Par conséquent, il ne croit pas que l’étude recommande que l’entreprise puisse commencer à employer des personnes n’ayant pratiquement aucune formation en matière de conseil ou de travail en méthodologie. D’autres études examineront quelles tâches sont bien meilleures pour les habitudes des Centaures et des Cyborgs. L’étude a confirmé que des tâches particulières seront systématiquement mieux exécutées par l’IA, ce qui contredit certaines pratiques actuelles, a déclaré Candelon. Candelon a déclaré que les entreprises ne devraient pas commettre l’erreur de conclure que l’IA est la meilleure solution pour créer une ébauche initiale et exiger que les êtres humains s’améliorent constamment. Il a déclaré que les entreprises devraient faire le contraire : « Vous laissez l’IA faire ce pour quoi elle excelle, et les humains devraient essayer de sortir de cette frontière et de plonger vraiment en profondeur et de consacrer leur temps à d’autres tâches. » Il a déclaré que les habitudes des Centaures sont remarquables, car les Centaures ont en fait découvert qu’ils consacraient certaines tâches à l’IA, par exemple la synthèse d’entretiens et d’autres tâches imaginatives, tout en se concentrant sur des choses plus pertinentes pour l’humain. compétence – par exemple tâche associée à la gestion des données ou du changement. Il a déclaré que la société prévoyait d’examiner davantage les habitudes des Centaures et des Cyborgs, car dans certaines circonstances, il peut être préférable d’être un Cyborg, mêlant compétences humaines et IA. Quant à la rédaction de rapports sur la recherche en IA comme ce que je fais ici, avec des entretiens avec des scientifiques sur leur point de vue sur les conclusions du rapport, je pense que le jury ne sait toujours pas si les machines sont meilleures que les humains. Comment ai-je fait?! L’objectif de VentureBeat est d’être une place publique numérique permettant aux décideurs techniques d’acquérir des connaissances sur l’innovation et les transactions commerciales transformatrices. Découvrez nos Consignes..

Toute l’actualité en temps réel, est sur L’Entrepreneur

LAISSER UN COMMENTAIRE

S'il vous plaît entrez votre commentaire!
S'il vous plaît entrez votre nom ici