Microsoft, GPT-3 et l’avenir d’OpenAI

L’un des points forts de Build, la conférence annuelle de développement de logiciels de Microsoft, a été la discussion d’un outil qui utilise la découverte en profondeur pour produire du code source pour les applications professionnelles. L’outil utilise GPT-3, un énorme langage de conception développé par OpenAI en 2015 et mis à disposition pour choisir des concepteurs, des chercheurs et des start-ups dans une application payante montre l’interface utilisateur.

Beaucoup ont en fait promu GPT- 3 en tant que technologie d’intelligence artificielle de nouvelle génération qui introduira un tout nouveau type d’applications et de start-ups. Depuis la sortie de GPT-3, de nombreux développeurs ont découvert des utilisations intéressantes et innovantes pour la conception du langage. Et de nombreuses startups ont déclaré qu’elles utiliseraient GPT-3 pour créer de nouveaux éléments ou améliorer des éléments existants. Mais produire une entreprise prospère et durable autour de GPT-3 reste un défi.

Le tout premier article de Microsoft alimenté par GPT-3 fournit des conseils essentiels sur les activités des grands modèles linguistiques et sur l’avenir de la relation d’approfondissement du géant de la technologie avec OpenAI.

Une conception en quelques coups qui doit être affinée ?

Selon le blog de Microsoft, « Par exemple, les nouvelles fonctions basées sur l’IA permettront à un travailleur créant une application de commerce électronique d’expliquer un objectif de spectacle en utilisant un langage conversationnel comme » découvrir des produits dont le nom commence par « enfants ». Un modèle GPT-3 affiné [c’est moi qui souligne] utilise ensuite des choix pour changer la commande en une formule Microsoft Power Fx, le langage des programmes open source de la Power Platform. »

Je n’ai pas trouvé de technique dans formation sur la version affinée du GPT-3 utilisée par Microsoft. Cependant, il y a généralement 2 facteurs pour lesquels vous pouvez affiner une conception d’apprentissage en profondeur. Dans le premier cas, la conception n’exécute pas la tâche cible avec la précision souhaitée, vous devez donc la peaufiner en l’entraînant sur des exemples pour ce travail spécifique.

Dans le second cas, votre conception peut effectuer le travail prévu, mais il est inefficace sur le plan informatique. GPT-3 est une très grande conception à connaissance approfondie avec 175 milliards de critères, et les coûts de son fonctionnement sont élevés. Pour cette raison, une version plus petite de la conception peut être améliorée pour effectuer le travail de génération de code avec la même précision pour une partie du coût de calcul. Un compromis possible sera que le modèle ne fonctionnera pas correctement sur d’autres emplois (comme la réponse aux questions). Dans le cas de Microsoft, la pénalité ne sera pas pertinente.

Une version affinée du modèle d’apprentissage en profondeur semble être à risque avec le concept original discuté dans l’article GPT-3, intitulé à juste titre « Language Designs sont des apprenants peu nombreux. « 

Voici une citation du résumé de l’article: » Ici, nous montrons que la mise à l’échelle des modèles de langage améliore considérablement l’efficacité de la tâche, indépendamment des tâches, atteignant même dans certains cas la compétitivité avec les précédents techniques de réglage fin de pointe.  » Cela suggère essentiellement que, si vous construisez une conception de langage suffisamment grande, vous serez en mesure d’effectuer de nombreuses tâches sans avoir besoin de reconfigurer ou de personnaliser votre réseau de neurones.

À quoi sert l’appareil à quelques coups trouver un modèle à affiner pour les nouveaux emplois? C’est là que les mondes de l’étude de la recherche clinique et de l’IA appliquée se heurtent.

Étude de recherche universitaire vs IA commerciale

Il existe une frontière claire entre la recherche universitaire et l’entreprise l’avancement de l’article. Dans les études de recherche en IA scolastique, l’objectif est de repousser les limites de la science. C’est précisément ce que GPT-3 a fait. Les scientifiques d’OpenAI ont révélé qu’avec suffisamment de paramètres et d’informations sur la formation, un seul modèle d’apprentissage en profondeur pouvait effectuer un certain nombre de tâches sans nécessiter de recyclage. Et ils ont vérifié le modèle sur de nombreux critères de traitement du langage naturel populaires.

Cependant, dans le développement de produits d’entreprise, vous ne faites pas fonctionner des critères tels que GLUE et SQuAD. Vous devez résoudre un problème particulier, le résoudre dix fois mieux que les opérateurs en place et avoir la capacité de l’exécuter à grande échelle et de manière économique.

Si vous avez une conception d’apprentissage en profondeur vaste et coûteuse qui peut effectuer 10 tâches différentes avec une précision de 90 pour cent, c’est une réalisation scientifique fantastique. Cependant, lorsqu’il existe déjà 10 réseaux de neurones plus légers qui effectuent chacune de ces tâches avec une précision de 99% et une fraction du prix, alors votre conception touche-à-tout n’aura pas la capacité de rivaliser sur un marché axé sur le profit. .

Voici une citation fascinante du site de blog de Microsoft qui valide les défis de l’application de GPT-3 à de vrais problèmes d’organisation : « Cette découverte des grandes capacités de GPT-3 a fait exploser les limites de ce qui est possible dans l’apprentissage des langues naturelles , a déclaré Eric Boyd, vice-président de Microsoft pour Azure AI. Mais des inquiétudes restaient ouvertes quant à savoir si une conception aussi vaste et complexe pourrait être lancée de manière rentable à grande échelle pour répondre aux besoins réels de l’entreprise [c’est moi qui souligne] »

Et ces Les problèmes ont été résolus avec l’optimisation de la conception pour ce travail spécifique. Parce que Microsoft souhaitait résoudre un problème extrêmement particulier, le modèle GPT-3 complet serait une surpuissance qui gaspillerait des ressources coûteuses.

Pour cette raison , le plain vanilla GPT-3 est plus une réussite clinique qu’une plate-forme fiable pour l’avancement des articles. Cependant, avec les meilleures ressources et la meilleure configuration, il peut devenir un outil important pour la distinction du marché, ce que fait Microsoft.

L’avantage de Microsoft

Dans un monde idéal, OpenAI aurait lancé ses propres produits et généré des revenus pour financer sa propre recherche. plus difficile que de lancer un service API payant, même si votre entreprise Le PDG de s est Sam Altman, l’ancien président de Y Combinator et une légende du développement d’articles.

Et c’est pourquoi OpenAI a enregistré l’aide de Microsoft, un choix qui aura des implications à long terme pour l’étude de recherche sur l’IA laboratoire. En juillet 2019, Microsoft a réalisé un investissement financier d’un milliard de dollars dans OpenAI, avec certaines chaînes connectées.

Extrait de l’article OpenAI qui a déclaré l’investissement de Microsoft : « OpenAI produit une séquence d’innovations d’IA progressivement efficaces, qui nécessite beaucoup de capital pour la puissance de calcul. La façon la plus apparente de couvrir les coûts est de construire un article, mais cela impliquerait de changer notre objectif [focus mine] Nous avons plutôt l’intention de certifier certains de nos technologies pré-AGI, Microsoft devenant notre partenaire privilégié pour les annoncer. »

Seul, OpenAI aurait du mal à trouver un moyen de pénétrer un marché existant ou de créer un tout nouveau marché pour GPT-3 .

D’un autre côté, Microsoft dispose actuellement des éléments nécessaires pour accélérer le chemin vers le succès d’OpenAI. Microsoft possède Azure, la deuxième plus grande infrastructure cloud, et il reste dans une position appropriée pour subventionner les dépenses de formation et d’exécution des conceptions d’apprentissage en profondeur d’OpenAI.

Plus important encore, et c’est pourquoi je pense qu’OpenAI a été sélectionné Microsoft sur Amazon – c’est la portée de Microsoft sur différents marchés. Des milliers d’organisations et des millions d’utilisateurs utilisent les applications payantes de Microsoft telles que Workplace, Teams, Dynamics et Power Apps. Ces applications fournissent des plates-formes parfaites pour incorporer GPT-3.

L’avantage du marché de Microsoft est totalement évident dans sa première application pour GPT-3. C’est un cas d’utilisation très simple destiné à un public non technique. On ne s’attend pas à ce qu’il fasse des raisonnements de programmes complexes. Il convertit simplement les requêtes en langage naturel en formules d’informations dans Power Fx.

Cette application sans importance n’est pas pertinente pour beaucoup de développeurs chevronnés, qui découvriront qu’il est beaucoup plus facile de taper directement leurs questions que de les expliquer en prose. Mais Microsoft a de nombreux clients sur des marchés non technologiques, et ses Power Apps sont conçues pour les utilisateurs qui n’ont aucune expérience en matière de codage ou qui apprennent à coder. Pour eux, GPT-3 peut faire une grande distinction et aider à réduire la barrière au développement d’applications simples qui résolvent les problèmes de service.

Microsoft a un autre aspect qui travaille à son avantage. Il a en fait protégé l’accès exclusif au code et à l’architecture de GPT-3. Alors que d’autres entreprises peuvent simplement se connecter à GPT-3 via l’API payante, Microsoft peut le personnaliser et l’intégrer directement dans ses applications pour le rendre efficace et évolutif.

En proposant l’API GPT-3 pour démarrer -ups et designers, OpenAI a produit un environnement pour trouver toutes sortes d’applications avec des conceptions de langages volumineux. Microsoft restait assis, observant toutes les différentes expériences avec un intérêt croissant.

L’API GPT-3 agissait essentiellement comme un projet d’étude de recherche de produits pour Microsoft. Quel que soit le cas d’utilisation qu’une entreprise trouve pour GPT-3, Microsoft sera en mesure de le faire beaucoup plus rapidement, moins cher et avec une meilleure précision grâce à son accès exclusif à la conception du langage. Cela offre à Microsoft un avantage distinct pour contrôler la plupart des marchés qui se dessinent autour de GPT-3. Et c’est pourquoi je pense que la plupart des entreprises qui développent des éléments au-dessus de l’API GPT-3 sont vouées à l’échec.

The OpenAI Startup Fund

Et maintenant, Microsoft et OpenAI sont faire passer leur collaboration au niveau supérieur. Lors de la Build Conference, Altman a déclaré un fonds de 100 millions de dollars, l’OpenAI Startup Fund, à travers lequel il achètera des activités d’IA en phase de démarrage.

« Nous nous préparons à faire de gros paris précoces sur un nombre relativement restreint d’entreprises , probablement pas plus de 10 », a déclaré Altman dans une vidéo préenregistrée plongée dans la conférence.

Quels types d’entreprises le fonds achètera-t-il ? « Nous essayons de trouver des startups dans des domaines où l’IA peut avoir l’impact positif le plus important, comme les soins de santé, la modification de l’environnement et l’éducation », a déclaré Altman, auquel il a ajouté: « Nous sommes également ravis des marchés où l’IA peut générer d’énormes progrès en termes de performances , comme l’assistance personnelle et la recherche sémantique.  » La première partie semble être en ligne avec l’objectif d’OpenAI d’utiliser l’IA pour l’amélioration de l’humanité. Mais la deuxième partie semble être le type d’applications génératrices de bénéfices que Microsoft vérifie.

De même à partir de la page du fonds : « Le fonds est géré par OpenAI, avec des investissements de Microsoft et d’autres partenaires OpenAI. En plus du capital, les entreprises du fonds de démarrage OpenAI auront un accès anticipé aux futurs OpenAI systèmes, l’assistance de notre équipe et des crédits sur Azure. »

Donc, en gros, il semble qu’OpenAI finisse par être un proxy marketing pour le cloud Azure de Microsoft et aidera à trouver des startups d’IA qui pourraient être approuvées pour acquisition par Microsoft à l’avenir. Cela approfondira la collaboration d’OpenAI avec Microsoft et garantira que le laboratoire continue à obtenir des financements du géant de la technologie. Mais il faudra également à OpenAI une action plus détaillée pour devenir une entité commerciale et éventuellement une filiale de Microsoft. Comment cela affectera l’objectif à long terme du laboratoire d’études de recherche de recherche scientifique sur l’intelligence artificielle générale reste une question ouverte.