Crédit : alberto clemares exposito/ Shutterstock
Même les individus qui ne sont pas dans la technologie semblent avoir réellement prendre connaissance de l’éviction de Sam Altman d’OpenAI vendredi. Le lendemain, j’étais avec deux bons amis (l’un travaille dans le bâtiment et l’autre dans le marketing) et tous deux en discutaient. L’IA générative (genAI) semble être enfin devenue courante.
Ce qu’elle n’a pas fait, cependant, c’est échapper à l’attraction gravitationnelle de la BS, comme Alan Blackwell l’a souligné. Non, je ne suggère pas que l’IA soit vide de sens, riche en buzz et pauvre en substance. L’IA profite actuellement à de nombreuses entreprises sur une multitude de marchés. Même genAI, un petit sous-ensemble du marché général de l’IA, change la donne pour le développement de logiciels et au-delà. Et pourtant Blackwell a raison : « L’IA produit littéralement des conneries. » Il comprend des éléments qui sonnent bien sur la base des informations de formation.
Cependant, si nous pouvons les « enfermer », comme le décrit Rodney Brooks, professeur d’IA au MIT, la genAI peut faire une énorme différence dans nos vies.
‘ChatGPT est un générateur de conneries’
La vérité n’est pas fondamentale pour la taille du langage les conceptions fonctionnent. Les LLM sont « des algorithmes d’apprentissage en profondeur qui peuvent reconnaître, résumer, assimiler, prévoir et générer du matériel en utilisant de grands ensembles d’informations ». Gardez à l’esprit que la « vérité » et la « connaissance » n’ont pas leur place dans cette définition. Les LLM ne sont pas développés pour vous informer de la réalité. Comme détaillé dans un forum en ligne OpenAI, « les grands modèles de langage sont de nature probabiliste et sont exécutés en produisant les résultats les plus probables basés sur des modèles qu’ils ont réellement observés dans les données d’entraînement. Dans le cas de problèmes mathématiques et physiques, il peut n’y avoir qu’un seul bon réponse, et la probabilité de générer cette réponse peut être très faible. élaborer une réponse sur l’histoire de l’algèbre. À la direction de Geoff Hinton, Blackwell déclare : « L’un des plus grands risques n’est pas que les chatbots deviennent très intelligents, mais qu’ils créent un texte très convaincant sans être intelligents. »
Cela ressemble à des « fausses nouvelles ». sous stéroïdes. Comme le dit Blackwell : « Nous avons en fait automatisé des conneries. »
Cela n’est pas surprenant, étant donné que les principales sources des LLM qui sous-tendent ChatGPT et d’autres systèmes GenAI sont Twitter, Facebook, Reddit et « d’autres énormes archives ». des conneries. » « Il n’y a pas d’algorithme dans ChatGPT pour examiner quelles parties sont réelles », de sorte que « le résultat est en fait des conneries », déclare Blackwell.
Que faire ?
‘Vous devez encadrer les choses de manière approfondie.
Le secret pour obtenir une certaine forme de compréhension bénéfique des LLM, selon Brooks, est de « s’intégrer ». Il déclare : « Vous devez soigneusement emballer les LLM pour que la folie ne ressorte pas et que les inventions ne ressortent pas. » Comment « enfermer un LLM ? »
Une méthode importante consiste à utiliser la génération améliorée de récupération (RAG). J’aime la façon dont Zachary Proser le caractérise : « RAG, c’est comme brandir une carte d’indices comprenant les points cruciaux à voir pour votre LLM. » C’est un moyen d’augmenter un LLM avec des informations exclusives, lui donnant plus de contexte et de connaissances pour améliorer ses actions.
RAG dépend de vecteurs, qui sont un composant fondamental utilisé dans une variété de cas d’utilisation de l’IA. Une intégration vectorielle est simplement une longue liste de nombres qui décrivent les fonctions de l’élément d’information, comme une chanson, une image, une vidéo ou un poème, stockés dans une base de données vectorielles. Ils sont utilisés pour enregistrer la signification sémantique des éléments par rapport à d’autres objets. Les objets similaires sont organisés ensemble dans la zone vectorielle. Plus deux objets sont proches, plus ils se ressemblent. (Par exemple, « rugby » et « football » seront plus proches l’un de l’autre, à l’exception de « football » et « basketball »). Vous pouvez ensuite rechercher des entités associées qui sont comparables en fonction de leurs caractéristiques, sans dépendre de synonymes ou de correspondances de mots clés.
Comme le conclut Proser : » Puisque le LLM a désormais accès aux vérités les plus importantes et les plus fondamentales de votre base de données vectorielles, il peut fournir une réponse précise à votre utilisateur. RAG diminue la probabilité d’hallucination. De manière inattendue, votre LLM est beaucoup plus susceptible de vous fournir une action réelle, et pas seulement une réponse qui semble vraie. C’est le genre de « boxing » qui peut rendre les LLM vraiment bénéfiques et ne pas faire le buzz.
Sinon, ce ne sont que des conneries automatisées.
Toute l’actualité en temps réel, est sur L’Entrepreneur
