Les performances des turbocompresseurs Claude 2.1 LLM d’Anthropic offrent l’utilisation d’un outil bêta

Anthropic a augmenté la mise en ce qui concerne la quantité d’informations qu’une grande conception de langage (LLM) peut absorber simultanément, en annonçant mardi que sa nouvelle version Claude 2.1 a une fenêtre de contexte de 200 000. jetons. Cela représente environ l’équivalent de 500 000 mots ou plus de 500 pages d’informations imprimées, a déclaré Anthropic.

La variante Claude la plus récente est également plus précise que son prédécesseur, a un taux inférieur et inclut l’utilisation d’un outil bêta, » a déclaré la société dans son communiqué.

Le nouveau design alimente le chatbot génératif Claude d’Anthropic, de sorte que les utilisateurs totalement gratuits et payants peuvent bénéficier de la majorité des améliorations de Claude 2.1. La fenêtre contextuelle de 200 000 jetons est destinée aux utilisateurs Pro payants, tandis que les utilisateurs totalement gratuits ont toujours une limite de 100 000 jetons, soit nettement supérieure aux 16 000 de GPT-3.5.

La fonctionnalité de l’outil bêta de Claude 2 permettra aux concepteurs d’incorporer des API et des fonctions définies avec le modèle Claude, similaire à ce qui était disponible dans les conceptions OpenAI.

Le précédent jeton de 100 000 de Claude La fenêtre contextuelle était en fait nettement en avance sur OpenAI en tant que métrique jusqu’au mois dernier, lorsque OpenAI a révélé un aperçu de la variante de GPT-4 Turbo avec une fenêtre contextuelle de 128 000 jetons. Cependant, seuls les clients ChatGPT Plus disposant d’un abonnement de 20 $/mois peuvent accéder à cette conception sous forme de chatbot. (Les développeurs peuvent payer à l’utilisation pour accéder à l’API GPT-4.)

Bien qu’une grande fenêtre contextuelle (la quantité de données qu’elle peut traiter à la fois) semble intéressante si vous avez un gros document ou d’autres informations, il n’est pas clair que les LLM puissent traiter de grandes quantités d’informations ainsi que des informations dans une partie plus petite. Greg Kamradt, spécialiste de l’IA et propriétaire d’entreprise qui suit ce problème, a effectué ce qu’il appelle une analyse « d’aiguille dans une botte de foin » pour voir si de minuscules informations dans un document volumineux sont réellement trouvées lorsque le LLM est interrogé. Il répète les tests en plaçant une déclaration aléatoire dans différentes parties d’un document volumineux qui est introduit dans le LLM et interrogé.

 » Avec 200 000 jetons (près de 470 pages), Claude 2.1 avait la capacité de rappeler des faits à certains moments. profondeur du document », a-t-il posté sur X (anciennement Twitter), gardant à l’esprit qu’il avait effectivement obtenu l’autorisation d’accéder en avant-première à Claude 2.1.  » À partir d’environ 90 000 jetons, les performances de rappel au bas du document ont commencé à se détériorer considérablement.  » GPT-4 n’avait pas non plus de rappel idéal dans son contexte le plus large.

Exécution des tests sur Claude 2.1 a coûté environ 1 000 $ en appels API (Anthropic a utilisé ses crédits pour pouvoir exécuter les mêmes tests qu’il avait réellement effectués sur GPT-4).

Ses conclusions : la façon dont vous créez vos déclencheurs est importante, ne présumez pas des informations. seront toujours récupérées, et les entrées de plus petite taille donneront de meilleurs résultats.

En réalité, de nombreux concepteurs cherchant à interroger des informations à partir de grandes quantités de données développent des applications qui divisent ces informations en morceaux de plus petite taille afin d’améliorer résultats de récupération, même si la fenêtre contextuelle permettait davantage.

Jetez un œil à la précision du tout nouveau modèle, lors de tests avec ce qu’Anthropic a appelé « un grand ensemble de préoccupations factuelles complexes qui pénètrent dans les points faibles compris ». dans les modèles existants,  » la société a déclaré que Claude 2.1 incluait une réduction de 2 fois des déclarations incorrectes par rapport à la variante précédente. Le modèle existant est plus susceptible d’affirmer qu’il ne sait pas plutôt « halluciner » ou inventer quelque chose, selon la déclaration Anthropic. L’entreprise a également cité des « améliorations significatives » en matière de compréhension et de synthèse.

Toute l’actualité en temps réel, est sur L’Entrepreneur