Pourquoi une conception particulière d’IA générative produit-elle des hallucinations lorsqu’elle reçoit une invite apparemment normale ? Il s’agit généralement d’une question déroutante à laquelle il est difficile de répondre.
La start-up de systèmes experts Galileo, basée à San Francisco, a l’intention d’aider ses utilisateurs à mieux comprendre et discuter des résultats des grandes conceptions de langage (LLM), avec un série de nouvelles capacités de suivi et de métriques annoncées aujourd’hui. Les toutes nouvelles fonctions font partie d’une mise à jour de Galileo LLM Studio, annoncée pour la première fois par la société en juin. Galileo a été créé par d’anciens collaborateurs de Google et a levé 18 millions de dollars pour aider à apporter des informations intelligentes à l’IA.
Galileo Studio permet désormais aux utilisateurs de examinez les déclencheurs et le contexte de toutes les entrées, mais observez également les sorties en temps réel. Grâce aux nouvelles capacités de suivi, la société affirme être en mesure de fournir de bien meilleures informations sur les raisons pour lesquelles les résultats du modèle sont créés, avec de toutes nouvelles mesures et garde-fous pour améliorer les LLM.
« Ce qui est réellement nouveau Au cours des derniers mois, nous avons bouclé la boucle en incluant une surveillance en temps réel, puisque vous pouvez désormais réellement observer ce qui ne va pas », a déclaré Vikram Chatterji, co-fondateur et PDG de Galileo à VentureBeat dans une interview spéciale. « Cela a fini par être la fin du produit final pour l’amélioration continue des grandes applications de modèles de langage. »
Événement
VB Transform 2023 à la demande
Avez-vous manqué une session de VB Transform 2023 ? Inscrivez-vous pour accéder à la bibliothèque à la demande pour toutes nos sessions en vedette.
Inscrivez-vous maintenant, comment
Tenue LLM piste de
opérer dans Galileo
Les LLM modernes comptent normalement sur l’utilisation des appels API d’une application vers le LLM pour obtenir un réponse.
Chatterji a décrit que Galileo intercepte ces appels d’API à la fois pour l’entrée entrant dans le LLM et maintenant aussi pour la sortie produite. Avec ces données obstruées, Galileo a la capacité de fournir aux utilisateurs des détails en temps quasi réel sur les performances du modèle en plus de la précision des sorties.
Déterminer l’exactitude d’une sortie d’IA produite, généralement aboutit à une conversation sur l’hallucination, lorsqu’elle produit un résultat qui n’est pas précisément basé sur des réalités.
L’IA générative pour le texte avec les modèles de transformateur fonctionne toutes en prédisant quel devrait être le prochain mot correct dans une série de mots. Il s’agit d’une technique créée en utilisant des pondérations et des notes de modèle, qui sont généralement entièrement cachées à l’utilisateur final.
« Essentiellement, ce que fait le LLM, c’est essayer de prédire la probabilité de ce que le mot suivant doit faire. être », a-t-il déclaré. « Cependant, il a également un concept sur ce que doivent être les prochains mots alternatifs et il attribue des probabilités à tous ces différents jetons ou différents mots. »
Galileo s’intègre au modèle lui-même pour avoir une visibilité sur ce qui est exactement ces possibilités existent et fournissent ensuite une base de mesures supplémentaires pour mieux discuter des résultats du modèle et comprendre pourquoi une hallucination spécifique s’est produite.
En fournissant ces informations, Chatterji a déclaré que l’objectif est d’aider les concepteurs à mieux modifier les conceptions. et un réglage fin pour obtenir les meilleurs résultats. Il a noté que là où Galileo aide vraiment, ce n’est pas simplement en quantifiant en informant les concepteurs que la capacité d’hallucination existe, mais aussi en décrivant par une méthode visuelle les mots ou les invites avec lesquels un modèle a été confondu, mot par mot.
Les garde-corps et la mise à la terre aident les concepteurs à dormir pendant la nuit
Le danger d’une application basée sur LLM offrant une réaction qui pourrait causer des problèmes, par le biais d’une erreur, d’un langage ou de la divulgation d’informations secrètes, est un danger que Chatterji Cela empêchera certains concepteurs de dormir le soir.
Avoir la capacité de reconnaître pourquoi un modèle a halluciné et de fournir des mesures autour de celui-ci est utile, mais il en faut davantage.
La mise à jour de Galileo Studio comprend également de nouvelles mesures de garde-corps. Pour les modèles d’IA, un garde-fou constitue une limitation sur ce que la conception peut générer, en termes d’informations, de ton et de langage.
Chatterji a gardé à l’esprit que pour les organisations de services financiers et de soins de santé, il existe des problèmes de conformité réglementaire. sur les informations qui peuvent être révélées et le langage utilisé. Grâce aux métriques de garde-fou, les utilisateurs de Galileo peuvent établir leurs propres garde-corps, puis suivre et mesurer les résultats du modèle pour s’assurer que LLM ne déraille jamais.
Une autre métrique que Galileo suit actuellement est celle que Chatterji décrit comme « ancré », la capacité d’identifier si la sortie d’un modèle est ancrée ou dans les limites des données d’entraînement qui lui ont été fournies.
Chatterji a décrit que si une conception est formée sur des documents de prêt hypothécaire immobilier, mais fournit ensuite une réponse sur quelque chose de totalement extérieur à ces documents, Galileo peut l’identifier grâce à la métrique d’ancrage. Cela permet aux utilisateurs de savoir si une réponse est vraiment pertinente par rapport au contexte sur lequel le modèle a été formé.
Bien que l’ancrage puisse sembler être un autre moyen de déterminer si une hallucination a réellement eu lieu, il existe une différence nuancée.
La métrique des hallucinations de Galilée analyse le degré de confiance d’un modèle dans sa réponse et reconnaît les mots particuliers dont il n’était pas sûr, déterminant ainsi la confiance en soi du modèle et sa confusion potentielle.
D’autre part, la métrique d’ancrage vérifie si la sortie du modèle est ancrée ou pertinente par rapport aux données d’entraînement réelles fournies. Même si un modèle semble positif, sa réaction pourrait porter sur quelque chose qui sort totalement du cadre sur lequel il a été formé.
« Nous disposons désormais d’une multitude de mesures permettant aux utilisateurs d’avoir une meilleure idée de ce qui se passe exactement en production », a déclaré Chatterji.
La mission de VentureBeat est d’être une place publique numérique permettant aux décideurs techniques d’acquérir des connaissances sur les technologies commerciales transformatrices et d’effectuer des transactions. Découvrez nos instructions.
.
Toute l’actualité en temps réel, est sur L’Entrepreneur
