vendredi, 1 mars 2024

Questions soulevées alors qu’Amazon Q commence à halluciner et à divulguer des données confidentielles

Crédit : IDG

Moins d’une semaine après son lancement, Amazon Q– Le concurrent Copilot d’Amazon est actuellement confronté à un danger pour sa survie, car un tout nouveau rapport suggère que l’assistant d’IA générative pourrait avoir des hallucinations.

Q est confronté à des erreurs et à des problèmes de confidentialité, notamment des hallucinations et des fuites d’informations. Platformer a rapporté, citant des fichiers divulgués. Ce rapport intervient alors que deux études majeures ont montré que les grandes conceptions de langage (LLM) sont extrêmement incorrectes lorsqu’elles sont connectées aux bases de données d’entreprise et deviennent moins transparentes.

Malgré les fortes prétentions d’Amazon d’être un compagnon de travail Pour des millions et d’innombrables personnes, Amazon Q pourrait ne pas être préparé à un usage professionnel, selon les analystes qui suivent le secteur.

« Si des hallucinations sont présentes, vous ne pouvez pas les utiliser pour prendre des décisions dans un environnement d’entreprise », a déclaré Pareekh Jain, PDG d’EIIRTrend Pareekh Consulting. « C’est idéal pour un usage individuel ou pour obtenir des informations, mais pas pour les procédures de prise de décision. »

Des contrôles supplémentaires sont nécessaires

Amazon pourrait être confronté à d’importantes difficultés de contrôle avant que son assistant d’IA génératif ne soit prêt. pour une diffusion commerciale. Jain a souligné l’intérêt d’effectuer des tests internes approfondis pour garantir la préparation.

« Je pense qu’ils doivent d’abord effectuer davantage de tests avec les travailleurs internes », a ajouté Jain. « C’est sans aucun doute ce qu’ils font actuellement. En fin de compte, aucune source externe n’a signalé ces préoccupations. Il y a deux choses ici : l’une est l’information et l’autre les algorithmes. Ils doivent voir si c’est une préoccupation. avec les informations ou avec l’algorithme. »

Q s’appuie sur 17 années d’efficacité en matière de données et de développement d’AWS et est conçu pour fonctionner comme un outil polyvalent pour les entreprises. Si l’industrie suit la direction, les enjeux sont importants pour Amazon avec cette offre d’IA.

Bien que les hallucinations ne compromettent pas la capacité de l’IA générative pour les cas d’utilisation des clients et des entreprises, une formation appropriée est nécessaire, selon Sharath. Srinivasamurthy, vice-président associé de la société d’études de marché IDC.

« Former les conceptions sur des données de meilleure qualité, augmenter en temps opportun (guider les utilisateurs avec des déclencheurs prédéfinis que la conception peut facilement comprendre), peaufiner continuellement les modèles sur l’organisation ou des données et des politiques spécifiques à l’industrie, l’augmentation d’une couche de contrôle humain en cas de réponse suspecte sont quelques-unes des actions qui doivent être requises pour tirer le meilleur parti de cette innovation émergente », a déclaré Srinivasamurthy.

Les hallucinations déclencheront-elles une urgence à gérer ?

Les rapports faisant état d’hallucinations soulèvent des inquiétudes quant à la nécessité de politiques et au sérieux des règles qui pourraient éventuellement entrer en vigueur. Sanchit Vir Gogia, expert en chef et PDG de Greyhound Research, a souligné que toute réglementation qui en résulterait peut être contre-productive.

« Toute directive peut, en réalité, ralentir l’échange et l’utilisation d’informations », a déclaré Gogia. « Donc, pour l’instant, moins cette industrie est contrôlée, mieux c’est. Cela permet une utilisation plus simple et plus fluide des données. Prenons l’exemple du GPT d’OpenAI : s’il y avait des garde-fous stricts quant aux informations pouvant être enregistrées, alors elles le seraient.  » n’ont pas réellement décollé. « 

Jain a également recommandé que la fixation de limites externes ne soit peut-être pas un concept possible, mais que davantage d’efforts pourraient être faits par l’entreprise elle-même.  » Des réglementations peuvent exister, mais l’accent est principalement mis sur sur l’autorégulation », a expliqué Jain.  » Bien que des lignes directrices et des lignes directrices soient nécessaires, il existe une limite quant au degré d’audit qui peut être mis en œuvre. L’accent doit être mis sur une IA responsable, dont la logique peut être expliquée aux clients plutôt que de créer des systèmes de « boîte noire ». Néanmoins, il existe un seuil au-delà duquel, à mon avis, la responsabilité se porte davantage sur la manière dont les entreprises perçoivent et mettent en œuvre ces étapes pour des raisons de sécurité. Compte tenu de la nécessité de tests internes plus robustes et d’une tendance à l’autorégulation, le déploiement de l’IA dans les environnements d’entreprise est semé d’embûches. Il incombe désormais à Amazon de surmonter ces obstacles, notamment en raison de son entrée tardive dans le secteur.

« AWS est plutôt à la traîne dans ce domaine, avec Microsoft et actuellement en tête », a ajouté Jain. « Les gens ont donc des attentes plus grandes, notamment concernant les chatbots et autres technologies associées. »

Toute l’actualité en temps réel, est sur L’Entrepreneur

LAISSER UN COMMENTAIRE

S'il vous plaît entrez votre commentaire!
S'il vous plaît entrez votre nom ici