DataStax propose Astra DB comme base de données NoSQL. Ces types de bases de données se concentrent sur de grands volumes d’informations et une faible latence, des éléments qui conviennent au travail de l’IA. Néanmoins, (re)former l’IA sur de nouvelles informations prend du temps. Pour ce facteur, DataStax se tourne vers RAG : Retrieval-Augmented Generation. Grâce à cette méthode, de toutes nouvelles sources de données peuvent être directement liées aux conceptions d’IA. RAG minimise le nombre d’hallucinations d’un LLM, ou la génération d’informations erronées.
Partenariat Nvidia
Astra DB propose déjà des intégrations vectorielles, mais DataStax s’améliore sa sortie. Ce « multi-outil IA », comme Google a appelé les intégrations vectorielles, offre la possibilité de convertir des informations en points d’information. Ceux-ci peuvent ensuite être traités plus rapidement par les modèles d’IA. Avec l’aide de RAG, ces bases de données peuvent être considérées comme des banques de détails continuellement mises à jour qui peuvent être utilisées pour les charges de travail d’IA.
DataStax utilise la dernière offre de Nvidia pour générer des intégrations vectorielles RAG beaucoup plus rapidement. Aujourd’hui, Nvidia a commencé à proposer de tout nouveaux microservices pour se connecter aux services d’inférence et de récupération. Le résultat d’achèvement fournit une vitesse vingt fois supérieure au nombre d’intégrations par seconde. Les bases de données peuvent donc être revitalisées beaucoup plus rapidement.
Nvidia peut générer 800 intégrations par seconde par GPU, tandis que Astra DB de DataStax prend en charge plus de 4 000 transactions par seconde. La latence de ces processus est inférieure à 10 millisecondes, assure DataStax.
Moins cher
Par rapport à d’autres services d’intégration basés sur le cloud, DataStax déclare une réduction de prix de 80 % pour les consommateurs. Selon Kari Briski, vice-président des applications logicielles IA de Nvidia, cela correspond au désir de relier beaucoup plus de données non structurées aux applications GenAI. « Grâce à l’intégration des microservices Nvidia NIM et NeMo Retriever avec la base de données DataStax Astra, les services peuvent considérablement minimiser la latence et exploiter toute la puissance des options de données basées sur l’IA. »
Toute l’actualité en temps réel, est sur L’Entrepreneur
