Crédit : Dreamstime
Databricks a en fait révélé un tout nouvel extrait, changement, chargement (ETL), baptisée Delta Live Tables, qui est désormais généralement facilement disponible sur les plates-formes Microsoft Azure, Amazon Web Services (AWS) et Google Cloud.
Selon le fournisseur de lac de données et d’entrepôt, Delta Live Tables utilise une méthode déclarative simple pour créer des pipelines de données fiables et gérer instantanément l’infrastructure connexe à grande échelle, ce qui réduit essentiellement le temps consacré par les ingénieurs de données et les scientifiques aux tâches fonctionnelles complexes.
« Les structures de table sont courantes dans les bases de données et les données gestion », a déclaré Doug Henschen, expert principal chez Constellation Research. » Delta Live Tables est une mise à niveau de la plate-forme Databricks multi-cloud qui prend en charge la création, la gestion et la planification des pipelines selon une méthode plus automatique et moins gourmande en code. «
En rendant la création low-code et déclarative via des déclarations de type SQL, Databricks cherche à réduire les barrières à l’entrée pour les travaux d’information complexes tels que le maintien des pipelines ETL en bon état.
« Plus l’entreprise est grande, plus elle est susceptible d’être confrontée à toute l’écriture de code et aux difficultés techniques de structure, de maintenance et d’exploitation d’une myriade de pipelines d’informations », a déclaré Henschen. « Delta Live Tables vise à faciliter et à automatiser une grande partie du travail de codage, d’administration et d’optimisation nécessaire pour assurer la diffusion efficace des flux d’informations. »
Les premiers jours de la maison du lac d’informations
Néanmoins, Henschen a alerté sur le fait qu’il est encore trop tôt pour les plates-formes combinées de lacs et d’installations de stockage dans les environnements d’entreprise. « Nous assistons à davantage de versions et d’expériences inédites pour de nouveaux cas d’utilisation plutôt que de remplacements directs de lacs de données et d’entrepôts d’informations existants », a-t-il déclaré, ajoutant que DLT était en concurrence avec le travail open source Apache Iceberg.
« Dans le domaine de la gestion des données et, en particulier, du pipeline d’informations analytiques, une autre option émergente qui retient beaucoup l’attention de nos jours est Apache Iceberg. Tabular, une société produite par les fondateurs d’Iceberg, s’occupe de fournir exactement les mêmes avantages que avancement et automatisation à faible code », a déclaré Henschen.
Iceberg a reçu une approbation majeure cette semaine, avec Google Cloud adoptant ce format de table open source dans le cadre de l’aperçu de son nouveau produit combiné lac d’informations et entrepôt , appelé BigLake.
Databricks déclare que le DLT est déjà utilisé par 400 entreprises dans le monde, dont ADP, Shell, H&R Block, Bread Finance, Jumbo et JLL.
Toute l’actualité en temps réel, est sur L’Entrepreneur
