Les entreprises peuvent-elles découvrir une bien meilleure méthode pour organiser l’assaut incessant des données ? LakeFS pense que la réponse : versionner à la Git. LakeFS offre la possibilité de produire et de suivre diverses variations de données, imitant essentiellement le processus utilisé par les développeurs pour organiser le code.
Le 27 juin, l’entreprise a annoncé l’accessibilité générale de son service, LakeFS Cloud. Les équipes pourront l’utiliser pour suivre l’évolution de nombreuses variantes de leurs données simplement comme elles le font avec différentes versions de leur code.
« LakeFS est vraiment une infrastructure. Il se situe au-dessus des informations », décrit Einat Orr, cofondatrice et PDG de LakeFS. « Il s’agit d’une interface utilisateur entre le lac de données et les applications. Toute application peut profiter des opérations de type Git proposées par LakeFS, et les données sont gérées via une interface utilisateur cohérente pour l’organisation. »
Pendant très longtemps, les concepteurs ont en fait traité les applications logicielles et les informations d’une manière différente. Les développeurs ont créé des systèmes de gestion des versions comme Git pour aider à organiser l’avancement des logiciels en suivant les divers petits et grands changements. Les équipes comptent sur l’outil pour garder le travail de divers programmeurs différent jusqu’à ce qu’il soit temps de combiner et de livrer une variante finale. Les groupes d’applications logicielles travaillent régulièrement avec des lots, des centaines et même des milliers de versions différentes disposées dans un arbre métaphorique avec des branches.
Les données, cependant, ont généralement été conservées dans des blocs séparés. Les développeurs font fréquemment des copies totales de diverses photos ou sauvegardes prises à différents moments. Le suivi des distinctions était difficile et l’expansion des copies créait de la confusion et de gros coûts de stockage.
« Le cloud ne nous a jamais avertis de l’obtention d’informations. Comme la véritable bénédiction du stockage infini est rapidement devenue un gâchis incontrôlable, il est nécessaire que des technologies comme LakeFS rendent à nouveau les données disponibles », a expliqué Sivan Bercovici, directeur technique de l’entreprise de diagnostic médical Karius, qui a vérifié le produit avec son accord sur l’intelligence artificielle et la collecte de données.
LakeFS : Systèmes et services
LakeFS est conçu pour fonctionner avec des magasins d’objets comme S3 et différents systèmes de gestion de l’information comme Snowflake ou BigQuery. Le service fournit une interface pour le stockage et la récupération, puis transmet les informations à un service backend comme AWS tout en suivant la ramification actuelle. LakeFS imagine que les groupes peuvent travailler avec de nombreux fournisseurs de stockage différents. Une zone de jeu de présentation offre aux utilisateurs la possibilité d’essayer le code sans l’installer.
Le système aiderait les groupes en suivant les différentes branches et en les fusionnant au besoin. Un concepteur peut commencer à expérimenter une nouvelle fonctionnalité en produisant une branche de l’ensemble de données principal actuellement en production. Il n’y aurait aucune obligation de faire une copie totale pour le dépistage et tout changement introduit par les nouvelles expériences serait conservé dans une branche différente qui n’affecterait pas la principale variation de production.
« C’est vraiment facile de produire un gâchis dans S3 et d’avoir des copies qui traînent pendant de nombreuses années que personne n’efface », a déclaré Orr. « Lorsque vous travaillez avec LakeFS, vous avez la transparence nécessaire pour gérer efficacement vos informations et la capacité d’avoir votre rétention liée à vos besoins de service parce que vous savez que cette branche n’est pas utilisée. Vous comprenez que ce fichier n’est pas pointé par n’importe quelle branche LakeFS. »
LakeFS offre aux concepteurs la possibilité de développer diverses branches, puis de les combiner ou de les effacer selon les besoins. Il fournit également des webhooks afin que les opérations puissent être intégrées à un certain nombre d’autres pipelines d’avancement utilisés pour une combinaison et une mise en œuvre constantes.
« Depuis l’introduction de LakeFS dans notre environnement d’informations de production, nous avons réellement profité des avantages des opérations atomiques et isolées dans nos pipelines d’informations. Cela nous a permis de passer plus de temps à améliorer d’autres aspects de notre plate-forme de données, et moins de temps à gérer les retombées des conditions de course et des opérations partiellement échouées », écrit Lior Resisi, chef d’équipe de la plate-forme d’informations chez Windward.
Les rivaux du lac de données
De nombreuses autres sociétés de bases de données commencent à déployer des méthodes comparables. Planetscale et Neon, par exemple, utilisent la possibilité de créer des branches ou des bifurcations de données enregistrées dans leurs systèmes développés autour de bases de données open source telles que MySQL ou PostgreSQL. Ils ont récemment publié leurs variantes et se sont concentrés sur l’offre de la même interface de base de données à laquelle les développeurs se sont habitués au fil des ans.
LakeFS est développé pour fonctionner à un niveau inférieur avec un stockage approximatif des choses. L’API accepte les blocs de données requis qui sont conservés dans des compartiments. Les détails de branchement sont stockés en tant que métadonnées et utilisés, si nécessaire, pour fusionner ou effacer des éléments.
« Je pense qu’il est très important de souligner que nous sommes agnostiques en matière de format, ce qui nous permet d’être vraiment complémentaires aux formats de table ouverts tels que Delta Lake ou Iceberg », a expliqué Orr. Cela permet aux concepteurs de travailler avec des ensembles de données volumineux et plus variés qui sont généralement étendus entre divers produits et silos.
La société garantit cependant qu’elle étendra ses interfaces utilisateur pour faire face à d’autres options de stockage. Ils imaginent que LakeFS peut devenir une API commune à utiliser par les développeurs. Les économies de temps et les coûts de stockage des copies supplémentaires justifieront la dépense supplémentaire.
« C’est notre vision », déclare Orr. « En fin de compte, il ne s’agit pas de travailler uniquement sur les stockages d’articles, mais sur toutes les sources d’informations dont vous disposez. »
L’article a commencé comme un travail open source parrainé par Treeverse, une société américaine établie en 2020 par Orr et Oz Katz. Les investisseurs sont Dell Technologies Capital, Norwest Venture Partners et Zeev Ventures.
La mission de VentureBeat est d’être une place publique numérique permettant aux décideurs techniques de mieux comprendre la transformation innovation commerciale et transaction. En savoir plus sur l’adhésion.
.
Toute l’actualité en temps réel, est sur L’Entrepreneur