Prediction, une entreprise fournissant une plate-forme low-code pour l’ingénierie des données, a en fait introduit une combinaison dédiée pour Databricks, permettant à quiconque de construire rapidement et facilement des pipelines de données sur le Plate-forme d’informations basée sur Apache Spark.
Le travail de développement de pipelines d’informations, qui fournissent des données importantes pour l’intelligence de service et l’apprentissage automatique, est compliqué. De nombreux ingénieurs de données doivent les programmer séparément, puis exécuter des scripts pour tester, publier et gérer l’ensemble de leur flux de travail en production. La procédure prend beaucoup de temps et est loin d’être réfléchie, en particulier avec le volume croissant d’informations internes et externes dans les entreprises.
Prédiction pour Databricks
Grâce à cette combinaison, toute personne utilisant Databricks, qu’il s’agisse d’un ingénieur de données expérimenté ou d’un informaticien non programmeur, peut tirer parti d’un canevas visuel par glisser-déposer pour développer, publier et suivre les pipelines de données. Il transforme le pipeline de données visuelles en code Glow 100 % open-source (PySpark ou Scala), avec un développement et une exécution interactifs pour vérifier que le pipeline fonctionne correctement à chaque étape du processus.
« Le principal avantage ( de cette combinaison) est la productivité. Au lieu que les ingénieurs de données aient besoin de coder à la main dans des cahiers, ils peuvent utiliser Prophecy pour glisser-déposer rapidement et facilement des pièces afin de développer et d’évaluer de manière interactive des pipelines d’informations, augmentant ainsi leur efficacité « , Raj Bains, le PDG et cofondateur de Prediction, a déclaré à Venturebeat.
« L’avantage suivant est qu’il rend le travail avec Apache Spark/Databricks accessible aux non-programmeurs, ce qui augmente considérablement le nombre d’individus capables de faire de l’ingénierie de données. En général, ces capacités permettront aux entreprises d’adapter l’ingénierie des données pour rester à jour avec le flot d’informations entrantes », a-t-il ajouté.
Comment établir un lien ?
Les utilisateurs de Databricks peuvent intégrer Prédiction avec leur pile de données existante via la fonction Partner Link de la plate-forme Lakehouse. Dès que le service est connecté, il peut être lancé depuis l’interface utilisateur [UI] de Databricks pour rationaliser l’orchestration et la gestion des pipelines sur n’importe quel cloud. La solution prendra également en charge des outils supplémentaires tels que Delta Lake.
« D’un point de vue technique, Databricks’ Partner Link fournit une rampe d’accès simple à Prophecy à partir de l’interface utilisateur de Databricks. En quelques clics, Databricks ‘ les clients ont accès à Prediction », a déclaré Bains.
Bien que des entreprises d’ingénierie de données comme Matillion proposent également une intégration avec Databricks via Partner Link, elles sont limitées aux améliorations de SQL. Prophecy, comme l’a souligné Bains, fournit 2 choses qu’aucun autre produit de ce type ne fournit : transformer les pipelines de données visuelles en code Spark 100 % open-source dans Scala ou PySpark et l’extensibilité.
« De plus, la combinaison de Prophecy avec Databricks est vraiment complet et inclut l’assistance pour Glow Streaming, Delta Lake et Databricks Jobs pour la planification – aucun autre produit n’a une combinaison aussi proche et substantielle », a-t-il ajouté.
Selon IDC, la création d’informations dans le monde entier bondit à un taux de croissance annuel de 23 % et devrait atteindre 181 zettaoctets d’ici 2025. Dans ce cas, des services tels que Prediction seront faciles à entretenir. L’entreprise, qui a levé 25 millions de dollars plus tôt cette année, souhaite également créer des intégrations avec d’autres plates-formes de données, y compris Snowflake.
Toute l’actualité en temps réel, est sur L’Entrepreneur
