À l’époque où les installations de données commençaient à peine à se développer, les services dépendaient fortement du traitement de données par lots. Auparavant, ils tiraient parti des données au repos, stockées dans les systèmes sur une période donnée, pour générer des informations permettant d’améliorer les résultats de l’organisation. Aujourd’hui, les volumes de données ont explosé à tous les niveaux, d’où la nécessité d’agir sur les données lorsqu’elles transitent par les systèmes, ce que l’on appelle le traitement des données en continu.
Dans le but d’alimenter des cas d’utilisation tels que En tant que recommandations de produits en temps réel et détection des fraudes, les entreprises du monde entier utilisent des services de stockage en streaming basés sur le cloud tels qu’Amazon Kinesis et Apache Kafka. Ils utilisent ces plates-formes pour capturer en continu des gigaoctets d’informations par seconde à partir de centaines de milliers de sources, à partir desquelles les concepteurs construisent les applications de streaming en temps réel souhaitées, efficaces pour traiter et répondre aux événements avec une latence inférieure à la seconde.
Bien que la procédure semble simple, son exécution a longtemps été une entreprise difficile. Avant tout, une entreprise a besoin d’avoir des développeurs très compétents dans les systèmes dispersés et la gestion des données pour créer des applications en temps réel. Ces ingénieurs doivent travailler 24 heures sur 24 et organiser des serveurs ou des clusters pour non seulement garantir les garanties de livraison, la tolérance aux pannes, la flexibilité et la sécurité de l’article, mais également un fonctionnement fluide 24h/24 et 7j/7 selon une méthode fiable, sûre et évolutive.
La base de données sans serveur de DeltaStream
Pour simplifier cet aspect, DeltaStream fournit une base de données sans serveur qui gère, protège et traite tous les flux – connectés via des plateformes de stockage en continu – pour différents cas d’utilisation. L’entreprise, créée par Hojjat Jafarpour, a annoncé qu’elle était en fait sortie de la clandestinité avec un financement de démarrage de 10 millions de dollars.
« DeltaStream se situe au-dessus des services de stockage en continu tels que Apache Kafka et permet aux utilisateurs de développer des applications et des pipelines de streaming en temps réel dans un langage SQL familier », a déclaré Jafarpour à VentureBeat. « L’option est sans serveur : les utilisateurs n’ont qu’à se concentrer sur la construction de leurs applications et de leurs pipelines, et DeltaStream s’occupe de les exécuter, avec une mise à l’échelle à la hausse et à la baisse, la tolérance aux pannes et l’isolement. »
Avec le sans serveur, les utilisateurs peuvent simplement présumer des ressources pour leurs applications et continuer en ne payant que ce qui est utilisé. Pendant ce temps, la simplicité de SQL garantit aux utilisateurs une manière familière de gérer, protéger et interroger leurs données en mouvement. DeltaStream organise également les informations dans des schémas et des bases de données, et fournit un accès basé sur les rôles aux contrôles pour limiter qui peut accéder aux détails de streaming et ce qu’ils peuvent en faire.
« La conception de DeltaStream d’offrir la couche de calcul en plus des systèmes de stockage en continu des utilisateurs… supprime le besoin de duplication des informations et n’inclut pas de latence inutile pour les applications et les pipelines en temps réel », a déclaré la société dans son article de blog.
Concurrents
Les autres offres qui relèvent exactement le même défi sont ksqlDB de Confluent, AWS Kinesis Data Analytics, Azure Stream Analytics et GCP DataFlow. Selon Jafarpour, ceux-ci sont tous limités à certaines plates-formes de stockage en continu. En revanche, DeltaStream est indépendant de la plate-forme et peut gérer d’importants magasins de données de streaming comme Apache Kafka, AWS Kinesis et Pulsar.
« De plus, en plus du traitement, DeltaStream permet aux utilisateurs d’organiser et de protéger leurs informations de streaming comparable aux bases de données relationnelles, ce que les autres systèmes ne font pas », a ajouté le PDG.
Actuellement, un ensemble restreint de clients sur AWS peut avoir accès à DeltaStream en version bêta privée. L’entreprise se prépare à utiliser le cycle d’amorçage, dirigé par New Business Associates (NEA), pour s’appuyer sur l’offre de base avant de se diriger vers la disponibilité de base. Il n’a pas partagé le calendrier spécifique, mais a en fait vérifié les plans d’étendre prochainement le produit à GCP et Azure.
Dès qu’il sera proposé, DeltaStream pourra être accessible via une API REST, une application CLI ou une application Web.
L’objectif de VentureBeat est d’être une place publique numérique permettant aux décideurs techniques d’acquérir des connaissances sur l’innovation commerciale transformatrice et d’effectuer des transactions. En savoir plus sur l’abonnement.
Toute l’actualité en temps réel, est sur L’Entrepreneur
