samedi, 1 octobre 2022

Changer la capture des données : le lien critique pour Airbnb, et Uber

La pile d’informations contemporaines (MDS) est fondamentale pour les perturbateurs numériques. Pensez à Netflix. La société est à l’origine d’une nouvelle conception de service autour de la vidéo en tant que service, mais une grande partie de son succès repose sur des informations de diffusion en temps réel.

Ils utilisent des analyses pour proposer des suggestions très pertinentes aux audiences. Ils gardent une trace des informations en temps réel pour préserver une présence continue dans l’efficacité du réseau. Ils intègrent leur base de données de films et de révélations à Elasticsearch pour permettre aux utilisateurs de découvrir rapidement et facilement ce qu’ils recherchent.

Cela doit être en temps réel, et il doit être précis à 100 %. Extraire, transformer, charger (ETL) à l’ancienne est tout simplement trop lent. Pour répondre à cette exigence, a créé un outil de capture de données modifiées (CDC) appelé DBLog qui capture les modifications dans MySQL, PostgreSQL et d’autres sources de données, puis diffuse ces modifications vers les magasins de données cibles à des fins de recherche et d’analyse.

haute accessibilité requise et synchronisation en temps réel. Ils devaient également réduire l’influence sur les bases de données fonctionnelles. CDC supprime les journaux de base de données, dupliquant les modifications apportées aux bases de données cibles dans l’ordre dans lequel elles se produisent, de sorte qu’il capture les modifications au fur et à mesure qu’elles se produisent, sans verrouiller les enregistrements ni enliser la base de données source.

Les données sont au cœur de ce que fait Netflix, mais ils ne sont pas les seuls à cet égard. Des entreprises comme Uber, Amazon, Airbnb et Meta prospèrent car elles comprennent vraiment comment tirer parti des données. La gestion de l’information et l’analyse des données sont des piliers stratégiques pour ces organisations, et l’innovation CDC joue un rôle majeur dans leur capacité à remplir leurs missions principales.

La même chose peut être dite de pratiquement toutes les entreprises opérant au sommet de leur jeu vidéo dans l’environnement commercial d’aujourd’hui. Si vous souhaitez que votre entreprise fonctionne comme un acteur de premier plan, vous devez améliorer et maîtriser vos données. Vos concurrents le font certainement actuellement.

L’intégration en moins d’une seconde est la nouvelle exigence chez Airbnb et Uber

Dans le monde d’aujourd’hui, une expérience client forte nécessite des circulations de données en temps réel. Airbnb a reconnu la valeur de l’innovation de CDC dans la création d’un excellent CX pour ses clients et ses hôtes. Eux aussi ont construit leur propre plate-forme CDC, qu’ils appellent SpinalTap. Les tarifs dynamiques d’Airbnb, la disponibilité des annonces et le statut des rendez-vous exigent une précision et une cohérence parfaites dans tous les systèmes. Lorsqu’un consommateur Airbnb réserve une visite, il s’attend à ce que les flux de travail soient très rapides et précis à 100 %.

Pour Uber, l’immédiateté est sans doute beaucoup plus essentielle. Qu’un client attende un voyage à l’aéroport ou achète une livraison de nourriture, le timing est critique. Tout comme et Airbnb, ils ont créé leur propre plate-forme CDC pour intégrer les données de plusieurs magasins de données en temps réel. Encore une fois, un ensemble typique d’exigences a émergé. Uber exigeait que sa solution soit très rapide et tolérante aux pannes, sans aucune perte de données. Ils avaient également besoin d’une solution qui ne réduirait pas les performances de leurs bases de données sources.

Modifier la capture de données pour les autres

Une fois de plus, CDC fait les frais. Auparavant, l’ETL en mode batch du jour au lendemain aurait pu être approprié pour offrir une mise à jour quotidienne de la direction ou des rapports fonctionnels. Aujourd’hui, le temps réel est nettement la norme. Si l’information est synonyme de puissance, alors l’accès immédiat aux détails est une puissance turbo.

C’est pourquoi le CDC devient rapidement une exigence fondamentale pour la pile de données contemporaine. C’est bien beau, cependant, que d’énormes entreprises comme Netflix, Airbnb et Uber disposent des ressources nécessaires pour développer des plateformes CDC sur mesure, mais qu’en est-il de tous les autres ?

Les solutions CDC prêtes à l’emploi sont remplissant cet espace, fournissant les mêmes pipelines de streaming à faible latence et de haute qualité sans avoir besoin de construire à partir de zéro.

Ils ne sont pas tous produits de manière équivalente. De nombreuses entreprises exploitent un ensemble de systèmes qui gèrent la préparation des ressources d’entreprise (ERP), la gestion de la relation client (CRM) ou des fonctions opérationnelles spécialisées telles que les achats ou les RH. Ceux-ci fonctionnent sur différentes plates-formes de base de données, avec des conceptions d’informations incongrues. Si une entreprise utilise des systèmes mainframe, il est fort probable qu’elle gère des structures d’information obscures qui ne se combinent pas rapidement avec des données relationnelles contemporaines.

Cela rend l’intégration hétérogène particulièrement importante. Cela nécessite de se connecter à plusieurs sources et cibles d’informations, y compris des bases de données transactionnelles telles que SAP, Oracle, IBM Db2 et Salesforce. Il indique la fourniture d’informations de streaming en temps réel à des plates-formes telles que Databricks, Kafka, Snowflake, Amazon DocumentDB et Azure Synapse Analytics.

Automatisation CDC en temps réel

Pour piloter l’intelligence artificielle (IA ) et des analyses avancées, les entreprises ont besoin de presser leurs données sur une plate-forme MDS typique. Cela implique d’ingérer des détails provenant de diverses sources, de les modifier pour les adapter à un modèle combiné d’analyse et de les transmettre à une plate-forme de données moderne basée sur le cloud.

La technologie de capture de données modifiées fonctionne comme un lien vital dans le chaîne de valeur basée sur les données – d’abord en automatisant la consommation d’informations à partir des systèmes sources, puis en les transformant à la volée et en les livrant à une plate-forme de données cloud. L’automatisation CDC en temps réel garantit que les détails idéaux parviennent immédiatement à l’emplacement idéal.

Puisqu’ils se concentrent uniquement sur les informations qui ont réellement changé, les pipelines CDC en continu offrent d’énormes avantages en termes de performances par rapport aux opérations en mode batch du passé. Les meilleurs services CDC peuvent fournir plus de 100 téraoctets de données de la source à la cible en moins de trente minutes, sans aucune perte de données.

Le passage au cloud computing est bien avancé. L’analyse cloud, en particulier, offre des avantages distincts aux entreprises qui comprennent vraiment la fonction transformationnelle de l’information. Les principales entreprises de tous les marchés alignent leurs visions stratégiques autour de l’analyse de l’information. Ils numérisent leurs interactions avec les clients et utilisent des algorithmes pour étudier les informations, extraire des informations et agir. L’IA et l’apprentissage automatique consomment de grandes quantités d’informations, découvrent des connexions et identifient des anomalies.

Que vous ouvriez la voie aux perturbations numériques ou que vous essayiez simplement de rester à jour avec le pack, l’innovation CDC jouera un rôle central pour faire de la pile de données moderne une réalité et ouvrir la porte au numérique amélioration.

.

.

Toute l’actualité en temps réel, est sur L’Entrepreneur

LAISSER UN COMMENTAIRE

S'il vous plaît entrez votre commentaire!
S'il vous plaît entrez votre nom ici