Les bases de données sont compétentes pour insérer, mettre à jour, interroger et effacer des données et représenter l’état actuel des données. Les développeurs comptent sur la cohérence des données afin que les API puissent effectuer les bonnes affaires et que les applications puissent obtenir des enregistrements précis. Parmi les autres consommateurs d’informations, citons les spécialistes de l’information développant des modèles d’apprentissage automatique et les spécialistes des données de personne créant des visualisations de données.
Interrogez une base de données SQL ou NoSQL pour savoir à quoi ressemblaient les données 2 jours plus tôt et vous devrez peut-être vous fier aux images de la base de données. ou des fonctions exclusives pour obtenir cette vue. Les instantanés et les sauvegardes peuvent être assez bons pour que les concepteurs ou les chercheurs en information comparent des ensembles d’informations plus anciens, mais ils ne sont pas des outils adéquats pour suivre la façon dont les informations ont été modifiées.
Participez à l’enquête 2021 Information & Analytics de L’Entrepreneur vos réflexions et votre maîtrise des investissements, stratégies et défis axés sur les données]
Il existe de nombreux facteurs intéressants pour en savoir plus sur la manière dont les personnes et les systèmes modifient les données. Il est très important d’avoir la capacité de répondre à des préoccupations telles que:
- Qui ou quelle procédure de service a modifié les informations?
- Quel outil ou quelle innovation a fait le changement?
- Comment les données ont-elles été modifiées? A-t-il été modifié par un algorithme, un flux de données, un appel d’API ou une personne entrant des informations dans un type?
- Quelles ont été les modifications apportées aux enregistrements, documents, nœuds, champs ou caractéristiques?
- Quand la modification a-t-elle été apportée et, si elle a été effectuée par une personne, où était-elle géographiquement?
- Pourquoi la modification a-t-elle été effectuée? Quel était le contexte?
Le lignage des informations décrit
Le lignage des données est composé de méthodologies et d’outils qui exposent le cycle de vie des données et aident à répondre aux questions sur qui, quand, où , pourquoi et comment les informations sont modifiées. Il s’agit d’une discipline dans la gestion des métadonnées et est généralement une capacité en vedette des catalogues de données qui permettent aux clients d’informations de comprendre le contexte des informations qu’ils utilisent pour la prise de décision et d’autres fonctions de service.
Une méthode pour discuter la lignée d’information est que c’est le GPS de l’information qui fournit «des directions étape par étape et un résumé visuel du chemin complètement cartographié». D’autres considèrent le lignage d’informations comme une pratique de base des datagovops, où le lignage d’informations, les tests et les bacs à sable sont des pratiques techniques et des chances d’automatisation de la gouvernance de l’information.
L’enregistrement et la compréhension de l’arbre généalogique des informations sont très importants pour plusieurs raisons:
nécessaire pour que les sociétés de négoce sur les marchés financiers prennent en charge les réglementations BCBS 239 et MiFID II. Pour les grandes banques, l’automatisation de l’extraction de l’arbre généalogique à partir des systèmes sources peut faire gagner un temps informatique considérable et réduire les menaces. Dans les essais scientifiques pharmaceutiques, la norme ADaM nécessite une traçabilité entre l’analyse et les informations sources. D’autres réglementations, y compris le règlement général sur la protection des données (RGPD), la loi sur la défense des informations personnelles et les documents électroniques (PIPEDA) et la loi californienne sur la confidentialité des consommateurs suivre les informations privées et délicates.
Une culture axée sur les données: les organisations développant des programmes de science de l’information citoyenne, établissant des panneaux de contrôle d’indicateurs de performance clés, gérant un environnement hybride BI (intelligence organisationnelle), et prendre d’autres mesures pour devenir des entreprises axées sur les données peut facilement surmonter les difficultés de l’arbre généalogique des données. Lorsque les informations financières d’un panneau de contrôle changent considérablement, il y a fort à parier que les dirigeants veulent savoir ce qui a causé le changement. La science de l’information sur les personnes et les autres programmes de BI en libre-service sont difficiles à démarrer si les spécialistes du domaine ne se fient pas aux informations. Les outils de lignage de données les aident à mieux comprendre les sources de données, les flux et les directives concernant les informations qu’ils interrogent, rapportent ou structurent des visualisations d’informations. maîtriser les centres d’information ou acheter la gestion des données de base Ces approches incluent généralement l’arbre généalogique de l’information comme une capacité à offrir de la transparence sur les règles d’organisation et les changements. Les exemples de cas d’utilisation consistent à développer des capacités client 360, à mettre à l’échelle des programmes de marketing numérique, à se concentrer sur les efforts d’expérience du consommateur, à optimiser les magasins de commerce électronique et à produire de la transparence dans les chaînes d’approvisionnement.
Analyse et apprentissage automatique: Le lignage des données est également important pour prendre en charge les modèles et le cycle de vie de l’apprentissage automatique. La capture et l’analyse du lignage des informations peuvent aider à déterminer quand des informations suffisamment nouvelles ou modifiées nécessitent un recyclage des modèles et une réduction de la dérive des modèles. Il est tout aussi important de suivre le cycle de vie complet du modèle, car les modèles de connaissance du fabricant sont souvent des intrants pour les services, les applications et les analyses en aval.
À mesure que de plus en plus d’organisations achètent des informations, des analyses et de l’apprentissage automatique, l’arbre généalogique des données devient un pratique de gouvernance de l’information progressivement cruciale. Alors que les exigences réglementaires poussent certaines entreprises à développer les capacités de l’arbre généalogique des données, d’autres recherchent l’ouverture du traitement des données et certaines considèrent l’arbre généalogique des informations comme une compétence de base dans l’égalisation des données et de l’analyse. Le lignage des données peut améliorer la procédure de service
Voici quelques exemples de la manière dont les entreprises utilisent les pratiques et les outils de l’arbre généalogique des informations dans des processus organisationnels vitaux.
Une banque a multiplié par 80 son efficacité et conservé plus de 1 million de dollars pour la finition de la lignée des informations dans 100 applications.
Le secret du succès peut être de définir des préoccupations et de définir des objectifs raisonnables, en particulier pour les organisations disposant de nombreuses sources d’informations, de technologies et de modèles d’utilisation.
Exemples de familles d’informations capacités de l’arbre
Une méthode pour penser à l’arbre généalogique de l’information consiste à utiliser des diagrammes de circulation montrant comment les nouvelles données et les changements dans les principales sources de données circulent à travers divers systèmes et impactent les composants d’information acquis. Par exemple, un client appelle le service client pour demander un changement d’adresse, et le lignage des informations révèle la circulation des données vers d’autres systèmes mis à jour avec la toute nouvelle adresse.
La méthode la plus courante pour utiliser les outils de lignage des informations consiste à examiner une circulation inversée d’informations. Par exemple, si une projection de vente est modifiée, les responsables des ventes peuvent évaluer toutes les modifications de l’aspect informationnel ajoutées à la nouvelle projection.
À l’intérieur des catalogues de données, l’arbre généalogique des données est un outil de documents crucial pour tous les participants qui produisent, intendant et évaluer les données. Le lignage des données aide à établir une compréhension commune du contexte de calcul de toute dimension ou étape. Un point de départ avec les catalogues d’informations consiste à capturer les sources de données ou la provenance des informations, puis à utiliser des outils pour suivre le lignage des informations.
La brochure de données de la province Azure suit l’arbre généalogique source-cible, y compris la famille au niveau des colonnes arbre. Google Cloud Data Blend montre les changements au niveau de l’ensemble de données et au niveau du champ pour les pipelines fonctionnant sur cette plate-forme d’intégration d’informations.
Le défi dans la réalisation de l’arbre généalogique des données est que les organisations qui ont le plus à tirer parti de l’ouverture de la lignée de données et les capacités de diagnostic sont également susceptibles d’avoir des outils de gestion, de traitement et d’analyse des informations plus hétérogènes.
Lorsque les installations de stockage de données, les lacs de données, les services de combinaison d’informations et les plates-formes d’analyse fonctionnent sur plusieurs clouds, alors des brochures de données multicloud et les capacités de lignage sont requises. Les plates-formes complètes qui promeuvent les capacités de l’arbre généalogique de l’information incluent Alex Solutions, ASG, Ataccama, Alation, Boomi, Collibra, DataKitchen, Erwin, IBM, Infogix, Informatica, Manta, Microsoft, Octopai, Oracle, SAP, SAS, Talend et autres. Il existe également un certain nombre de solutions de lignage d’informations open source.
OpenLineage a l’intention de créer des exigences pour prendre en charge l’arbre généalogique des données sur toutes les plateformes. Des initiatives qui créent des exigences d’exécution, des procédures d’interopérabilité et des capacités d’intégration multiplateformes sont nécessaires pour accroître l’adoption du lignage des informations et d’autres pratiques de gouvernance de l’information.
En pensant à la rapidité avec laquelle les informations commerciales se développent, l’entreprise en vaut la peine. les capacités d’intelligence artificielle et la réglementation croissante des données, de plus en plus d’entreprises devront redoubler d’efforts pour mettre en œuvre des capacités de gouvernance et de lignage de données.
.
Toute l’actualité en temps réel, est sur L’Entrepreneur
