Fivetran a annoncé l’autre jour la sortie d’une API développée pour déplacer les métadonnées du pipeline d’informations dans les catalogues d’informations. En contribuant à la boutique actuellement abondante de métadonnées incluses dans des brochures telles que Collibra, Alation et autres, l’API vise à améliorer la qualité de l’information et la gouvernance des données.
L’API de métadonnées est utile pour suivre les changements qui frappent l’information en vol, entre les systèmes source et cible. Il existe également une fonctionnalité permettant de déterminer les modifications qui se produisent dans les sources avant que les informations ne se déplacent, ce qui est important pour protéger la conformité réglementaire.
Selon Meera Viswanathan, superviseur principal des éléments Fivetran, un certain nombre de ces fonctionnalités dépendent du fait que « ce que l’API offre est le mappage de la colonne source à la colonne de destination ».
Elle a la possibilité d’identifier même des modifications infimes dans le schéma et conventions de nommage dans les tableaux. La correspondance de ces informations avec les diagrammes d’arbre généalogique des données permet d’effectuer une analyse afin que les entreprises puissent parfaitement comprendre les répercussions des modifications apportées des systèmes source aux systèmes cibles au moyen de pipelines de données.
« Les organisations n’étaient pas en mesure d’extraire aucune de ces informations dans le passé », a déclaré Viswanathan. « Ils avaient des informations, mais elles étaient extrêmement disparates. Ils pouvaient dire : voici quelques possessions de Fivetran. Cartographier les informations de la source à l’emplacement n’a jamais été possible dans le passé. »
Gouvernance des données
L’API de métadonnées convient aux entreprises disposant de workflows de gouvernance des données établis sur place, en particulier ceux liés à l’accès aux informations, à la confidentialité des données et au respect de la réglementation. En fournissant des métadonnées précises sur le parcours des données dans les pipelines, cette ressource élargit la présence et la surveillance requises pour la gouvernance des données dans ces canaux. En « aidant les clients à comprendre ce qui se passe dans le pipeline, ils peuvent ensuite mettre en œuvre les bonnes politiques », a commenté Viswanathan. « Je pense très fermement que la première phase de la gouvernance de l’information peut être appliquée est le pipeline, car l’information est au repos lorsqu’elle reste dans la source. »
Vers la fin de l’année, Fivetran devrait introduire capacités à l’API de métadonnées afin que les utilisateurs puissent identifier les changements de schéma avant même que les données ne soient déplacées. Si quelqu’un qui ne connaît pas les exigences de conformité d’un ensemble de données ajoute accidentellement une colonne PII à un ensemble de données, par exemple, les équipes de sécurité et de gouvernance peuvent observer ce changement dans les catalogues d’informations. Ils peuvent alors agir pour empêcher celui qui a modifié l’ensemble de données de déplacer les informations et de violer les exigences de conformité. « Si je vais désengorger une colonne ou obstruer une colonne qui reste dans la plate-forme, si je peux faire émerger ces informations dans un catalogue d’informations, où se trouve la majorité de notre équipe de gouvernance et de sécurité des données, ils peuvent empêcher cette demande d’aller à travers », a noté Viswanathan.
Qualité des données
L’API de métadonnées a également une quantité considérable de ramifications pour la qualité des informations. Bien que cela ne résolve pas la qualité de l’information en termes de maîtrise de l’information ou de la structure de composition des adresses dans les systèmes, par exemple, cela peut certainement ajouter à la crédibilité de l’information. Les analystes peuvent examiner les détails des ventes dans un entrepôt d’informations cloud et se demander d’où proviennent certains chiffres. Les détails du catalogue de données de l’API de métadonnées peuvent offrir toutes les informations nécessaires afin que les utilisateurs puissent répondre à cette préoccupation et déterminer si les chiffres eux-mêmes sont dignes de confiance. À cet égard, cela « vous aide à tracer cette ligne entre dire c’est ainsi que vos données ont été déplacées, c’est l’outil qui a été utilisé, ce sont les propriétaires dans le pipeline de l’information », a expliqué Viswanathan. « Ainsi, les gens peuvent alors commencer à cartographier ces détails de la source à la destination »
C’est un grand service lorsque les catalogues d’informations sous-jacents qui obtiennent ces métadonnées incluent des tableaux de lignage des données qui permettent aux utilisateurs d’imaginer avec succès ces informations et d’autres informations pertinentes . Viswanathan a décrit un cas d’utilisation dans lequel un analyste souhaitait examiner la qualité des données de base des chiffres de revenus dans Looker. Désormais, ils peuvent « extraire ces informations et les visualiser dans un arbre généalogique de bout en bout où vous pouvez voir que mon numéro de revenu est passé de cette colonne Salesforce à cette colonne de destination dans Snowflake », a déclaré Viswanathan. « Il a subi ces améliorations dans Snowflake et a ensuite été exposé dans Looker. Ainsi, vous pouvez réellement retracer vos informations jusqu’à leur source. »
Gestion des métadonnées
La gestion avisée des métadonnées a en fait toujours fait partie intégrante de la gouvernance de l’information et de la qualité des données. L’API de métadonnées de Fivetran étend ces dimensions de la gouvernance des données – et la présence sur laquelle elles reposent – dans des pipelines de données qui n’étaient auparavant pas transparents. Ce degré de transparence est utile pour de nombreux aspects de la gouvernance des données, de la conformité réglementaire aux contrôles d’accès et à la modélisation des données.
La mission de VentureBeat est d’être une place publique numérique permettant aux décideurs techniques d’acquérir une compréhension de l’innovation commerciale transformatrice et d’effectuer des transactions. Découvrez nos Rundowns.
.
Toute l’actualité en temps réel, est sur L’Entrepreneur
