Les données ne se trouvent pas dans une base de données, un système de fichiers, un lac de données ou un référentiel. Les informations développées dans un système d’enregistrement doivent répondre à plusieurs exigences de service, s’intégrer à d’autres sources de données, puis être utilisées pour l’analyse, les applications orientées client ou les flux de travail internes. Voici quelques exemples :
- Les données d’une application de commerce électronique sont intégrées à l’analyse des utilisateurs, aux données client dans un système de gestion de la relation client (CRM) ou à d’autres sources d’informations principales pour développer des sections client et personnaliser messages marketing.
- Les informations des capteurs Web of Things (IoT) sont liées aux magasins d’informations opérationnelles et financières et utilisées pour gérer le débit et rendre compte de la qualité d’un processus de production.
- Un ouvrier L’application de workflow relie les informations et les outils à travers plusieurs plates-formes de logiciel en tant que service (SaaS) et sources d’informations internes dans une interface mobile facile à utiliser.
De même sur L’Entrepreneur : Comment les opérations de données améliorent les informations, les analyses et l’apprentissage automatique]
De nombreuses organisations ont également des scientifiques de l’information, des experts en données et des groupes d’innovation qui ont considérablement besoin d’intégrer des sources de données internes et externes. Les chercheurs en données développant des conceptions prédictives contiennent généralement de nombreuses sources de données externes telles que l’économétrie, les conditions météorologiques, le recensement et d’autres informations publiques, puis les mélangent avec des sources internes. Les équipes de développement testent le besoin d’un système expert d’agréger des sources de données volumineuses et souvent compliquées pour former et évaluer leurs algorithmes. Et les analystes de l’organisation et de l’information qui effectuaient autrefois leurs analyses dans des feuilles de calcul peuvent désormais avoir besoin d’outils plus sophistiqués pour charger, joindre et traiter plusieurs flux de données.
Combinaisons d’informations sur les émissions et les scripts
Pour tous même avec des compétences en programmes standard, la méthode la plus courante pour déplacer des données de la source à la destination consiste à établir un bref script. Le code extrait les informations de plusieurs sources, effectue toutes les reconnaissances et contrôles de données essentiels et les pousse vers une ou plusieurs destinations.
Les concepteurs peuvent coder des intégrations de données point à point en utilisant de nombreuses approches, telles que :
- Une procédure stockée dans une base de données qui applique les modifications d’informations à d’autres systèmes de base de données
- Un script qui s’exécute comme une tâche planifiée ou un service
- Un webhook qui notifie un service lorsque l’utilisateur final d’une application modifie des informations
- Un microservice qui connecte les données entre les systèmes
- Un petit extrait de code de traitement de données déployé sur une architecture sans serveur
Ces procédures de codage peuvent extraire des données de plusieurs sources, s’inscrire, filtrer, nettoyer, valider, et transformer les informations avant de les transmettre aux sources d’informations de localisation.
Le script peut être une technique rapide et facile pour déplacer des informations, mais il est exclu qu’il s’agisse d’une technique de traitement d’informations de niveau professionnel. Un script de traitement de données de classe production doit automatiser les actions nécessaires pour traiter et transporter les informations et gérer un certain nombre de besoins opérationnels.
les capacités de gestion des données de référence peuvent être des fonctions du plate-forme de combinaison de données, ou il peut s’agir d’éléments complémentaires que les développeurs peuvent interfacer à partir de pipelines d’informations.
Comment acheter une plate-forme de combinaison de données
La liste des capacités et des exigences de combinaison d’informations peut être intimidant de penser aux types de plateformes, au nombre de fournisseurs remplissant dans chaque domaine et aux termes experts utilisés pour classer les choix. Comment choisir la meilleure combinaison d’outils pour les besoins actuels et futurs de combinaison d’informations ?
La réponse de base est qu’il faut une certaine discipline. Commencez par faire le point sur les intégrations déjà utilisées, cataloguez les cas d’utilisation et procédez à l’ingénierie inverse des exigences sur les sources d’informations, les formats, les modifications, les points de localisation et les conditions de déclenchement. Certifier les exigences opérationnelles, comprenant les objectifs de niveau de service, les exigences de sécurité, les exigences de conformité et les exigences de validation des données. Pensez à inclure certains cas d’utilisation nouveaux ou émergents de grande importance pour l’organisation qui ont des exigences différentes des intégrations d’informations existantes.
Avec cette diligence raisonnable en main, vous pouvez probablement trouver des raisons suffisantes pour lesquelles les combinaisons de bricolage sont inférieures services et quelques conseils sur ce qu’il faut rechercher lors de l’évaluation des plates-formes de combinaison de données.
.
Toute l’actualité en temps réel, est sur L’Entrepreneur