La BI rencontre la science des données dans Microsoft Fabric

L’entreprise moderne est alimentée par l’information, rassemblant les informations provenant de toute l’organisation et utilisant des outils d’analyse de service pour fournir des réponses à toutes les questions pertinentes. Ces outils donnent accès à des détails en temps réel, en plus d’utiliser des données historiques pour proposer des prévisions des tendances futures basées sur l’état actuel de l’entreprise.

Ce qui est essentiel pour fournir cet outil, c’est de disposer d’une couche de données typique. dans toute l’entreprise, générant de nombreuses sources différentes et fournissant un emplacement unique pour interroger ces informations. Une couche d’informations typique, ou « structure informationnelle », fournit à l’entreprise une norme de faits qui peut être utilisée pour notifier la prise de décision à court et à long terme, alimentant à la fois les vues immédiates du tableau de bord et les modèles d’intelligence artificielle qui aident à identifier les deux. modèles et problèmes.

Structure à partir du lac de données

Il n’était pas surprenant de voir Microsoft regrouper un grand nombre de ses outils d’analyse de données sous la marque Microsoft Fabric, avec un mélange de données relationnelles et non relationnelles stockées dans des lacs d’informations hébergés dans le cloud et gérées avec des Lakehouses. S’appuyant sur le format de table Delta open source et le moteur Apache Spark, Material prend d’énormes concepts de données et les rend accessibles à la fois aux langages de programmation classiques et aux outils d’analyse plus personnalisés, comme les expéditions de données visuelles et le moteur d’enquête complexe fourni par Power BI.

Les premières versions préliminaires de Microsoft Fabric étaient concentrées sur la création de lacs de données et de lacs d’informations qui sont essentiels à la création d’applications à grande échelle basées sur les données. De nombreux efforts seront nécessaires pour que votre patrimoine informationnel soit dans la forme requise pour un projet de cette envergure. Il est important de terminer cette ingénierie de l’information avant de commencer à créer des applications plus complexes à partir de vos données.

Ajouter la science de l’information à l’ingénierie des données

Alors que le service Material reste en avant-première , Microsoft a en fait continué à inclure de toutes nouvelles fonctions et outils. Les mises à jour les plus récentes résolvent le problème du concepteur, en ajoutant l’intégration avec des outils et services de conception familiers, des fonctionnalités qui vont au-delà de l’essentiel d’un ensemble d’API REST. Ces nouveaux outils apportent Material aux data scientists, connectant les ensembles d’informations Power BI à la plateforme de science de l’information existante d’Azure.

Power Question dans Power BI fait partie des outils les plus cruciaux de la plateforme d’analyse d’informations de Microsoft. Peut-être la meilleure idée en tant qu’extension des outils de tableau croisé dynamique dans Excel, Power Question est un moyen de découper de grandes quantités d’informations sur plusieurs sources et d’extraire des données pertinentes rapidement et rapidement. La clé de ses capacités réside dans DAX, Data Analysis Expressions, un langage de requête pour l’analyse de l’information qui fournit les outils nécessaires pour filtrer et affiner les données.

Il existe ensuite la toute nouvelle fonctionnalité de lien sémantique de Microsoft Fabric, qui offre un pont entre ce monde centré sur les données et les outils de science des données fournis par des langages comme Python, utilisant les API familières de Pandas et Apache Spark. En ajoutant ces toutes nouvelles bibliothèques à votre code Python, vous pouvez utiliser le lien sémantique depuis les blocs-notes pour développer des modèles d’apprentissage automatique dans des outils d’IA comme PyTorch. Vous pouvez ensuite utiliser vos informations Power BI avec n’importe lequel des nombreux outils d’analyse numérique de Python, vous permettant ainsi d’appliquer une analyse complexe à des ensembles de données.

Il s’agit d’une avancée cruciale, intégrant la science des données dans des outils et des cadres d’avancement familiers, depuis des deux côtés. Vous pouvez utiliser le lien sémantique pour permettre aux deux équipes de faire équipe plus efficacement. L’équipe BI peut utiliser des outils tels que DAX pour développer ses ensembles de données de rapports, qui sont ensuite liés aux blocs-notes et aux modèles utilisés par le groupe des sciences de l’information, garantissant ainsi que les deux groupes travaillent constamment avec les mêmes données et les mêmes modèles.

Utilisation d’un lien sémantique dans les espaces de travail Material

L’API Python de lien sémantique utilise des techniques Pandas familières. À partir de ces approches, vous pouvez découvrir et lister les ensembles de données et les tables produits par Power BI, et consulter le contenu des tables. S’il existe des étapes associées, vous pouvez composer du code pour les évaluer, puis exécuter DAX à partir de votre code Python.

Vous pouvez utiliser les outils Python de base pour configurer la bibliothèque de liens sémantiques, telle qu’elle est proposée par Pip. référentiel de modules. Dès que la bibliothèque est remplie dans votre bureau Python, tout ce que vous avez à faire est d’importer sempy.fabric pour accéder à vos informations hébergées par Fabric, puis de l’utiliser pour extraire des données à utiliser dans votre code Python. Comme vous travaillez dans le contexte de votre environnement Material, aucune authentification supplémentaire n’est nécessaire au-delà de votre connexion Azure. Lorsque vous restez dans votre espace de travail, vous pouvez créer des blocs-notes et charger des données.

Le package de liens sémantiques est un méta-package composé de plusieurs plans différents qui peuvent être configurés individuellement si vous préférez. Une partie utile du package est un ensemble de fonctions qui vous permettent d’utiliser les informations sur les matériaux comme géodonnées, vous permettant ainsi d’inclure rapidement des informations géographiques dans vos cadres Fabric et d’utiliser les outils géographiques de Power BI dans les rapports.

Une fonctionnalité utile pour quiconque travaille avec des liens sémantiques dans un bloc-notes interactif a la possibilité d’exécuter du code DAX directement, en utilisant la syntaxe interactive iPython. Semblable à la composition du code Python, vous devrez installer la bibliothèque dans votre environnement avant de conditionner sempy en tant que module externe. Vous pouvez ensuite utiliser la commande %x pour exécuter les commandes DAX et voir le résultat. Cette méthode fonctionne bien pour tester les données hébergées par Fabric, où les experts en information et les chercheurs travaillent ensemble dans exactement le même bloc-notes.

Les requêtes DAX peuvent être exécutées directement à partir de Python, avec le evaluate_dax fonction. Pour l'utiliser, appelez la fonction avec le nom de l'ensemble de données et une chaîne contenant votre question. Vous pouvez ensuite analyser l'objet de données résultant et l'utiliser dans le reste de votre application.