jeudi, 28 mars 2024

Transformer le Big Data en de meilleures données avec MLOps

Au cours des années précédentes, le Big Data a été une force démesurée dans l’amélioration du fonctionnement des organisations. Alors que les données poursuivent leur expansion fulgurante – environ 59 zettaoctets ont été générés en 2020 – les services sont de plus en plus difficiles à agréger, comprendre et utiliser ces énormes fouillis de données. [1]

C’est là que les opérations d’intelligence artificielle (MLOps) entrent en jeu. Cette discipline émergente utilise l’automatisation pour accélérer la consommation de données et pour développer, tester, publier et afficher plus rapidement des conceptions d’intelligence artificielle (ML) dans le cloud qui utilisent le Big Data. . Prises ensemble, ces étapes constituent des pratiques de gouvernance qui aident à garantir l’intégrité des données tout au long de leur cycle de vie. [2]

Comme son prédécesseur DevOps, MLOps utilise des pipelines, des procédures et des outils d’avancement automatisés conçus pour améliorer la conception et la mise en œuvre des modèles d’apprentissage et des workflows de ML. L’exploitation des données est une partie cruciale du ML – et c’est une force des MLOps. Contrairement à DevOps, les MLOps peuvent mieux gérer le fonctionnement des données. MLOps n’est pas un algorithme, mais il opérationnalise l’algorithme pour rationaliser la procédure prédictive. MLOps permet les utilisations appropriées des algorithmes ML pour enseigner aux systèmes comment reconnaître et classer les informations aujourd’hui et « découvrir » de toutes nouvelles techniques plus efficaces pour le faire à l’avenir. Ces algorithmes de ML décisionnels aident les organisations à reconnaître les modèles qui prédisent les choix des consommateurs, reconnaissent les escroqueries, surveillent l’efficacité monétaire et réinventent l’expérience client, pour ne citer que quelques cas d’utilisation, et deviennent opérationnalisés avec MLOps.

Offert ces résultats potentiels, il n’est pas surprenant que les entreprises qui ont effectivement acheté le ML basé sur le cloud examinent de manière approfondie les MLOps pour activer, suivre et améliorer les conceptions de ML. Il s’agit d’une discipline naissante, mais le marché mondial des MLOps devrait atteindre près de 4 milliards de dollars d’ici 2025, contre 350 millions de dollars en 2019. [3]

Bien qu’il n’y ait pas de stratégie unique pour l’application des MLOps, La structure de fin se compose normalement de quatre éléments standard : la gestion des versions de la conception, la mise à l’échelle automatique, le suivi et la formation constants du modèle, ainsi que le recyclage et le redéploiement.

  • Versionner le modèle : C’est très Il est important que les organisations vérifient différents ensembles d’informations et algorithmes qui pourraient résoudre les mêmes problèmes d’organisation. La reproductibilité est cruciale, et la gestion des versions de chaque ensemble de données, algorithme et pipeline de consommation est nécessaire pour créer des résultats pouvant être répliqués.
  • Autoscaling : une fois déployée, la conception MLOps doit avoir la capacité d’évoluer rapidement vers le haut ou vers le bas selon les besoins. C’est essentiel, car les grandes organisations pourraient éventuellement développer des milliers de modèles de données.
  • Suivi de conception et formation constants : il est essentiel de surveiller en permanence les performances des modèles pour s’assurer qu’ils produisent des résultats précis . Cela est dû au fait que des facteurs externes tels que les conditions financières sont en constante évolution, ce qui peut rendre obsolètes les données utilisées dans le processus de formation préliminaire. La surveillance permet d’évaluer la sortie du modèle et de suivre progressivement la dérive et l’efficacité.
  • Recyclage et redéploiement : À mesure que la dérive de conception se produit, les services doivent être prêts à recycler la conception en utilisant de tout nouveaux données et ensuite les redéployer.

Il est difficile d’exagérer la valeur d’une préparation d’informations précise et standardisée lors de la préparation d’un effort MLOps. Le problème est que choisir et préparer correctement les meilleures données pour la formation et la modélisation ML est une initiative difficile pour la majorité des entreprises. Cela nécessite qu’ils identifient et convertissent les informations brutes et chaotiques dans un format ordonné et cohérent qui peut être utilisé dans tous les modèles. De plus, une méthodologie formelle de préparation des informations est nécessaire pour reproduire et versionner les modèles.

L’étape principale de la préparation des données consiste à reconnaître et à accéder aux données appropriées à utiliser dans les modèles et algorithmes d’apprentissage ML. Pour ce faire, les entreprises devront désigner des attributs d’informations qui sont des indicateurs significatifs pour atteindre les objectifs MLOps. Il est nécessaire de pouvoir partager des informations entre les équipes internes pour améliorer le partenariat et accélérer les cycles de développement. Cela nécessitera que les informations puissent être rapidement localisées, consultées, indexées et recyclées dans le cloud.

MLOps est un processus ouvert qui comprend un suivi constant, une évaluation des conceptions et une formation aux données. Le suivi continu est essentiel pour améliorer la visibilité sur l’efficacité et la précision des résultats du ML. La surveillance peut également aider à trouver et à gérer la dérive de conception, qui se produit lorsque les algorithmes de ML ne font plus de projections précises, ce qui est normalement dû à des modifications des informations ou des comportements des consommateurs.

Considérez, par exemple, un streaming vidéo service qui utilise ML pour anticiper les préférences d’un client. Un algorithme fournit une recommandation personnalisée de vidéos pour les clients individuels, tandis que MLOps surveille ce que les utilisateurs voient réellement. Si les abonnés ne cliquent pas sur une vidéo conseillée, le service de streaming devra modifier l’algorithme pour mieux persuader les utilisateurs d’apprécier les titres recommandés.

MLOps rationalise ce processus itératif en comparant l’action du client avec la suggestion, puis identifier, si nécessaire, comment corriger la réponse de l’utilisateur. Dans certains cas, les données de formation utilisées pour déterminer les suggestions des clients changent avec le temps. Dans d’autres, les goûts et les intérêts des utilisateurs peuvent changer en raison d’événements réels comme la crise du COVID-19. Dans tous les cas, le client peut trouver qu’une fois que les recommandations ponctuelles sont devenues extrêmement erronées. Si le système de personnalisation suggère un roman romantique à un fan inconditionnel des épopées de la Seconde Guerre mondiale, il y a peu de chances que l’utilisateur choisisse le tarif le plus léger. Ce qui peut diminuer l’entière satisfaction des clients et, en fin de compte, mettre en péril la réputation et les revenus.

MLOps est une procédure itérative et constante qui se développe au fil de l’expérimentation et du développement. Il est nécessaire d’explorer divers ensembles de données et algorithmes. Vous pourriez simplement découvrir des méthodes plus précises et rationalisées pour résoudre le problème commercial. Une attitude qui accueille les essais et les erreurs et le concept « d’arrêter de travailler rapidement » peuvent aider à améliorer la connaissance des machines et les capacités MLOps tout en accélérant le temps de développement.

Pour les entreprises qui se noient dans un déluge de Big Data, MLOps peut aider à opérationnaliser les données essentielles qui pourraient avoir un impact sur l’algorithme de ML ou son modèle sous-jacent. Dans cette méthode, les MLOP aident à couper le son du Big Data pour générer les bonnes données, en fonction de leur relation avec la conception ML, pour atteindre des performances fonctionnelles, une productivité et une innovation supérieures en matière d’IA. Les MLOps peuvent aider à améliorer et à opérationnaliser l’apprentissage des algorithmes de ML et, certainement, l’ensemble du processus de ML. Alors que le Big Data a longtemps été une première étape cruciale dans la formation des conceptions d’IA/ML, les MLOps aident désormais à améliorer le réglage durable de ces conceptions de ML sur la base d’interactions réelles.

[1] IDC, mai 2020

[2] Deloitte, 10 décembre 2020

[3] Deloitte, 15 décembre 2020

.

Toute l’actualité en temps réel, est sur L’Entrepreneur

LAISSER UN COMMENTAIRE

S'il vous plaît entrez votre commentaire!
S'il vous plaît entrez votre nom ici