L’une des étapes les plus critiques de tout pipeline d’apprentissage automatique fonctionnel (ML) est le service de système expert (IA), une tâche normalement effectuée par un moteur de service d’IA.
Les moteurs de service d’IA évaluent et traduisez les données dans la base de connaissances, gérez la version du modèle et affichez les performances. Ils représentent un tout nouveau monde dans lequel les applications pourront tirer parti des innovations de l’IA pour améliorer l’efficacité fonctionnelle et résoudre des problèmes de service considérables.
Bonnes pratiques
J’ai travaillé avec Redis Les consommateurs de laboratoires comprennent mieux leurs obstacles à la mise en production de l’IA et comment ils doivent concevoir leurs moteurs de service d’IA. Pour vous aider, nous avons en fait développé une liste des meilleures pratiques:
Diffusion rapide de bout en bout
Si vous prenez en charge des applications en temps réel, vous devez garantir que l’inclusion de la fonctionnalité AI dans votre pile aura peu ou pas d’effet sur les performances de l’application.
Pas de temps d’arrêt
Comme chaque accord inclut potentiellement une certaine IA traitement, vous devez maintenir un
SLA de base constant, idéalement un minimum de cinq-neuf (99,999%) pour les applications critiques, en utilisant des systèmes testés tels que la duplication, la persistance des informations, la multi-disponibilité zone / rack, Active- Géodistribution active, sauvegardes de routine et récupération automatique des clusters.
Poussées par le comportement des utilisateurs, de nombreuses applications sont conçues pour une utilisation maximale cas, du Black Friday au grand match. Vous avez besoin de la polyvalence nécessaire pour étendre ou faire évoluer le moteur de diffusion de l’IA en fonction de vos charges prévues et actuelles. Assistance pour de nombreuses plates-formes Votre Le moteur de service d’IA doit avoir la capacité de servir des conceptions d’apprentissage en profondeur formées par des plates-formes de pointe telles que TensorFlow ou PyTorch. En outre, les conceptions d’apprentissage automatique telles que la forêt aléatoire et la régression linéaire offrent toujours une excellente prévisibilité pour de nombreux cas d’utilisation et devraient être prises en charge par votre moteur de service IA. Facile à déployer, tout nouveau designs La plupart des entreprises souhaitent avoir le choix de mettre à jour régulièrement leurs créations en fonction des modèles du marché ou d’exploiter de nouvelles opportunités. La mise à jour d’une conception doit être aussi transparente que possible et ne doit pas affecter les performances de l’application. Surveillance de l’efficacité et recyclage Tout le monde doit savoir dans quelle mesure la conception formé est performant et a la capacité de l’ajuster en fonction de sa performance dans la vie réelle. Assurez-vous d’exiger que le moteur de service AI aide les tests A / B pour comparer la conception à un modèle par défaut. Le système doit également fournir des outils pour classer l’exécution de l’intelligence artificielle de vos applications. Publier partout Pour la plupart, il est préférable de construire et de s’entraîner dans le cloud et avez la possibilité de servir partout où vous en avez besoin, par exemple: dans le cloud d’un fournisseur, sur de nombreux clouds, sur site, dans des clouds hybrides ou à la périphérie. Le moteur de service d’IA doit être indépendant de la plate-forme, basé sur l’innovation open source, et avoir une conception d’implémentation populaire qui peut fonctionner sur des processeurs, des GPU avancés, des moteurs puissants et même un appareil Raspberry Pi.
