vendredi, 19 août 2022

Un bon ML s’accompagne d’une grande responsabilité : 5 questions clés sur le développement de modèles

La croissance rapide des capacités de machine learning (ML) a entraîné une explosion de son utilisation. Les modèles de traitement du langage naturel et de vision par ordinateur qui semblaient farfelus il y a dix ans sont désormais couramment utilisés dans de nombreux secteurs. Nous pouvons créer des modèles qui génèrent des images complexes de haute qualité à partir d’invites jamais vues auparavant, fournissez réponses textuelles cohérentes avec juste une simple graine initiale, ou même < a rel="nofollow noopener" target="_blank" href="https://blog.google/technology/ai/lamda/">mener des conversations totalement cohérentes. Et il est probable que nous ne faisons qu’effleurer la surface.

Cependant, à mesure que ces modèles deviennent plus performants et que leur utilisation se généralise, nous devons être conscients de leurs conséquences imprévues et potentiellement dangereuses. Par exemple, un modèle qui prédit la solvabilité doit s’assurer qu’il ne discrimine pas certaines données démographiques. Un moteur de recherche basé sur le ML ne devrait pas non plus renvoyer uniquement les résultats d’image d’un seul groupe démographique lorsqu’il recherche des photos de dirigeants et de PDG.

Le ML responsable est une série de pratiques visant à éviter ces pièges et à garantir que les systèmes basés sur le ML tiennent leurs intentions tout en atténuant les conséquences imprévues ou nuisibles. À la base, une IA responsable nécessite réflexion et vigilance tout au long du processus de développement du modèle pour vous assurer d’obtenir le bon résultat.

Pour vous aider à démarrer, nous avons répertorié une série de questions clés à vous poser au cours du processus de développement du modèle. Réfléchir à ces invites et répondre aux préoccupations qui en découlent est essentiel pour créer une IA responsable.

< /span>1. Le système de ML que j’ai choisi est-il le mieux adapté à cette tâche ?

Bien qu’il soit tentant d’opter pour la solution automatisée de bout en bout la plus puissante, celle-ci peut parfois ne pas convenir à la tâche. Il y a des compromis à prendre en compte. Par exemple, alors que les modèles d’apprentissage en profondeur avec un grand nombre de paramètres ont une grande capacité d’apprentissage de tâches complexes, ils sont beaucoup plus difficiles à expliquer et à comprendre par rapport à un modèle linéaire simple où il est plus facile de cartographier l’impact des entrées sur les sorties. Par conséquent, lors de la mesure du biais du modèle ou lorsque vous travaillez pour rendre un modèle plus transparent pour les utilisateurs, un modèle linéaire peut être parfaitement adapté s’il a une capacité suffisante pour votre tâche à accomplir.

De plus, dans le cas où votre modèle présente un certain niveau d’incertitude dans ses sorties, il sera probablement préférable de garder un humain dans la boucle plutôt que de passer à une automatisation complète. Dans cette structure, au lieu de produire une seule sortie/prédiction, le modèle produira un résultat moins binaire (par exemple, plusieurs options ou scores de confiance) et s’en remettra ensuite à un humain pour faire l’appel final. Cela protège contre les résultats aberrants ou imprévisibles, ce qui peut être important pour les tâches sensibles (par exemple, le diagnostic du patient).

2. Est-ce que je collecte des données représentatives (et est-ce que je les collecte de manière responsable) ?

Pour atténuer les situations dans lesquelles votre modèle traite certains groupes démographiques de manière injuste, il est important de commencer avec des données d’entraînement exemptes de biais. Par exemple, un modèle formé pour améliorer la qualité d’image doit utiliser un ensemble de données de formation qui reflète les utilisateurs de tous les tons de peau pour s’assurer qu’il fonctionne bien sur l’ensemble de la base d’utilisateurs. L’analyse de l’ensemble de données brutes peut être un moyen utile de trouver et de corriger ces biais dès le début.

Au-delà des données elles-mêmes, leur source compte également. Les données utilisées pour la formation des modèles doivent être collectées avec le consentement de l’utilisateur, afin que les utilisateurs comprennent que leurs informations sont collectées et comment elles sont utilisées. L’étiquetage des données doit également être effectué de manière éthique. Souvent, les ensembles de données sont étiquetés par des évaluateurs manuels qui reçoivent des montants marginaux, puis les données sont utilisées pour former un modèle qui génère un profit significatif par rapport à ce que les évaluateurs ont été payés en premier lieu. Des pratiques responsables garantissent un salaire plus équitable pour les évaluateurs.

3. Est-ce que je (et est-ce que mes utilisateurs) comprennent le fonctionnement du système de ML ?

Avec des systèmes de ML complexes contenant des millions de paramètres, il devient beaucoup plus difficile de comprendre comment une entrée particulière correspond aux sorties du modèle. Cela augmente la probabilité de comportements imprévisibles et potentiellement dangereux.
L’atténuation idéale consiste à choisir le modèle le plus simple possible qui réalise la tâche. Si le modèle est encore complexe, il est important d’effectuer un ensemble robuste de tests de sensibilité pour se préparer à des contextes inattendus sur le terrain. Ensuite, pour s’assurer que vos utilisateurs comprennent réellement les implications du système qu’ils utilisent, il est essentiel de mettre en œuvre une IA explicable afin d’illustrer comment les prédictions du modèle sont générées d’une manière qui ne nécessite pas d’expertise technique. Si une explication n’est pas réalisable (par exemple, révèle des secrets commerciaux), proposez d’autres voies de rétroaction afin que les utilisateurs puissent au moins contester ou avoir leur mot à dire dans les décisions futures s’ils ne sont pas d’accord avec les résultats.

4. Ai-je correctement testé mon modèle ?

Pour vous assurer que votre modèle fonctionne comme prévu, rien ne remplace les tests. En ce qui concerne les questions d’équité, le facteur clé à tester est de savoir si votre modèle fonctionne bien dans tous les groupes de votre base d’utilisateurs, en veillant à ce qu’il n’y ait pas d’injustice intersectionnelle dans les sorties du modèle. Cela signifie collecter (et tenir à jour) un ensemble de tests de référence qui reflète avec précision votre base, et effectuer régulièrement des recherches et obtenir des commentaires de tous les types d’utilisateurs.

5. Ai-je le bon suivi en production ?

Le développement de modèles ne s’arrête pas au déploiement. Les modèles ML nécessitent une surveillance et un recyclage continus des modèles tout au long de leur cycle de vie. Cela protège contre les risques tels que la dérive des données, où la distribution des données en production commence à différer de l’ensemble de données sur lequel le modèle a été initialement formé, provoquant des prédictions inattendues et potentiellement dangereuses. Une bonne pratique consiste à utiliser une plate-forme de gestion des performances du modèle pour définir des alertes automatisées sur les performances du modèle en production, vous aidant à réagir de manière proactive au premier signe d’écart et à effectuer une analyse des causes profondes pour comprendre le moteur de la dérive du modèle. Surtout, votre surveillance doit être segmentée en différents groupes au sein de votre base d’utilisateurs pour garantir que les performances sont maintenues pour tous les utilisateurs.

En vous posant ces questions, vous pouvez mieux intégrer des pratiques d’IA responsables dans votre cycle de vie MLOps. L’apprentissage automatique en est encore à ses débuts, il est donc important de continuer à chercher et à en apprendre davantage ; les éléments répertoriés ici ne sont qu’un point de départ sur votre chemin vers une IA responsable.

.

.

Toute l’actualité en temps réel, est sur L’Entrepreneur

LAISSER UN COMMENTAIRE

S'il vous plaît entrez votre commentaire!
S'il vous plaît entrez votre nom ici