Malgré des gains significatifs de précision de correspondance biométrique dans les systèmes de reconnaissance faciale dans tous les groupes démographiques au cours des nombreuses années précédentes, même mesurer l’ampleur du problème de prédisposition reste un obstacle, comme une série de professionnels a informé le public de l’événement virtuel «Group Fairness in Biometric Systems» de l’Association européenne de biométrie (EAB).
Lors de la session de mi-mars de l’événement, Margherita Natali du Bureau de lutte contre le terrorisme des Nations Unies a parlé du rôle de la biométrie dans la gestion de la sécurité aux frontières, le Compendium des Nations Unies sur les meilleures pratiques recommandées pour l’utilisation et le partage de la biométrie, et les obstacles aux systèmes surround, y compris la reconnaissance faciale, émergeant du COVID-19. Elle a mis l’accent sur une approche fondée sur les droits de l’homme pour l’utilisation de la biométrie dans les contrôles aux frontières.
Aythami Morales a fourni une approche de l’intelligence artificielle à partir de représentations préservant la confidentialité. Il a également révélé la possibilité d’améliorer la précision pour tous les groupes en exécutant des pratiques d’IA responsables qui réduisent la prédisposition.
Vincent Despiegel d’Idemia a passé en revue les moyens d’atténuer la prédisposition, y compris l’équilibrage des bases de données d’entraînement, tout en découvrant également la fonction de perte appropriée .
Patrick Grother du NIST a discuté des travaux de l’entreprise sur les écarts de marché, dont le prochain rapport devrait sortir en mai 2021.
Des informations résumées sur les distinctions de performance du groupe pourraient être inclus dans un onglet de classement NIST FRVT à l’avenir, dit Grother. En utilisant l’exemple d’un algorithme Idemia qui a réduit les faux rejets de 13% en 2017 à 0,4% en 2021, il a expliqué les gains spectaculaires de la précision de la reconnaissance faciale au cours des 4 dernières années.
Décrivant la genèse des enquêtes du NIST en prédisposition à la biométrie du visage, Grother a évalué le début de la controverse avec les études de recherche ‘Continuous Line-up’ et ‘Gender Tones’, et l’approche de l’Institut pour quantifier le problème.
« Ce que nous voulions faire est de mettre une unicité dans les métriques qui sont incluses », dit-il. « Si quelqu’un affirmait que la reconnaissance faciale était biaisée, qu’est-ce que cela signifiait? Est-ce que cela avait à voir avec des faux positifs ou des négatifs incorrects ou un échec d’enregistrement? S’agissait-il de systèmes un-à-un? Systèmes un-à-plusieurs? »
La méthode typique pour comprendre ce test, qui consiste à comparer le taux de fausses non-concordances à un taux de fausses approbations déterminé par la politique, est fausse, a informé Grother les participants à l’occasion. Plutôt qu’un taux de fausses concordances réparé, «nous devons signaler une limite réparée pour un algorithme». Des distinctions dans le taux de correspondance incorrect et le taux de non-correspondance incorrect ont lieu, mais ne sont pas affichées dans les statistiques d’un FMR particulier.
La procédure de définition de seuil pour la biométrie du visage semble provenir de pratiques de correspondance d’empreintes digitales, observe Grother, Cependant, des études du NIST sur les effets de l’âge sur la biométrie du visage en 2017 ont montré les limites de cette technique, qui est fondamentalement aveugle aux distinctions démographiques.
Le test actuel de distinction de groupe a révélé que les individus ne sont généralement pas appariés avec d’autres de Cependant, différentes parties du monde sont plus susceptibles d’être mal interprétées pour quelqu’un de la même partie du monde. De plus, les Européens sont beaucoup moins susceptibles de se tromper par les algorithmes avec d’autres provenant exactement de la même région, par rapport aux personnes d’autres régions du monde. Un algorithme de pointe de NTechLab montre des FMR d’environ 1 sur 33 000 pour les Européens, mais 1 sur 1 000 seulement pour les Nigérians et 1 sur 500 pour les Coréens. D’autres algorithmes ont montré moins de faux positifs, suggérant la valeur de diverses informations d’entraînement, mais certains ont révélé des prédispositions encore plus grandes.
Les différentiels FNMR sont plus petits, cependant Grother conclut que tous les algorithmes ont des différentiels de marché, et pour le moment , ils effectuent systématiquement moins de précision pour les femmes.
Les travaux de l’Idiap sur une étape d’équité biométrique basée sur les pires différences entre FMR et FMNR font progresser le domaine, recommande Grother, avec un «taux de disparité d’équité» déterminé entre 0 et 1, 1 représentant le meilleur équilibre de précision entre les données démographiques. Le NIST a en fait établi une « mesure de l’inégalité » qui génère un ratio, mais plus d’informations sont nécessaires pour créer des procédures fiables pour le FNMR en raison du degré élevé d’imprévisibilité des taux d’erreur, et des travaux supplémentaires sont nécessaires pour signaler la prédisposition dans les algorithmes 1: N .
Un certain nombre de développeurs ont commencé à s’attaquer au problème comme l’avait prévu le NIST lors de la publication de son rapport, déclare Grother, bien que beaucoup ne l’aient pas fait.
L’évaluation de l’EAB sur l’équité du groupe en biométrie s’est poursuivie aujourd’hui avec les discussions de Yevgeniy Sirotin et John Howard du Maryland Test Center, pour ne nommer que quelques professionnels du monde entier, alors profitez de cet espace pour la couverture continue de L’Entrepreneur .
Toute l’actualité en temps réel, est sur L’Entrepreneur
