vendredi, 29 mars 2024

Problèmes pratiques d’équité biométrique, norme ISO à venir explorée dans le webinaire EAB

De nouvelles rides sur la question de la prédisposition biométrique, l’avancement des exigences pour l’évaluer et les techniques d’évaluation et de réduction de celle-ci ont été partagées lors de la troisième journée de présentations dans le cadre de l’événement organisé récemment par l’EAB sur l’équité démographique dans les systèmes biométriques.

Yevgeniy Sirotin, enquêteur privé principal et superviseur du laboratoire des sciences de l’identité et des données de SAIC au Maryland Test Facility (MdTF), qui a fourni les résultats d’une étude de recherche menée par une équipe qu’il a dirigée avec Arun Vemury sur «Variation du marché dans l’efficacité des systèmes biométriques: informations acquises à partir du dépistage de scénarios à grande échelle.»

La présentation commence par une évaluation du dépistage de la situation, qui est ce qui est effectué au MdTF, et est par rapport au criblage technologique (tel qu’effectué par le NIST, par exemple). La méthode et la réflexion associées aux tests de situation peuvent aider à «poser des questions» autour de l’équité dans l’utilisation des algorithmes, recommande Sirotin au début.

Des préoccupations ont été soulevées quant à l’équité des performances du système, car la biométrie l’a en fait été déployé dans les aéroports et dans d’autres contextes, mais en tant que nouveau déploiement, peu d’informations sont en fait facilement disponibles pour quantifier ces préoccupations. Des tests tels que les rassemblements DHS organisés à MdTF recueillent des commentaires sous la forme d’enquêtes auprès des participants pour évaluer la satisfaction complète des utilisateurs, ainsi que l’efficacité algorithmique, et grâce à des évaluations répétées au fil du temps, peuvent donner un aperçu des réponses à ces préoccupations, dit Soritin.

Les documents MdTF ont actuellement vérifié le rôle de l’acquisition d’images dans les distinctions démographiques dans l’efficacité du système, et l’influence de la démographie sur les estimations du taux de fausse correspondance (FMR) pour les systèmes de reconnaissance faciale, comparé les distinctions entre le visage commercial et l’iris systèmes biométriques dans la différence de performance pour différentes races et sexes, et vérifié l’introduction de prédispositions cognitives aux examinateurs humains par les résultats des algorithmes.

Dans un test de circonstance à haut débit sans surveillance des systèmes biométriques du visage effectué pendant la pandémie, MdTF a constaté que de nombreux mélanges de systèmes d’acquisition d’images et de dispositifs de correspondance respectaient le taux d’identification réel (TIR) ​​de 95% après le test. pour tous les groupes raciaux. Le système médian a reconnu 93 pour cent des personnes dans l’ensemble, et le meilleur système a correctement déterminé cent pour cent des participants. La majorité des erreurs n’ont pas été commises par des algorithmes, mais au stade de l’acquisition de l’image.

Dans une deuxième partie du test, les personnes ont conservé les masques qu’ils avaient effectivement apportés de chez eux pendant qu’elles traversaient le système. Cela a révélé que pour les personnes utilisant des masques faciaux, les systèmes commerciaux de reconnaissance faciale ne correspondaient systématiquement pas aux Noirs en plus des autres groupes, avec une plus grande différence à la fois pour capturer des photos d’individus noirs utilisant des masques et pour les faire correspondre. Le mélange le plus performant de système d’acquisition d’images et d’algorithme a cessé de fonctionner pour atteindre l’objectif TIR de 95% pour les Noirs portant des masques, ce qui suggère qu’il n’est peut-être pas approprié pour une situation à haut débit.

Changer les conditions du Les opérations des systèmes peuvent rendre un système autrefois équitable déraisonnable, souligne Sirotin.

Il a également parlé de situations d’identification de liste de surveillance, qui ont des exigences de succès très diverses, car de fausses correspondances défavorables peuvent avoir des répercussions si importantes.

Le type d’erreurs commises par les systèmes de reconnaissance faciale est intrinsèquement différent de la biométrie des empreintes digitales ou de l’iris; ‘mais pourquoi?’ Demande Sirotin. La façon dont les gens reconnaissent les visages, qui s’est avérée être associée à une activité dans des endroits spécifiques du cerveau, pourrait influencer la méthode de la même manière que nous pensons que la reconnaissance faciale doit fonctionner.

La discussion explore l’impact de peu de distinctions dans le taux de faux appariements pour les individus d’une race ou d’un sexe spécifique par rapport à des ensembles de données de composition démographique variée, et révèle que les risques d’une reconnaissance de faux positifs peuvent être inégaux en fonction de la structure de l’ensemble de données. Par conséquent, des taux d’erreur égaux au sein d’un groupe ne garantiront pas à eux seuls les personnes contre un traitement inégal par les systèmes biométriques, même si cela est accompli.

Normes ISO et mesures d’évaluation

Jacob Hasselgren et John Howard, également du MdTF, a discuté des développements actuels de la norme ISO 19795-10 pour déterminer l’efficacité à travers les groupes de marché. Les scientifiques sont rédacteurs de la norme et ont été ajoutés à un rapport technique ISO sur «l’effet différentiel du marché considère l’efficacité du système de reconnaissance biométrique», qui a été approuvé pour publication en janvier de cette année.

La norme ISO 19795 La série offre une structure pour le criblage et l’examen des systèmes biométriques, et la partie 10 en cours de préparation utilise des variations d’efficacité à travers les groupes de marché. Le projet initial devrait être terminé cet été et la version finale devrait être publiée en 2023 ou 2024.

La présentation détaille la portée, les difficultés actuelles et les statistiques qui seront utilisées pour examiner la biométrie systèmes d’efficacité avec différents groupes. D’autres obstacles à l’élaboration de la norme sont les limites des classifications de groupe comme «  Noir  » ou «  Asiatique  », qui peuvent expliquer les personnes d’origines ethniques très diverses et regrouper des individus avec une couleur de peau très variée, et même comment évaluer l’égalité analytique .

Tiago de Freitas Pereira de l’Idiap Research Study Institute a examiné «comment évaluer les différentiels de marché à différents niveaux dans les pipelines biométriques».

Différentes approches d’évaluation des différentiels démographiques ont en fait été utilisées, y compris les mesures de l’aire sous la courbe (AUC), mais Pereira mentionne que ces approches supposent des politiques différentes pour la FMR pour diverses données démographiques, et pourraient potentiellement masquer certains biais. Au lieu de cela, il propose un «taux d’incohérence d’équité».

Il s’agit d’un concept similaire, déclare-t-il, à la «procédure d’injustice» expliquée par Patrick Grother lors de la précédente session du webinaire sur l’EAB.

Une technique pour «couvrir» les fonctions de notation est proposée par Pereira, soit au moment du test ou de l’entraînement de l’algorithme, et ses avantages et inconvénients sont évoqués.

.

Toute l’actualité en temps réel, est sur L’Entrepreneur

LAISSER UN COMMENTAIRE

S'il vous plaît entrez votre commentaire!
S'il vous plaît entrez votre nom ici