Une ébauche du NIST Face Acknowledgment Supplier Test (FRVT) Part 8 : Summarizing Group Differentials a été publiée pour commentaires, avec le entreprise à la recherche de méthodes pour améliorer sa mesure des variations de précision biométrique entre groupes de sujets.
Une grande partie du document est consacrée à l’explication de diverses données utilisées pour mesurer le biais, ainsi que les avantages et les restrictions de diverses façons de le faire. Le rapport précédent sur les différentiels démographiques, FRVT Partie 3, montrait de très faibles différentiels entre les algorithmes les plus précis, mais des variations substantielles en général.
Il y a trois étapes appelées « Critères de mesure d’équité fonctionnelle (FFMC) », suggéré par John Howard, Eli Laird, Yevgeniy Sirotin, Rebecca Rubin, Jerry Tipton et Arun Vemury du Maryland Test Facility. Le NIST en inclut deux autres, mais trouve qu’aucun n’est complètement adapté pour révéler clairement les résultats des tests.
Le NIST explore également comment gérer les comparaisons entre les valeurs de faible taux d’erreur. Cela inclut des difficultés telles que la façon d’empêcher de recommander qu’un algorithme qui renvoie un taux d’erreur proche de zéro pour un groupe et un taux d’erreur encore faible, mais relativement plus élevé pour un autre, est pire qu’un algorithme qui est moins précis pour les deux.
L’étape « Max/GeoMean » est déterminée comme le principal prospect et fournie dans les résultats des tests publiés.
Les résultats des fournisseurs sont partagés par le NIST, avec un taux de faux non-match optimal (FNMR) et taux de faux appariement (FMR) chacun comparé aux taux moyens géométriques. Un résultat de 1 indique une parité correspondante. Les résultats FNMR Max/GeoMean sont presque tous entre 1 et 2, tandis que FMR Max/GeoMean fait varier toute la méthode d’un peu plus de 6 à plus de 300.
La future étude de recherche du NIST utilisera le même type de test à 1 : N (identification) des systèmes biométriques, et une exigence ISO reste en cours d’avancement.
Corsight revendique le leadership dans la réduction des biais
Corsight AI a atteint un taux de fausse correspondance équivalent pour les hommes et sujets féminins entre les groupes de test noir et blanc, selon une annonce commerciale.
L’algorithme de la société a obtenu un FNMR Max/GeoMean de 1,01 et un FMR Max/GeoMean de 20,63 dans la mise à jour de juillet 2022 des résultats des tests.
Le NIST utilise également des algorithmes de Corsight, Clearview AI, CUbox, DeepGlint, Idemia, NtechLab et Paravision comme exemples dans une comparaison des taux d’erreur avec diverses données démographiques par rapport aux sujets d’Europe de l’Est.
« Nous sommes ravis du fait qu’il s’agit d’une autre avancée dans la lutte contre les affirmations selon lesquelles les préjugés nuisent à l’effet qualité de l’innovation en matière de reconnaissance faciale », remarque Tony Porter, directeur de la confidentialité de Corsight. « L’argument selon lequel l’application logicielle de reconnaissance faciale n’est pas capable d’être raisonnable est figé dans le temps et l’efficacité de la dernière soumission de Corsight le montre. »
Toute l’actualité en temps réel, est sur L’Entrepreneur
