Les limitations du logiciel utilisé dans la création de deepfakes signifient que beaucoup d’entre eux ne sont pas très bons pour recréer les vues de profil, selon une nouvelle analyse du créateur d’avatar Métaphysique.
La société a partagé sa découverte dans un article explorant certaines des vulnérabilités de la biométrie faciale par rapport aux deepfakes vidéo.
Pendant ses tests, les artistes de Metaphysic ont travaillé avec Bob Doyle, animateur d’une émission YouTube sur l’échange de visages et la technologie deepfake, qui a utilisé DeepFaceLive (logiciel DeepFaceLab de diffusion en direct) pour changer son apparence en celle de certaines célébrités.
La plupart des résultats des tests semblent indiquer que les recréations étaient assez convaincantes, même à des angles assez aigus. Cependant, lorsque l’angle du visage a atteint 90 degrés, l’image s’est déformée, révélant la vulnérabilité de l’algorithme.
« Il est également évident que les vrais linéaments de profil de Bob survivent entièrement au processus de deepfake pour tous ces modèles », écrit Metaphysic.
Selon les initiés de l’IA, ces limitations viennent du fait que Facial Alignment Network< /a>, le logiciel généralement utilisé pour estimer les poses faciales dans les images de deepfakes, ne fonctionne pas de manière fiable aux angles aigus.
« En fait, la plupart des algorithmes d’alignement facial basés sur la 2D n’attribuent que 50 à 60 % du nombre de points de repère d’une vue de face à une vue de profil », selon l’article.
En outre, des recherches suggèrent que les packages d’alignement 2D utilisés dans la génération de deepfakes considèrent qu’une vue de profil est masquée à 50 %. Cet angle entrave non seulement la reconnaissance, mais affecte également négativement l’entraînement précis et la synthèse faciale ultérieure.
« Pour cette raison, malgré l’intervention manuelle et les divers processus de nettoyage qui peuvent être utilisés, les prises de vue de profil pures sont susceptibles d’être moins cohérentes dans le temps que la plupart des images des vidéos extraites. »
L’analyse métaphysique mentionne également un manque général de disponibilité de photos de profil pour entraîner les deepfakes.
« Les photographes combattront une foule pour leur échapper ; les éditeurs d’images ne peuvent pas les vendre (ou ne peuvent pas les vendre aussi bien qu’une « vraie » photo), et ce sont en général des représentations sans charme et prosaïques de nous que beaucoup d’entre nous reconnaîtraient à peine comme nous-mêmes. »
Exemple : les deepfakes les plus convaincants générés à ce jour sont ceux de stars de cinéma, qui disposent de centaines d’heures de séquences et d’innombrables photos de profil disponibles pour la formation à l’IA.
Détection de la vivacité et vues latérales
Malgré cela, a fait valoir Metaphysic, de nombreuses sociétés de logiciels biométriques ne demandent pas aux utilisateurs de faire des virages à 90 degrés par rapport à la caméra dans le cadre de leur processus de vérification de la détection de la vivacité.
Sensity est l’une de ces entreprises, qui a été interviewée par Metaphysic dans le cadre de l’étude.
« Les vues latérales du visage des personnes, lorsqu’elles sont utilisées comme une forme de vérification d’identité, peuvent en effet fournir une protection supplémentaire contre les deepfakes », a déclaré Giorgio Patrini, PDG de Sensity, à Metaphysic.
« Comme indiqué, le manque de données de vue de profil largement disponibles rend la formation des détecteurs de deepfake très difficile. »
Dans le même temps, Patrini a convenu que l’incitation à consulter le profil en tant que mesure anti-deepfake pendant les appels de vidéoconférence peut fonctionner comme une méthode anti-usurpation d’identité.
« En effet, une astuce pour effectuer une détection deepfake ‘à l’œil’ aujourd’hui est de vérifier si l’on peut repérer des artefacts de visage ou des scintillements pendant qu’une personne se tourne complètement sur le côté – où il est plus probable qu’un détecteur de repères de visage aurait échoué . »
Selon l’article de Metaphysic, une autre façon de créer une situation critique pour un modèle deepfake serait de demander à un appelant vidéo d’agiter la main devant son visage.
« [Le modèle] est susceptible de présenter une latence et une qualité de superposition médiocres sur le visage deepfake. »
Synthétiser les données de profil
En l’absence de suffisamment de données réelles pour former des deepfakes, les chercheurs se sont tournés vers des données synthétiques.
Metaphysic a mentionné un document de recherche appelé Dual-Generator Face Reenactment, publié par l’Université de Taipei plus tôt cette année.
Remarquablement, la majorité des exemples d’accompagnement de l’article s’arrêtent à environ 80 degrés, avec très peu d’images de profil à 90 degrés.
« Ce ne sont que quelques degrés, mais cela semble faire toute la différence, et y arriver de manière fiable et authentique ne serait pas une étape mineure pour un système de streaming deepfake en direct, ou les modèles qui l’alimentent », écrit Metaphysic.< /p>
Une amélioration de cette technologie InstantNeRF, mais selon Metaphysic « la résolution, la précision de l’expression et la mobilité restent des défis majeurs pour l’inférence à haute résolution. »
L’analyse Metaphysic conclut en mentionnant le récent avertissement du FBI concernant une potentielle fraude deepfake en direct et comment la communauté des chercheurs et ses efforts sont entravés par le fait qu’ils ne peuvent pas interagir avec le matériel sur lequel ils enquêtent.
Il existe un nombre croissant de solutions émergentes qui pourraient être appliquées comme couche de sécurité dans les appels vidéo », lit-on dans l’article.
Il s’agit notamment de mesurer l’éclairage du moniteur, d’intégrer les facettes d’une vidéo connue et fiable dans un système de détection et de comparer le contenu vidéo potentiellement falsifié à des traits biométriques connus, entre autres approches.
.
Toute l’actualité en temps réel, est sur L’Entrepreneur
