Leurs méthodes semblent permettre de créer une haute résolution vidéo deepfake d’une image utilisant presque n’importe qui comme modèle de mouvement, ou automobiliste, et une seule image de l’image à fabriquer.
Les chercheurs sont du Samsung AI Center à Moscou ; l’Institut des sciences et de l’innovation de Skolkovo, également à Moscou ; et Yandex, une société russe de services Internet.
Ils expliquent leur développement comme « la création unique d’avatars humains haute résolution, appelés images mégapixels, ou MegaPortraits ». Il s’agit d’un ensemble de nouvelles architectures neuronales et de formations qui diffusent des vidéos haute résolution.
C’est accrocheur, mais en aucun cas indétectable.
En d’autres termes, les vidéos, les automobilistes portant peu de similitude apparente avec l’image source à animer, regardez vers le haut, le bas, la gauche et la droite ; mots de la bouche; sourire et incliner la tête.
Le résultat est, par exemple, une Joconde animée et la star américaine Brad Pitt créées en temps réel. Le mouvement du deepfake est aussi fluide que celui du conducteur. Les étincelles réalistes dans les yeux et les fonctions faciales comme les pommettes hautes (dans la source d’Angelina Jolie) qui sont subtiles ou inexistantes dans l’image source sont particulièrement significatives.
Dans une vidéo accompagnant leur document de recherche, le groupe félicite sur le réalisme qu’ils développent autour des yeux, délivrant une forte approximation de l’émotion authentique – et ils ont raison de le faire.
Les vêtements et les épaules, admettent-ils, ont besoin de travail. Les épaules ressemblent à celles que l’on voit sur les marionnettes et les vêtements flottent et ondulent de manière irréaliste.
Les arrière-plans ont besoin de travail, ce qui est étrange. Les algorithmes produisent des angles et ne sont pas inclus dans les sources. Ainsi, lorsque la tête d’un avatar se déplace, elle doit être suffisamment basique pour générer des fonctions raisonnables. Au lieu de cela, une ombre grise tachetée se forme et se fige à l’emplacement.
La proportionnalité en souffre également. Les visages de Pitt et Jolie sont volumineux et caoutchouteux autour du menton et du front. Et dans quelques portraits de deepfake, les dents blanc-blanc ne bougent pas côte à côte avec les mouvements de tête des chauffeurs.
Chaque échantillon de deepfake dure quelques secondes et est silencieux, des limitations qui ne resteront sans doute pas pour longue.
Toute l’actualité en temps réel, est sur L’Entrepreneur
