l’Université de Trente et Eurecat Center Tecnològic ont mis au point une toute nouvelle méthode d’intelligence artificielle capable d’effectuer un apprentissage non supervisé de fonctionnalités pour la reconnaissance des émotions multimodales (MER).
Le système, détaillé dans un article récent, repose sur 4 sous-réseaux qualifiés non surveillés, traitant chacun un type particulier d’informations : textuelles, visuelles (images faciales et repères) et acoustiques. Les sous-réseaux sont utilisés pour l’apprentissage contrastif par paires.
En d’autres termes, il peut intégrer la biométrie faciale et vocale au texte pour identifier les émotions des personnes.
Les auteurs ont utilisé différentes bases pour chaque modalité, selon une étude de l’état de l’art pour mettre en œuvre le modèle le plus adapté à chaque type de données.
En conséquence, l’algorithme MTCNN a été choisi pour la biométrie faciale, par exemple, et TCN pour la biométrie vocale.
En termes de bases de données utilisées pour les expérimentations, les les scientifiques ont choisi RAVDESS pour la reconnaissance vocale et CMU-MOSEI pour la reconnaissance faciale.
« Le succès de [MER] repose principalement sur le paradigme de l’apprentissage supervisé », explique le rapport.
« Cependant , l’annotation des informations est coûteuse, prend du temps, et comme l’expression et la compréhension des émotions dépendent d’un certain nombre de facteurs (tels que l’âge, le sexe, la culture), il est difficile d’obtenir des étiquettes avec une grande fiabilité. »
Pour éviter ces inquiétudes, les chercheurs se concentrent sur le fait de ne pas être surveillés pour découvrir le MER.
Cette approche, selon les auteurs, est la toute première tentative dans la littérature MER. « Notre méthode de découverte de fonctions de bout en bout présente plusieurs différences (et avantages) par rapport aux techniques MER existantes. »
La méthode est sans supervision, ce qui indique qu’elle peut être pratique sans annotation de données. Deuxièmement, il n’a pas besoin d’augmentation spatiale des informations, de positionnement de méthode, de nombreuses tailles de lots ou de dates. Troisièmement, il applique la fusion de données uniquement au raisonnement et, enfin, il ne nécessite pas de backbones pré-formés sur les tâches de reconnaissance des émotions.
« Les expériences sur des ensembles de données de référence montrent que notre approche surpasse un certain nombre de techniques de base et ne pas être surveillé en connaissant les approches appliquées dans MER », vérifie l’article.
En outre, étant une approche d’apprentissage des fonctionnalités non surveillée, l’équipe pense que la technique proposée est transférable à d’autres domaines sans recyclage.
p>
« L’approche proposée conserve les mêmes appariements de méthodes pour toutes les données (comme les sentiments), et la méthode par laquelle nous découvrons les caractéristiques accorde une importance égale à chaque méthode », conclut le rapport.
« Une option pourrait être d’avoir différentes méthodes d’appariement pour différentes classes de sentiments. Cela sera étudié plus en détail dans le cadre de travaux futurs. »
L’étude de recherche sur la reconnaissance des sentiments est un sujet brûlant, même au-delà de la communauté universitaire. En mai, l’American Bar Association a recommandé d’accueillir l’IA psychologique comme outil pour améliorer l’efficacité de la salle d’audience et du marketing.
Toute l’actualité en temps réel, est sur L’Entrepreneur
