SLG

Titre: Traduction de la parole vers la parole expressive La soutenance aura lieu le jeudi 27 mars à 13h15 dans l’amphithéâtre Blaise situé dans le batiment du CERI. Cette soutenance se déroulera en français. Abstract :Cette thèse explore la préservation de l’expressivité dans la traduction automatique parole vers parole (speech-to-speech translation — S2ST), sans recours au texte en tant que représentation intermédiaire. L’objectif est de développer un système capable de transférer non seulement le contenu linguistique, mais également les caractéristiques émotionnelles et expressives de l’énoncé source vers la langue cible.L’approche développée s’articule autour de deux composantes. Premièrement, l’utilisation d’unités discrètes de parole, extraites de modèles auto-supervisés, permettant de capturer efficacement le contenu phonétique. Deuxièmement, un encodeur multilingue d’émotions, ayant pour objectif d’extraire des caractéristiques expressives indépendantes de la langue. Ces représentations sont ensuite intégrées dans le processus de synthèse vocale afin de conditionner la génération de celle-ci. Jury :Anthony Larcher, PR à LIUM, Le Mans Université, RapporteurDamien Lolive, PR à IRISA, Université de Vannes, RapporteurLoïc Barrault, Docteur à Meta AI, ExaminateurFethi Bougares, Docteur à Elyadata, ExaminateurMarie Tahon, PR à LIUM, Le Mans Université, ExaminatriceMarcely Zanon-Boito, Docteur à NAVER LABS EUROPE, ExaminatriceYannick Estève, PR à LIA, Avignon Université, Directeur de thèseTitouan Plus d'infos

Titre: Analyse et compréhension de l’évaluation des systèmes de reconnaissance automatique de la parole : vers des métriques intégrant la perception humaine Date: 17 janvier à 14h00Lieu: Amphithéâtre du bâtiment 34, LS2N, Campus Lombarderie, 2 chemin de laHoussinière 44000 Nantes. Cette soutenance se déroulera en français. Abstract : De nos jours, le taux d’erreur mot reste la métrique la plus utiliséepour évaluer les systèmes de reconnaissance automatique de la parole(RAP). Toutefois, cette métrique présente des limites en matière decorrélation avec la perception humaine et ne se concentre que sur lapréservation de l’orthographe. Dans cette thèse, nous proposons desmétriques alternatives qui peuvent évaluer l’orthographe, mais aussi lagrammaire, la sémantique ou la phonétique. Pour analyser la capacité de ces métriques à refléter la qualité destranscriptions du point de vue des utilisateurs, nous avons constitué unjeu de données nommé HATS, annoté par 143 sujets francophones. Chaqueannotateur a examiné 50 triplets, composés d’une transcription deréférence manuelle et de deux hypothèses issues de différents systèmesde RAP, afin de déterminer quelle hypothèse était, selon eux, la plusfidèle. En calculant le nombre de fois où une métrique est d’accord avec leschoix des annotateurs, on obtient une mesure de sa corrélation avec laperception humaine. Ce corpus permet ainsi Plus d'infos

Date: lundi 21 octobre 2024 à 14h00  lieu: salle des thèses sur le campus Hannah Arendt. Le lien de visio-conférence est le suivant: https://bbb.univ-avignon.fr/rooms/vtj-xje-xex-gyw/join .  Le jury sera composé de : Dr Aurélie Clodic, LAAS-CNRS,  RapporteurePr Julien Pinquier, Université de Toulouse, IRIT, RapporteurPr Laurence Devillers, Sorbonne Université, LISN-CNRS, ExaminatricePr Olivier Alata, Université Jean Monnet, Laboratoire Hubert Curien, ExaminateurPr Fabrice Lefèvre, Avignon Université, LIA, Directeur de thèseDr Bassam Jabaian, Avignon Université, LIA, Co-encadrant Titre : L’interaction humain-robot multimodale proactive dans un cadre hospitalier Dans cette thèse, nous nous concentrons sur la création d’un système multimodal proactif pour le robot social Pepper, destiné à une salle d’attente d’hôpital. Pour ce faire, nous avons développé une architecture cognitive d’interaction humain-robot, fondée sur une boucle continue de perceptions, de représentation et de décision. Le flux de perceptions se divise en deux étapes : d’abord, la récupération des données des capteurs du robot, puis leur enrichissement grâce à des modules de raffinage. Un module de raffinage de diarisation du locuteur, basé sur une modélisation bayésienne de la fusion des perceptions audio et visuelles par coïncidence spatiale, a été intégré. Pour permettre une action proactive, nous avons conçu un modèle analysant la disponibilité des utilisateurs à une Plus d'infos

Date:  Jeudi 24 octobre à 15h  Lieu: salle des thèses sur le campus Hannah Arendt.   Vous pouvez également y assister à distance si vous le souhaitez grâce au lien suivant : https://v-au.univ-avignon.fr/live/bbb-soutenance-these-l-druart-24-octobre-2024/.   Title : Towards Contextual and Structured Spoken Task-Oriented Dialogue Understanding Abstract : Accurately understanding users’ requests is key to provide smooth interactions with spoken Task-Oriented Dialogue (TOD) systems. Traditionally such systems adopt cascade approaches which combine an Automatic Speech Recognition (ASR) component with a Natural Language Understanding (NLU) one. Yet, those systems still have trouble to accurately map complex user’s request with their internal representation. Recent work highlights potential directions to improve those systems. On the one hand, end-to-end approaches have successfully enhanced Spoken Language Understanding (SLU) system’s performance. Indeed, they provide more robust and accurate predictions by leveraging joint optimization and paralinguistic information. On the other hand, textual datasets propose fine-grained semantic representations. Such representations seem more adequate to represent user’s complex requests. This thesis explores both directions towards contextual and structured spoken task-oriented dialogue understanding. We first conduct a preliminary study dedicated to getting the grips of SLU in the context of TOD. We designed a cascade approach to perform spoken Dialogue State Tracking (DST) on MultiWOZ. Our approach ranked Plus d'infos