Titre :
Apprentissage autosupervisé efficace pour le traitement de la parole
Lieu: Amphi Blaise Pascal, CERI
Date: 10 Juillet 2026 à 13h00
Le jury sera composé de :
- Hung-yi LEE, Professeur — National Taiwan University (Rapporteur)
- Shinji WATANABE, Associate Professor — Carnegie Mellon University (Rapporteur)
- Marcely ZANON BOITO, Ingénieure de recherche — NAVER LABS Europe (Examinatrice)
- Elodie GAUTHIER, Ingénieure de recherche — Orange Innovation (Examinatrice)
- Benjamin LECOUTEUX, Professeur — Université Grenoble Alpes, LIG (Examinateur)
- Yannick ESTÈVE, Professeur — Avignon Université, LIA (Directeur de thèse)
- Titouan PARCOLLET, Chercheur — Samsung AI, Cambridge (Co-encadrant de thèse)
- Marco DINARELLI, Chargé de recherche — CNRS, LIG (Co-encadrant de thèse)
Résumé :
L’un des objectifs fondamentaux de l’intelligence artificielle est le développement de systèmes capables d’interagir avec les humains par la parole, notre forme de communication la plus naturelle. Ces dernières années, des progrès considérables ont été réalisés grâce à l’apprentissage auto-supervisé (SSL, self-supervised learning) —un paradigme d’apprentissage automatique dans lequel les cibles d’entraînement d’un modèle sont dérivées directement des données d’entrée elles-mêmes, réduisant ainsi la dépendance aux données annotées par des humains. Bien que les modèles de parole auto-supervisés aient atteint des performances de pointe dans diverses tâches—notamment la reconnaissance automatique de la parole, la vérification du locuteur et la traduction parole-texte—ils sont notoirement gourmands en ressources. Leur entraînement requiert d’immenses quantités de mémoire, des centaines de milliers d’heures d’audio, ainsi qu’un temps considérable, même sur des infrastructures de calcul haute performance.
Ces exigences en ressources constituent des obstacles majeurs, limitant le développement et le déploiement de tels modèles. De plus, même pour ceux disposant d’un accès suffisant à ces ressources, le coût prohibitif de l’entraînement restreint la liberté d’expérimentation et la possibilité d’explorer de nouvelles architectures ou de nouveaux objectifs d’apprentissage. Par ailleurs, la consommation énergétique importante inhérente à l’entraînement des modèles SSL à grande échelle soulève des préoccupations environnementales.
Cette thèse s’attaque à ces défis d’efficacité en traitement auto-supervisé de la parole en adoptant une approche holistique du développement de modèles. Nous nous intéressons à plusieurs dimensions de l’efficacité, notamment la durée du pré-entraînement, la vitesse d’inférence, les contraintes matérielles, les besoins en données et les méthodologies d’évaluation. Plus précisément, nous mettons d’abord en open source un cadre SSL pour la parole exceptionnellement efficace et performant : BERT-based Speech pre-Training with Random-projection Quantizer (BEST-RQ). Deuxièmement, nous proposons des modifications architecturales remplaçant le mécanisme inefficace de multi-head self-attention par des alternatives plus légères, tout en maintenant les performances. Troisièmement, nous étudions des méthodes de sélection de données permettant un pré-entraînement efficace avec seulement une fraction du volume initial de données. Quatrièmement, nous proposons de nouvelles méthodes d’évaluation non supervisées qui réduisent considérablement les besoins en ressources GPU et en jeux de données annotés lors de l’évaluation des modèles. Enfin, nous présentons une étude de cas sur le fongbé, une langue à faibles ressources du Bénin, dans laquelle notre approche atteint ou dépasse les performances de l’état de l’art tout en nécessitant 600 fois moins de données et une réduction d’un facteur 1 000 du coût de calcul, démocratisant ainsi l’apprentissage auto-supervisé pour les langues à faibles ressources.