Phd Modèles Neuronaux Sémantique Haut Niveau et Signaux Paralinguistiques H/F Orange

Contexte
La voix irrigue aujourd'hui l'expérience client et le travail collaboratif : hotlines, boutiques, réunions, visioconférences. Ce gisement recèle bien plus que la simple transcription. Les approches Speech-LLMs de bout en bout (E2E) ont montré, dans certaines configurations (pré-entraînement massif, finetuning), une sensibilité réelle au signal parlé. Cependant, cette exploitation demeure souvent opportuniste, peu contrôlée, en particulier pour les indices paralinguistiques (prosodie, intensité, pauses, rires) qui véhiculent identité, intention, certitude, ou ironie.
3 défis structurent le sujet. D'abord, capter et utiliser ces indices de façon explicite et mesurable, au-delà des cascades (ASR+LLM), et des E2E actuels qui n'en tirent pas encore tout le bénéfice. Ensuite, raisonner sur de très longs contextes : les conversations alternent sujets, locuteurs et références croisées, requérant mémoire, structuration temporelle et désambiguïsation (coréférences, implicites).
Chez Orange, des cas d'usage concrets : résumés de réunions orientés décisions, analyse d'alignement/contradiction entre contenu et ton, assistants vocaux plus naturels et sûrs. Côté marché, Sosh opère déjà un assistant vocal speech-to-speech, illustrant l'adoption à plus large échelle de ce type d'approches.
Objectifs et verrous
Unifier sémantique de haut niveau et signaux paralinguistiques pour " comprendre au-delà des mots ", tout en gérant de longs contextes. Résultat attendu : des modèles et protocoles d'évaluation exploitant la richesse du signal parlé et mesurant les gains sur des cas d'usage sémantiques (résumé, suivi d'état, intentions, ironie/toxicité) en environnement multi-locuteurs et bruité.
3 sous-objectifs :
Mesurer l'apport paralinguistique. Définir des protocoles isolant sa contribution (avec/sans, contre-factuels via édition prosodique, ablations). Verrous : disponibilité/qualité des annotations, normalisation inter-locuteurs, robustesse au bruit.
Représenter et intégrer les signaux. Apprendre un espace commun audio-texte orienté concepts, reliant contenu linguistique et indices paralinguistiques, interrogeable par un modèle de compréhension. Verrous : alignement multimodal, généralisation hors domaine, contrôle de l'attention aux indices.
Gérer le long contexte (segmentation, hiérarchies, compression, architectures). Verrous : coût calcul/inférence, dérive mémorielle, traçabilité.