Principal Llm Inference Engineer H/F Atos
- Sophia-Antipolis - 06
- CDI
- Secteur informatique • ESN
- Exp. 7 ans min.
À noter sur ce job
Vous avez ces compétences ? Cliquez dessus pour les ajouter rapidement à votre profil !
Les missions du poste
*
Serving et Runtime des modèles : Concevoir et optimiser la plateforme de serving basée sur vLLM, configurer le parallélisme selon l'architecture du modèle et l'interconnexion de l'infrastructure cible, et installer/maintenir llm-d pour l'inférence distribuée et désagrégée (préremplissage/décodage désagrégés, routage conscient du cache KV).
*
Cycle de vie et pipelines multimodaux : Maîtriser le cycle de vie des modèles en plateforme (versioning, déploiement progressif, rollback) y compris en environnements isolés, et servir des pipelines multimodaux (audio temps réel, STT, TTS, OCR) ainsi que des services d'embedding et de reranking (bases vectorielles comme Milvus).
*
Fiabilité, Observabilité et Benchmarking : Instrumenter la couche de serving avec Prometheus et Grafana (métriques GPU et par token, logs structurés, traçabilité), mettre en place des déploiements canary/blue-green avec portes d'évaluation automatisées, et mener des campagnes de benchmarking structurées pour suivre et réduire le coût par token et la latence de queue.
*
Support Avant-Vente et Dimensionnement : Fournir des données de dimensionnement et de performance défendables pour appuyer les activités d'avant-vente, les appels d'offres et la planification de capacité.
Le profil recherché
*
Expérience : Solide parcours (généralement 7+ ans d'expérience en ingénierie avec un temps significatif dédié au serving de modèles ML/AI) dans la construction et l'exploitation d'inférences LLM en production.
*
Compétences techniques clés : Expérience pratique démontrée des plateformes de serving de modèles natives Kubernetes et de l'inférence distribuée (idéalement llm-d ou une pile équivalente comme Dynamo).
*
Architecture des modèles : Compréhension fine des architectures de modèles open-weight courantes (Mistral, Llama, Qwen, Kimi, DeepSeek, GPT-OSS, Gemma) et de leur impact sur les performances de serving (MoE, MTP, Sparse Attention, MLA).
*
Soft skills : Capacité avérée à communiquer des idées complexes en anglais, à l'écrit comme à l'oral, face à des interlocuteurs techniques et commerciaux.
Compétences techniques et outils principaux :
*
Langages et développement : Python avancé (profiling, async, FastAPI) et Go.
*
Moteurs et piles d'inférence : vLLM, llm-d, SGLang, TensorRT-LLM, NVIDIA Dynamo, et gestion des architectures distribuées/désagrégées (préremplissage/décodage séparés, routage KV-cache).
*
Plateforme et conteneurisation : Kubernetes, Docker, Helm, KServe, opérateurs GPU.
*
Matériel et infrastructures : Clusters GPU NVIDIA et AMD, NVLink, interconnexions haute vitesse (InfiniBand / RoCE), systèmes type NVL72.
*
Optimisation de modèles : Techniques de quantification (FP8, NVFP4, AWQ, GPTQ), formats (Safetensors) et maîtrise des architectures de modèles (MoE, MTP, Sparse Attention, MLA).
*
Observabilité et Benchmarking : Prometheus, Grafana, outils de tracing distribué, et suites de benchmarks (MLPerf Inference, GenAI-Perf, vLLM benchmarks).
Infos complémentaires
Ce poste à portée "staff-to-principal" combine une influence architecturale transversale et une direction technique concrète délivrée par de l'ingénierie hands-on, en étroite collaboration avec les équipes Data, Services IA, Agents, Foundation, ainsi que le matériel, l'avant-vente et le delivery. L'impact attendu est direct : réduction mesurable du coût par token et de la latence de queue, et industrialisation de déploiements fiables et sécurisés (environnements connectés et isolés/air-gapped).
Atos en images
Publiée le 03/09/2026 - Réf : 550741 44417766