Llmops & Observability Engineer H/F

collectivite

Information importante

Type de contrat: Freelance

Taux journalier : 500 - 600

Localisation : Annecy, France

Date de démarrage :

2 à 4 semaines

Mode de travail : Hybride

Publié le : 6 juillet 2026

Le besoin

Voici la fiche de poste mise à jour, en gardant l'anonymat de l'entreprise tout en valorisant son secteur d'activité (l'équipement sportif et l'outdoor), ce qui est un excellent argument d'attractivité pour les candidats.

Titre suggéré : Ingénieur(e) MLOps / LLMOps - Plateforme IA (TypeScript / AWS) - H/F

Le Contexte

Notre client, une marque internationale de référence dans le secteur de l'équipement sportif et de l'outdoor, met en place une nouvelle équipe d'experts dédiée à l'Intelligence Artificielle afin d'industrialiser les pratiques d'ingénierie IA au sein de sa DSI.

Cette entité est structurée autour de deux pôles : une équipe "Plateforme" chargée de bâtir l'infrastructure mutualisée, et une équipe "Enablement" chargée d'accompagner les équipes produit et développement dans l'intégration autonome de cas d'usage IA. L'ambition est d'atteindre une capacité IA mesurable et scalable sur l'ensemble du cycle de développement logiciel (SDLC) d'ici six mois.

Dans le cadre de cette création de pôle, vous rejoignez l'équipe Plateforme en tant que référent(e) de l'infrastructure d'observabilité et d'évaluation des charges de travail IA (tracing, pipelines d'évaluation, alertes qualité, gestion des données de test et versioning).

Vos missions

En tant que garant(e) de la fiabilité et de la mesurabilité des systèmes IA en production, vous aurez pour responsabilités :

• Infrastructure d'observabilité : Gérer le traçage distribué des appels LLM ainsi que les métriques de latence, de coût et de qualité. Vous serez chargé(e) d'auditer l'outil actuel (Langfuse) et de décider s'il faut le maintenir ou migrer vers une solution plus adaptée (ex: Langsmith).

• Pipelines d'évaluation : Concevoir et fournir les outils permettant aux équipes de définir, exécuter et versionner leurs suites de tests en continu.

• Gestion des données de test : Assurer la génération, la curation, le contrôle d'accès et le versioning des datasets d'évaluation.

• Versioning (Prompts & Modèles) : Concevoir et construire l'architecture de gestion des versions (from scratch) et définir les patterns du "Model Registry" pour accompagner la croissance des cas d'usage.

• Monitoring : Mettre en place des systèmes d'alertes proactifs pour détecter toute dégradation de la qualité en production.

Profil recherché

• Expertise en Observabilité : Vous justifiez d'une expérience solide en production sur le traçage, la gestion des métriques et l'alerting pour des systèmes distribués complexes.

• Spécialisation IA / LLM : Une expérience directe de l'observabilité des modèles de langage (LLM) est un atout majeur. À défaut, vous possédez une excellente compréhension des enjeux spécifiques liés à l'intégration des LLMs dans des systèmes distribués.

• Expérience Pipelines (CI/CD pour l'IA) : Vous avez déjà conçu ou piloté des pipelines d'évaluation pour des systèmes IA (tests unitaires de prompts, tests d'intégration, suivi de la qualité).

• Maîtrise de l'écosystème LLMOps : Vous connaissez bien le marché actuel (Langfuse, Langsmith, Braintrust, etc.) et êtes capable de challenger ces outils pour faire les bons choix techniques.

• Stack Technique : Vous maîtrisez le déploiement et l'exploitation d'infrastructures sur AWS. Vous êtes parfaitement à l'aise avec TypeScript, qui est le langage exclusif de la stack technique (Python n'est pas utilisé sur ce périmètre).