Test - Consultant Expert Test IA - Senior H/F Collective Works
- Paris - 75
- Indépendant
- Services aux Entreprises
- Exp. 3 ans min.
À noter sur ce job
Vous avez ces compétences ? Cliquez dessus pour les ajouter rapidement à votre profil !
Détail du poste
Définir et structurer la stratégie de test des solutions intégrant de l'IA.
Intégrer les contrôles qualité tout au long du SDLC.
Évaluer la fiabilité, la robustesse et la conformité des agents IA et des LLM.
Industrialiser et automatiser les tests dans les pipelines CI/CD.
Accompagner les équipes dans la mise en place des bonnes pratiques QA.
Poste et responsabilités
Définition de la stratégie de test et des critères qualité.
Conception et exécution des tests fonctionnels, techniques et IA.
Évaluation des agents IA, des orchestrations multi-agents et des hallucinations.
Mise en place des quality gates et des tests automatisés.
Suivi des résultats, reporting et accompagnement des équipes.
Le profil recherché
Consultant Test / QA Senior.
Expérience confirmée en stratégie de test sur un SDLC mature.
Expérience en mise en production de solutions logicielles et CI/CD.
Expérience concrète en tests et évaluation de LLM, agents IA et architectures agentiques.
Capacité à transformer les besoins métier en scénarios et critères de test mesurables.
Compétences techniques
Test / QA : stratégie de test, tests fonctionnels, automatisation, non-régression.
IA / LLM : évaluation IA, hallucinations, robustesse, agents et multi-agents.
Automatisation : Python, Pytest, Playwright, REST Assured.
Delivery : GitHub Enterprise, GitHub Actions, CI/CD, Quality Gates.
Évaluation IA : Promptfoo, DeepEval, Ragas, LangSmith.
Sécurité IA : Prompt injection, exfiltration de données, garde-fous.
Observabilité : logs, traces, coûts, latences et suivi des erreurs.
Publiée le 13/11/2026 - Réf : dd57e770c4ca9a8ea8eb7098fa8791aa