QA Lead Transverse - Applicatif Delivery & ai H/F

Raedy

Le besoin

QA Lead transverse - Applicatif, Delivery & IA

Contexte Dans le cadre de l'industrialisation de produits digitaux intégrant de l'IA générative, l'équipe recherche un QA Lead transverse chargé de définir et piloter la stratégie qualité sur 3 axes : applicatif, delivery, et IA. Interviendra aux côtés des équipes Produit, Dev, Architecture, DevOps, Data/IA et Cybersécurité sur l'ensemble du cycle de vie produit.

Missions

Qualité applicative

• Définir stratégie de tests et critères d'acceptation

• Concevoir/exécuter tests fonctionnels, techniques, API, intégration, non-régression

• Identifier les parcours critiques et automatiser leur validation

• Suivre les anomalies jusqu'à résolution

• Participer aux décisions Go/No Go

• Garantir la qualité des échanges applications/API/services

Qualité du delivery

• Intégrer les tests automatisés en CI/CD

• Définir et mettre en place des quality gates

• Fiabiliser release, déploiement, rollback

• Contrôler la couverture de tests avant mise en production

• Mettre en place tests de performance, charge, résilience

• Analyser les incidents de production, contribuer à l'amélioration continue

• Accompagner l'adoption des pratiques shift-left

• Construire des indicateurs qualité partagés

Qualité des solutions IA

• Définir une stratégie d'évaluation des fonctionnalités IA/GenAI

• Constituer jeux de tests et référentiels de réponses attendues

• Mesurer pertinence, fidélité, complétude, stabilité des réponses

• Identifier et mesurer les hallucinations

• Tester les chaînes RAG (ingestion, recherche, contexte, génération)

• Garantir la non-régression lors des changements de modèles/prompts/sources

• Tester les risques prompt injection, jailbreak, fuite de données

• Automatiser les campagnes d'évaluation IA

• Définir métriques et seuils d'acceptation (Go/No Go)

• Traduire les attentes métier subjectives en critères mesurables

Compétences recherchées

• Solide expérience QA Engineering, automatisation, stratégie de tests

• Tests web, API, E2E, intégration, non-régression

• Playwright, Cypress, Selenium (ou équivalent)

• Postman, REST Assured (ou équivalent)

• CI/CD & qualité logicielle : Azure DevOps, GitLab CI, GitHub Actions, Jenkins, SonarQube

• Tests de performance : K6, JMeter, Gatling

• Bonne compréhension architectures cloud, API, microservices

• Python pour automatisation et évaluation IA

• Compréhension LLM, prompt engineering, architectures RAG

• Outils d'évaluation IA : Promptflow, RAGAS, DeepEval (ou équivalent)

• Azure OpenAI / Azure AI Foundry (apprécié)

• Sensibilité sécurité IA, RGPD, AI Act