Expert Data Quality & ai Agent Quality H/F

Anonyme

Le besoin

Contexte de la mission

Notre client poursuit la transformation de ses plateformes Data & IA autour des Data Products, Data Hubs et de l'IA générative. L'écosystème s'appuie notamment sur Databricks / Unity Catalog pour les plateformes Data et sur Collibra pour le catalogue et la gouvernance.

Plusieurs solutions de Data Quality sont déjà utilisées, notamment Soda pour les Data Contracts, Sifflet pour la Data Observability et Alteryx pour les contrôles et reportings qualité.

La mission vise désormais à définir un cadre Groupe cohérent, pragmatique et industrialisable permettant de maîtriser la qualité des données, des Data Products, des Data Contracts et des agents IA, ainsi que de mesurer la confiance accordée aux actifs Data & AI.

Détails de la mission

Missions principales

Objectifs

Définir une stratégie et un framework Enterprise Data Quality & AI Agent Quality applicable à l'échelle du client afin de :

• structurer et harmoniser les pratiques de Data Quality ;

• définir les standards de qualité applicables aux Data Products et Data Contracts ;

• mettre en place un modèle de gouvernance et de pilotage Groupe ;

• industrialiser les contrôles et le monitoring au travers de l'écosystème existant ;

• définir un framework spécifique de qualité et de certification des agents IA ;

• construire une trajectoire de transformation progressive sur 18 à 36 mois.

Finalités

Permettre à notre client de disposer d'un cadre unifié de confiance Data & IA, couvrant les données, Data Products, Data Contracts et agents IA, afin d'industrialiser et sécuriser leur utilisation à l'échelle du Groupe.

Attributions

Tâches & Activités principales

1. Définition du Data Quality Framework

• Définir les principes et standards Groupe de Data Quality.

• Structurer les dimensions de qualité : Accuracy, Completeness, Consistency, Timeliness, Validity et Uniqueness.

• Définir les processus et règles de contrôle.

• Construire les KPI, scorecards et seuils de qualité.

• Définir les mécanismes d'escalade et de remédiation.

• Définir les standards applicables aux Data Products et Data Hubs.

2. Operating Model & Gouvernance

• Définir les rôles et responsabilités.

• Structurer les processus de gouvernance et le modèle de pilotage.

• Formaliser les interactions entre Data Owners, Data Stewards, Product Owners et équipes plateformes.

• Définir un modèle de maturité Data Quality applicable à l'échelle du Groupe.

3. Industrialisation & Outillage

• Définir l'architecture cible et l'utilisation optimale des outils existants :
  Databricks / Unity Catalog, Collibra, Soda, Sifflet, Alteryx, Power BI et développements spécifiques.

• Rationaliser la couverture Data Quality et Data Observability.

• Identifier les possibilités d'implémentation et d'automatisation des contrôles.

• Définir les usages possibles de l'IA pour améliorer la Data Quality.

• Optimiser les coûts d'exploitation et de monitoring.

4. Méthodologie de déploiement

• Identifier les données critiques.

• Qualifier les risques.

• Définir et déployer les contrôles.

• Mettre en oeuvre les Data Contracts.

• Structurer l'amélioration continue.

• Définir un processus de certification des Data Products.

5. Définition du AI Agent Quality Framework

• Définir le cycle de vie et la gouvernance des agents IA.

• Formaliser les rôles et responsabilités.

• Définir les processus de validation, certification et mise en production.

• Évaluer notamment :

  • l'exactitude des réponses ;

  • la fiabilité et la robustesse ;

  • le Groundedness ;

  • la sécurité et la conformité ;

  • la performance opérationnelle ;

  • les coûts ;

  • la valeur métier générée.

• Définir les mécanismes d'évaluation avant et après mise en production.

• Mettre en place les indicateurs de monitoring : taux de réussite, hallucinations, qualité des réponses, satisfaction utilisateur, coûts d'exécution et conformité.

• Définir les critères d'acceptation et de certification des agents IA.