Data Scientist - Évaluation & Sécurisation des Llms Secteur Financier H/F

LeHibou

Le besoin

Type de mission : Freelance Secteur : Banque / Services financiers Localisation : Montreuil - 50% télétravail Démarrage : Dès que possible Durée : 3 ans

Contexte de la mission

Dans le cadre du déploiement de l'Intelligence Artificielle générative au sein d'un grand groupe bancaire, nous recherchons un Data Scientist spécialisé dans l'évaluation des modèles de langage (LLM). La mission vise à structurer et mettre en oeuvre un cadre rigoureux d'évaluation, de benchmark et de sécurisation des LLM utilisés ou envisagés pour des cas d'usage métiers : assistance aux collaborateurs, analyse documentaire, génération de contenus, aide à la décision et automatisation de processus.

Missions principales

Évaluation des LLM Définir les protocoles et métriques d'évaluation adaptés aux cas d'usage bancaires (exactitude, pertinence, factualité, robustesse, conformité). Mettre en place des jeux de tests représentatifs, documenter les résultats et formuler des recommandations.

Benchmark comparatif Concevoir et conduire des benchmarks entre plusieurs modèles LLM (propriétaires, open source, internes). Comparer les modèles selon des critères de performance, coût, latence, sécurité et conformité. Produire des rapports exploitables par les équipes métiers, IT, sécurité et conformité.

Red teaming et sécurité Définir et exécuter des scénarios de red teaming adaptés aux risques de l'IA générative : prompt injection, jailbreak, hallucination, data leakage, biais, toxicité. Analyser les vulnérabilités détectées et proposer des mesures de mitigation en collaboration avec les équipes sécurité, risques et conformité.

Industrialisation Mettre en place des pipelines d'évaluation automatisée, construire des datasets internes anonymisés, définir des référentiels de métriques et contribuer à l'intégration des résultats dans les outils de gouvernance IA.