Data Scientist IA Gen - Expert Rag H/F StarClay

StarClay recherche plusieurs Data Scientists expérimentés (5 ans minimum) pour une mission à forte dimension internationale auprès de son client, leader de l'information juridique.

Les consultants rejoindront une équipe data existante et interviendront en collaboration étroite avec une Business Unit internationale.
L'objectif principal de la mission est l'adaptation et le déploiement d'un cas d'usage stratégique de génération de réponses aux questions clients, basé sur une architecture RAG avancée.

Une dimension clé de la mission consiste à apporter une expertise méthodologique sur l'évaluation de la performance des modèles d'IA générative, en capitalisant sur les acquis et bonnes pratiques développés par l'équipe française.

Vous aurez les responsabilités suivantes :

- Adaptation technique
- Implémenter, adapter et faire évoluer une solution RAG (Retrieval-Augmented Generation) :
- Développée en Python
- Appuyée sur un moteur de recherche SOLR (ou équivalent type Elastic)
- Intégrant des pratiques avancées de prompt engineering
- Stratégie d'évaluation
- Concevoir, mettre en place et piloter des protocoles d'évaluation manuelle et automatique de la qualité des réponses générées :
- Définition de métriques pertinentes
- Approches LLM-as-a-judge
- Boucles de feedback et amélioration continue
- Benchmark des LLM
- Tester, comparer et benchmarker les différents LLM du marché
- Sélectionner les modèles les plus adaptés aux contraintes métiers, linguistiques et locales
- Collaboration transverse
- Travailler en interaction étroite avec l'équipe française
- Comprendre l'architecture existante et les choix techniques
- Assurer le transfert de compétences et des bonnes pratiques vers les BU internationales