Tech Lead Data Retrieval - Rag - Python & Search H/F Celad

Le besoin

Envie de relever un nouveau défi autour de la Data et de l'IA ? CELAD vous attend ! 🚀

Vous êtes passionné(e) par la recherche d'information, les architectures data et l'IA générative ? Vous souhaitez intervenir sur des problématiques de volumétrie, d'indexation et de pertinence à grande échelle ?

Nous recherchons un Tech Lead Data Retrieval / RAG pour rejoindre un acteur du secteur de l'édition juridique et de la Legaltech, basé à La Défense.

Au sein d'une équipe spécialisée dans les services IA, vous contribuerez à la conception du socle data qui alimente des applications intelligentes destinées aux professionnels du droit.

🎯 Votre rôle

Vous serez le référent technique sur la collecte, l'ingestion, la transformation et l'indexation de corpus documentaires volumineux. Votre objectif : concevoir des pipelines fiables et scalables, tout en optimisant la pertinence des résultats issus de moteurs de recherche hybrides et de systèmes RAG.

🚀 Vos principales missions

• Ingestion de données : concevoir des pipelines capables de collecter et de traiter des sources hétérogènes, d'assurer le parsing, le nettoyage, le chunking et la normalisation des documents.

• Indexation : industrialiser les mécanismes d'indexation et d'embeddings sur des corpus volumineux, en garantissant la fraîcheur et la cohérence des index.

• Recherche d'information : concevoir des stratégies de recherche combinant recherche lexicale, recherche sémantique, BM25, embeddings et reranking.

• Optimisation de la pertinence : définir des métriques et des jeux de tests pour mesurer et améliorer la qualité du retrieval.

• Architecture RAG : structurer la récupération des documents et du contexte transmis aux LLM, en gérant les citations, la déduplication et les fenêtres de contexte.

• Qualité et traçabilité : mettre en place le versioning des datasets et des index, le lignage des données et des mécanismes de supervision.

• Sécurité : contribuer à la protection des données, au cloisonnement des traitements et au respect des exigences réglementaires.

• Leadership technique : accompagner les équipes, promouvoir les bonnes pratiques de développement et contribuer aux choix d'architecture.

🛠️ Environnement technique

• Langages : Python 3.11+, Go apprécié.

• Recherche et indexation : OpenSearch, Elasticsearch, pgvector, Weaviate, Qdrant, BM25, recherche hybride.

• IA et NLP : embeddings, sentence-transformers, tokenisation, parsing documentaire, reranking, RAG, LangChain.

• LLM : OpenAI, Mistral, Bedrock ou technologies équivalentes.

• Data engineering : PostgreSQL, Airflow, Spark ou équivalents.

• Infrastructure : Kafka, Redis, Docker, CI/CD, Kubernetes.

• Tests et évaluation : Pytest, precision, recall, nDCG, MRR.