Data Engineer Confirmé - Intelligence Artificielle H/F

Conseil D'etat

Sous l'autorité du responsable de la cellule IA & Innovation, vous concevez et exploitez les architectures de données nécessaires aux projets d'intelligence artificielle du Conseil d'État et des juridictions administratives.
Vous garantissez la mise à disposition de données fiables, disponibles, traçables et sécurisées, et contribue à l'industrialisation des traitements associés. En collaboration avec les Data Scientists, les équipes projets et les experts métiers, vous intervenez notamment sur les bases documentaires Ariane, ArianeWeb, ConsiliaWeb, Légifrance et l'Open data.

Missions principales👇
1/ Ingénierie des données :
- Organiser et automatiser la collecte, la préparation et la mise à disposition des données ;
- Développer et maintenir les échanges nécessaires aux applications métiers et aux équipes de Data Science ;
- Accompagner les équipes projets dans l'exploitation et la valorisation de leurs données.

2/ Infrastructure pour l'Intelligence Artificielle et le MLOps :
- Contribuer à l'architecture et à la mise en oeuvre des solutions RAG ;
- Prendre en charge les chaînes d'indexation, de vectorisation et de recherche documentaire ainsi que les référentiels associés ;
- Préparer et alimenter les données nécessaires aux modèles d'IA et de Machine Learning, sans intervenir dans leur conception.

3/ Qualité, Gouvernance et exploitation :
- Mettre en place les contrôles garantissant la qualité, la cohérence, la traçabilité et le versionnement des données ;
- Superviser les traitements, contribuer à leur observabilité et à la définition des standards techniques de gestion des données ;
- Assurer une veille sur les outils de Data Engineering, d'intelligence artificielle et de gestion des connaissances.

4/ Objectifs du poste :
- Fiabiliser les données nécessaires aux usages de l'IA générative, analytique et prédictive ;
- Industrialiser les flux et garantir leur qualité dans la durée ;
- Favoriser l'exploitation sécurisée du patrimoine documentaire et des données du Conseil d'État ;
- Contribuer au développement de solutions d'IA souveraines pour la recherche documentaire, l'analyse juridique et l'assistance à la rédaction.

✔️ Diplôme ou niveau d'études formations intéressants pour le poste :
- Bac +5 (école d'ingénieur ou Master spécialisé en informatique, intelligence artificielle, cloud computing ou data engineering).
- Expériences antérieures intéressantes pour le poste (Au moins 5 ans d'expérience en data engineering, notamment dans la conception et l'exploitation de pipelines de données ;
- Expérience de projets associant LLM, recherche documentaire, embeddings et bases vectorielles, idéalement dans une architecture RAG ;
- Expérience de l'industrialisation de traitements de données et de la mise en oeuvre d'API ;
- Une expérience de projets d'IA ou d'un environnement public, sensible ou réglementé est appréciée.

Compétences :

✔️ Data engineering appliqué aux systèmes RAG :
Concevoir et industrialiser des pipelines d'ingestion, de transformation et d'indexation de données documentaires ; Préparer des documents, notamment juridiques, pour leur exploitation par des LLM : extraction des contenus et métadonnées, nettoyage, chunking, enrichissement et vectorisation ; Mettre en oeuvre et optimiser des chaînes d'indexation et de recherche sémantique ou hybride reposant sur les embeddings, les moteurs de recherche et les bases vectorielles ; Assurer l'orchestration, la supervision, la traçabilité, le versionnement et la reprise sur erreur des traitements ; Garantir la qualité et la gouvernance des données, métadonnées et index ; Maîtriser les principes des LLM, de l'IA générative et des architectures RAG ; Contribuer, avec les Data Scientists et les développeurs, à la constitution des jeux de test et à l'évaluation des systèmes RAG : pertinence de la recherche, fiabilité des réponses, sources et performances.

✔️ Technologie : Excellente maîtrise de Python et SQL ; Expérience des outils de traitement et d'orchestration des données : Pandas, PySpark, Airflow ou équivalents ; Expérience des moteurs de recherche et bases vectorielles : OpenSearch, Elasticsearch, Qdrant, Weaviate ou équivalents ; Connaissance d'un framework RAG : LangChain, LlamaIndex ou équivalent ; Maîtrise des API REST et des formats JSON, Parquet et CSV ; Pratique de Git, GitLab CI/CD et Docker ; Kubernetes est un atout.
✔️ Sécurité : Connaissance des principes de protection, de traçabilité et de gestion des accès aux données. Une connaissance des exigences de sécurité applicables aux administrations publiques est appréciée.
✔️ Savoir- faire : Intégrer et fiabiliser des sources de données hétérogènes. Analyser et optimiser les performances des pipelines et des systèmes d'indexation ; Anglais professionnel.
✔️ Savoir-être : Rigueur, esprit d'analyse, autonomie, curiosité, force de proposition, sens du collectif et capacité à vulgariser.
✔️ Contrat CDD de 3 ans renouvelable.
✔️ Salaire selon profil.
✔️ Temps de travail : 36,40 / semaine avec RTT + Télétravail.
✔️ Restauration collective, mutuelle, prise en charge d'une partie de l'abonnement de transport.

La direction des systèmes d'information, rattachée au secrétaire général du Conseil d'Etat, agit pour le compte des services du Conseil d'État et des juridictions administratives. Ses missions sont de piloter les orientations stratégiques du numérique, d'élaborer avec les utilisateurs des outils numériques adaptés à leurs métiers et de garantir le fonctionnement optimal, la performance, la disponibilité et la sécurité du système d'information.
Organisées en départements, bureaux et cellules, les équipes de la DSI assurent notamment la définition, la mise en oeuvre et l'exploitation des infrastructures réseaux et système, l'élaboration et la maintenance des logiciels métiers ou de gestion, la définition et l'application des règles et moyens en cybersécurité, la fourniture et le déploiement des postes de travail, l'assistance aux utilisateurs et la constitution et le suivi de son budget.
Au sein du département des projets et de la maintenance des applications, la cellule IA & Innovation, composée de trois data scientist et deux développeurs, accompagne la transformation numérique du Conseil d'État et des juridictions administratives par l'expérimentation, la conception et l'industrialisation de solutions innovantes fondées notamment sur l'intelligence artificielle, la valorisation des données et l'automatisation des processus.
Elle intervient en appui des équipes métiers et des projets numériques afin d'identifier les usages à forte valeur ajoutée, de construire les plateformes techniques nécessaires à leur déploiement et de garantir leur intégration dans un cadre sécurisé, souverain et conforme aux exigences de l'administration.