Data Engineer - Sciences Rag Nlp Llm H/F ALTEN

Contexte de la mission

Dans le cadre de projets innovants liés à l'Intelligence Artificielle et au traitement des données, vous interviendrez en tant que Développeur Data Science / NLP / RAG / LLM. Votre mission consistera à concevoir, développer et déployer des solutions avancées en traitement du langage naturel (NLP), Retrieval-Augmented Generation (RAG) et Large Language Models (LLM).

Vous serez impliqué dans des projets variés, tels que :

• Le développement de pipelines de données pour alimenter des modèles d'IA.
• La conception de systèmes RAG pour améliorer la précision des réponses générées par l'IA.
• L'intégration et l'optimisation de LLM pour des applications métiers (chatbots, analyse de texte, génération de contenu, etc.).
• La collaboration avec des équipes pluridisciplinaires (Data Engineers, DevOps, experts métiers).

Missions principales

1. Développement de pipelines de données et d'infrastructures IA

   • Concevoir et maintenir des pipelines ETL/ELT pour collecter, nettoyer et transformer des données.
   • Automatiser les processus de traitement de données à grande échelle.
   • Optimiser les performances des pipelines (vitesse, scalabilité, fiabilité).

2. Modélisation et traitement du langage naturel (NLP)

   • Développer des modèles de NLP pour des tâches spécifiques (classification, extraction d'entités, traduction automatique, etc.).
   • Fine-tuner des modèles de langage pré-entraînés (BERT, T5, etc.).
   • Évaluer et améliorer la qualité des modèles NLP.

3. Conception et optimisation de systèmes RAG

   • Implémenter des architectures Retrieval-Augmented Generation pour enrichir les réponses des LLM avec des données externes.
   • Intégrer des bases de connaissances vectorielles (Pinecone, Weaviate, FAISS).
   • Optimiser la pertinence et la rapidité des systèmes RAG.

4. Intégration et déploiement de LLM

   • Déployer et optimiser des Large Language Models (LLM) pour des applications métiers.
   • Adapter les LLM à des cas d'usage spécifiques (chatbots, génération de texte, analyse de sentiments, etc.).
   • Travailler sur l'efficacité énergétique et la scalabilité des modèles.

5. Collaboration et industrialisation

   • Collaborer avec les équipes DevOps pour déployer les solutions en production (Docker, Kubernetes, CI/CD).
   • Participer à la mise en place de tests automatisés pour valider les performances des modèles.
   • Documenter les processus, les architectures et les résultats.

6. Veille technologique et innovation

   • Suivre les avancées en NLP, RAG et LLM (recherches académiques, nouvelles bibliothèques, etc.).
   • Proposer des solutions innovantes pour améliorer les systèmes existants.
   • Participer à des ateliers ou formations pour monter en compétences.

Environnement & méthodologies

• Langages et frameworks :
  • Python (obligatoire), TensorFlow, PyTorch, Hugging Face (Transformers), LangChain, LlamaIndex.
  • Bibliothèques NLP : NLTK, spaCy, scikit-learn.
• Outils :
  • Data Engineering : Apache Spark, Apache Airflow, Kafka.
  • DevOps/MLOps : Docker, Kubernetes, Git, CI/CD, MLflow.
  • Bases de données : SQL (PostgreSQL, MySQL), NoSQL (MongoDB), bases vectorielles (Pinecone, Weaviate, FAISS).
• Cloud : AWS (SageMaker, Bedrock), Azure (OpenAI, Cognitive Services), GCP (Vertex AI).
• Méthodologies : Agile (Scrum, Kanban), MLOps, DevOps.