Data Engineer Senior H/F Visian

Le besoin

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Senior afin de participer à la conception et au développement d'une nouvelle architecture orientée Lakehouse.

Vous interviendrez sur la collecte, la transformation, le stockage et la mise à disposition de données structurées à destination notamment d'équipes métier et analytiques.

Vos missions

• Participer à la conception de l'architecture Data cible et à l'organisation d'un Lakehouse.

• Concevoir et développer des pipelines de collecte et de transformation de données.

• Développer les traitements en Python, Spark / PySpark et SQL.

• Mettre en place les mécanismes de stockage et d'exposition des données.

• Participer à l'intégration de données provenant de différentes sources.

• Concevoir des jeux de données structurés à destination des équipes métier et marketing.

• Participer à la mise à disposition de données pour les outils de reporting et de DataViz.

• Mettre en place l'ordonnancement et le suivi des traitements.

• Développer des tests unitaires afin de sécuriser les traitements.

• Mettre en place les contrôles nécessaires au suivi de la qualité et de la bonne exécution des pipelines.

• Participer à la maintenance corrective et évolutive des solutions développées.

• Documenter les développements, flux et architectures mis en place.

• Accompagner les équipes MOA et utilisateurs lors des phases de recette.

• Estimer les charges et assurer le suivi de l'avancement des développements.

• Collaborer avec les équipes transverses sur les problématiques d'architecture et d'intégration.

• Contribuer à l'amélioration continue des pratiques de développement et d'industrialisation.

Data Science & Intelligence Artificielle

Vous serez également amené(e) à intervenir ponctuellement sur des sujets de valorisation avancée de la donnée :

• Utilisation de Machine Learning appliqué aux données.

• Feature engineering et préparation des données.

• Utilisation de bibliothèques telles que scikit-learn.

• Contribution à l'intégration de solutions LLM / GenAI facilitant l'accès, l'exploration ou l'interrogation des données.

Environnement technique

Data Engineering

• Python

• Spark / PySpark

• SQL

• ETL / ELT

• Data Lake / Lakehouse

Plateforme cible

• AWS S3

• Dagster

• Trino

Industrialisation

• Git

• Jenkins

• CI/CD

• Jira

• Confluence

Machine Learning / IA

• scikit-learn

• Feature Engineering

• LLM / GenAI

Environnement existant

• Informatica

• Oracle

• OBIEE

• BIRT