Développeur Py Spark H/F

Datamed Research

Mission principale

Concevoir, développer et maintenir des solutions de traitement et d'analyse de données massives en s'appuyant sur l'écosystème Apache Spark avec le langage Python (PySpark). Le développeur PySpark contribue à l'industrialisation des pipelines de données, à leur optimisation et à leur intégration dans le système d'information de l'entreprise.

Responsabilités

- Développer et maintenir des pipelines de données en PySpark (ETL, batch, streaming).
- Optimiser la performance des traitements distribués (partitionnement, caching, tuning Spark).
- Intégrer les données issues de différentes sources (bases relationnelles, fichiers plats, APIs, data lakes).
- Collaborer avec les équipes Data Engineers, Data Analysts, Data Scientists pour répondre aux besoins métiers.
- Participer à la mise en place de tests unitaires et d'intégration pour garantir la qualité du code.
- Assurer la documentation technique et le suivi des développements.
- Respecter les bonnes pratiques de sécurité, qualité et gouvernance des données.

Compétences techniques

- Langages : Python (PySpark), SQL.
- Frameworks / Outils : Apache Spark (batch & streaming), Delta Lake, Hive, Kafka (souhaité).
- Bases de données : PostgreSQL, Oracle, SQL Server, ou équivalent.
- Cloud (selon contexte) : Azure Databricks, AWS EMR/Glue, GCP DataProc (au moins une plateforme).
- CI/CD & DevOps : Git, Jenkins/GitLab CI, Docker, Kubernetes (plus).
- Connaissance des architectures Big Data (HDFS, Data Lake, Data Warehouse).

-

Profil recherché

- Bac +3 à Bac +5 en informatique, mathématiques appliquées ou équivalent.
- Expérience : 2 ans min sur PySpark et le traitement de données distribuées.
- Capacité à travailler dans un environnement agile (Scrum/Kanban).
- Esprit analytique, rigueur et capacité à résoudre des problèmes complexes.
- Bon relationnel et goût pour le travail en équipe.

- Langages : Python (PySpark), SQL.
- Frameworks / Outils : Apache Spark (batch & streaming), Delta Lake, Hive, Kafka (souhaité).
- Bases de données : PostgreSQL, Oracle, SQL Server, ou équivalent.
- Cloud (selon contexte) : Azure Databricks, AWS EMR/Glue, GCP DataProc (au moins une plateforme).
- CI/CD & DevOps : Git, Jenkins/GitLab CI, Docker, Kubernetes (plus).
- Connaissance des architectures Big Data (HDFS, Data Lake, Data Warehouse).

DATAMED CONSULTING est une ESN fondée en 2020 spécialisée dans la valorisation
des données.
Nous mettons en oeuvre notre expertise pour accompagner nos clients du secteur
public et privé dans leurs stratégies et projet de transformation numérique de
manière efficace et innovante grâce à notre savoir faire.