Data Engineer Senior Python - Secteur Défense H/F ALTEN

Contexte

Au sein d'un environnement défense à fortes contraintes (sécurité, traçabilité, disponibilité), vous intégrez une équipe data en charge de construire et fiabiliser une plateforme de données et des pipelines industrialisés pour des cas d'usage à fort impact opérationnel.

Vos missions

- Concevoir et développer des pipelines d'ingestion / transformation robustes (batch et selon besoin, streaming).
- Industrialiser l'orchestration (planification, dépendances, relances, SLA) via un orchestrateur type Airflow.
- Traiter et transformer la donnée à l'échelle via Spark / PySpark (performance, partitionnement, optimisation).
- Structurer les couches de transformation et la qualité des données avec une approche data products (tests, documentation, règles de qualité), potentiellement via dbt si pertinent.
- Mettre en place l'observabilité : logs, métriques, alerting, dashboards, suivi de qualité et traçabilité.
- Contribuer aux choix d'architecture (formats, stockage, modèles, conventions, outillage), en gardant en tête les contraintes sécurité / conformité.
- Travailler en transverse avec les équipes logiciel, infra et cyber (revues, durcissement, bonnes pratiques).

Environnement technique

On s'aligne sur des briques éprouvées data engineering modernes; le mix exact dépendra de l'archi projet, mais l'ADN reste : Python / industrialisation / data platform.

- Langages : Python (expert), SQL
- Orchestration : Apache Airflow (DAGs, scheduling, monitoring)
- Processing : Apache Spark / PySpark (batch + éventuel streaming)
- Transformation : dbt (optionnel mais très apprécié)
- Data stack : formats colonne (Parquet), lake/lakehouse (selon contexte), API / fichiers / bases
- Ops : Git, CI/CD, Docker (Kubernetes apprécié), tests (pytest), qualité (Great Expectations apprécié)
- Monitoring : Grafana/Prometheus/ELK