Ingénieur Big Data Analyst Bilingue Anglais H/F Keystone Recrutement

Nous recherchons pour un de nos clients, spécialiste du prévisionnel météorologique, un Ingénieur Data Analyste (H/F) dans le cadre d'un CDI.
La langue de travail est l'Anglais. Le Français n'est pas nécessaire
Votre rôle est de concevoir, développer des modèles pour exploiter et traiter des téraoctets de données météorologiques et hydrologiques, en garantissant une livraison scalable, reproductible et prête pour la production des entrées et sorties des modèles.

Missions principales
- Mettre en oeuvre des processus d'ingestion de données (batch et streaming), des ELT/ETL steps et des workflows de publication des données.
- Manipuler des formats scientifiques (netCDF, GRIB2) ainsi que des columnar storage (Parquet) ; optimiser les entrées/sorties (I/O) et les algorithmes.
- Concevoir des architectures de stockage basées sur la cohérence éventuelle (atomic publishes, manifests, versioned paths) et maintenir un catalogue de métadonnées.
- Partitionner et paralléliser les charges de travail pour le calcul distribué ; regrouper les petits fichiers et optimiser le coût/ performance.
- Développer et exploiter des services conteneurisés et des workflows orchestrés ; assurer l'observabilité, la gestion des reprises, l'idempotence et la documentation opérationnelle (runbooks).
- Collaborer avec les scientifiques pour définir les modèles de données et les règles de validation.

Paradigmes et architectures requis
- Approche ELT en priorité, avec ETL lorsque nécessaire ; streaming ou micro-batch pour les sources à faible latence
- Data lake sur stockage objet avec catalogue de métadonnées ; conception de modèles de données orientés catalogage
- Stockage colonne partitionné et traitement distribué parallèle des données
- Workflows idempotents, redémarrables et orchestrés
- Jeux de données versionnés, publications atomiques et catalogue comme source de vérité
- Exploitation orientée observabilité et infrastructure as code

Outils et technologies essentiels
- Python (xarray, netCDF4, pyarrow), PySpark ou Dask
- Stockage objet compatible S3 ; Parquet
- PostgreSQL / PostGIS
- Kubernetes et Docker pour le déploiement
- AWS (S3, EKS, EC2) ou cloud équivalent ; Terraform pour l'infrastructure as code