Développeur Python - Java - Etl Aws H/F Auro Clic

Détail du poste

Pour le compte d'un leader du monde de la distribution, je recherche :

Un(e) Développeur(se) Python / Java - ETL AWS (Glue & Lambda)

Le groupe est actuellement en phase de construction d'un site e-commerce reposant sur Adobe Commerce Cloud, avec une architecture headless (Front sur Alokai et Back sur Adobe Commerce Cloud). Ce projet s'inscrit dans un contexte de migration d'Oracle ATG vers Magento et d'une mise à jour de l'ERP SAP. L'équipe travaille en mode Agile, bien que la maturité Agile de l'organisation ne soit pas encore réputée acquise.

Synthèse de la mission : Le Développeur Python / Java spécialisé en ETL conçoit, développe et maintient des pipelines de données robustes et performants sur AWS Glue et AWS Lambda. Il assure l'ingestion, la transformation et l'optimisation des flux de données pour répondre aux besoins des applications métier et analytiques.

Missions Principales :

1. Conception et Développement d'ETL :

o Développer et optimiser des workflows ETL sur AWS Glue en Python.
o Implémenter des fonctions serverless sur AWS Lambda en Python ou Java pour traiter les données en temps réel.
o Gérer le stockage des données via S3, DynamoDB et Redshift.

2. Optimisation des Performances :
o Assurer la performance et la scalabilité des pipelines de données.
o Mettre en place des stratégies d'optimisation pour minimiser les coûts et améliorer la latence.
o Concevoir des modèles de données adaptés aux traitements analytiques et transactionnels.

3. Sécurité et Qualité des Données :

o Implémenter des contrôles de qualité et de validation des données.
o Mettre en place des stratégies de monitoring et logging (selon les directives des équipes Cloud et Sécurité du groupe).

4. Intégration et Automatisation :

o Intégrer les pipelines ETL aux différentes sources et destinations de données (API, bases de données, entrepôts de données).
o Automatiser les déploiements et tests via des pipelines Gitlab CI/CD sur AWS via Terraform
o Collaborer avec les équipes DEVOPS et Data pour l'amélioration continue des processus.

Compétences Requises :
- Excellente maîtrise de Python et Java
- Expérience avec AWS Glue et AWS Lambda pour l'ETL et le traitement serverless
- Bonne connaissance des bases de données SQL et NoSQL (PostgreSQL, DynamoDB, Redshift)
- Expérience avec Terraform et CloudFormation pour l'infrastructure as code
- Automatisation et CI/CD sur AWS avec GitLab CI/CD ou AWS CodePipeline
- Monitoring et Debugging sur AWS (CloudWatch, X-Ray, Step Functions)
- Compréhension des architectures orientées événements (EventBridge, SQS, SNS, Kinesis)
- Connaissance de Magento (Adobe)
- Connaissance DEVOPS serait un plus

Expérience
- Bac +5 en informatique, data engineering ou équivalent
- Expérience en développement ETL sur AWS
- Certifications AWS (AWS Certified Developer, Data Analytics, Solutions Architect) appréciées

Environnement de Travail
- Équipe : Composée de PO, développeurs (PHP/Magento, Typescript/Alokai, ETL), QA, et un coach Agile.
- Outils : Confluence, Jira, Gitlab pour le versioning et Gitlab CI/CD pour les déploiements automatisés.
- Environnements : 4 environnements de déploiement (non tous opérationnels à ce jour).

AURO CLIC, nous sommes une société de recrutement spécialisée dans l'informatique et autres domaines technologiques.

Retrouvez-nous sur https://www.auroclic.fr/