Stage Data Engineer H/F

Taïga

> Mission

Devenir un Data Engineer expert capable de concevoir, construire et maintenir des pipelines de données à grande échelle sur AWS, en maîtrisant les architectures modernes de données (Data Lake, Data Warehouse, Lakehouse) et les meilleures pratiques d'ingénierie logicielle appliquées à la data.

> Description du Poste

Taïga recherche un stagiaire passionné par l'univers du Big Data et de l'Intelligence Artificielle pour rejoindre son équipe d'experts. Ce stage de 6 mois offre une opportunité exceptionnelle de se former aux architectures de données modernes tout en participant à des projets techniques complexes.

Au coeur de votre mission, vous travaillerez sur la conception et l'implémentation d'architectures de données à grande échelle, gérant des volumes considérables allant de millions de fichiers à plusieurs téraoctets de données. Vous serez exposé aux technologies les plus avancées du marché, incluant les architectures Data Lake pour le stockage massif de données brutes, Data Warehouse pour l'analyse structurée, et Lakehouse combinant le meilleur des deux mondes avec Apache Iceberg. Les projets sur lesquels vous interviendrez incluent des migrations de plateformes data legacy vers des architectures AWS modernes, la construction de Data Lakes multi-sources avec orchestration complexe, le développement de pipelines ETL/ELT traitant des millions d'enregistrements, l'optimisation de data warehouses pour améliorer les performances, ainsi que l'intégration de données en temps réel provenant de sources IoT, logs applicatifs ou événements métier.

La structure de votre temps reflétera un équilibre optimal entre acquisition de compétences et mise en pratique professionnelle : 30% de votre temps sera consacré à l'apprentissage approfondi des technologies data, à la préparation de certifications AWS hautement valorisées sur le marché, et à la réalisation de POCs techniques permettant d'expérimenter avec de nouvelles approches et outils. Les 70% restants seront dédiés à la construction effective de pipelines de données pour nos clients, à l'optimisation de performances (tant en termes de temps d'exécution que de coûts cloud), et à la conception d'architectures de plateformes data robustes et scalables. Cette approche pratique intensive vous permettra de développer une expertise opérationnelle rare, très recherchée par les entreprises.

Votre environnement de travail sera optimisé pour favoriser votre développement professionnel. Le stage s'effectuera en télétravail avec des regroupements occasionnels facilitant le partage de connaissances. Vous disposerez d'un accès illimité aux environnements AWS incluant l'ensemble de la palette de services data. Un budget dédié vous permettra de passer les certifications AWS qui jalonneront votre parcours de formation. Enfin, vous bénéficierez de l'accompagnement de nos data engineers et architectes seniors qui partageront leur expertise à travers un mentorat personnalisé, des sessions de pair programming et des code reviews constructives.

> Profil Recherché

Formation

Niveau : Bac +3 à Bac +5 (École d'ingénieur, Master Informatique)
Spécialisation : Informatique, Big Data

Compétences Requises

Fondamentaux Informatiques :
Structures de données et algorithmes
Complexité algorithmique et optimisation
Systèmes d'exploitation (Linux)
Réseaux et protocoles
Bases de données relationnelles et NoSQL

Programmation :
Python : Maîtrise obligatoire (avancé)
C/C++ : Fortement recommandé
SQL : Maîtrise avancée
Paradigmes OOP, fonctionnel, et orienté data

Version Control :
Git : Workflows avancés, stratégies de branching
GitHub/GitLab : CI/CD, code reviews, collaboration

Compétences Souhaitées

Data Engineering :
ETL/ELT pipelines
Systèmes distribués (notions Hadoop, Spark)
Formats de données (Parquet)
Streaming de données (Kafka, Kinesis)
Data modeling (Kimball, Data Vault)

Cloud & Infrastructure :
AWS (S3, Lambda, Glue)
Containerisation (Docker)
Orchestration (Airflow, Step Functions)

Qualités Personnelles
Rigueur : Attention aux détails, qualité du code
Sens de l'optimisation : Passion pour la performance et l'efficience
Systémique : Vision d'ensemble des flux de données
Pragmatisme : Équilibre entre perfection et pragmatisme
Autonomie : Capacité à débloquer des problèmes techniques
Collaboration : Travail en équipe, communication claire

Certifications Visées
1. AWS Certified Solutions Architect - Associate
2. AWS Certified Data Engineer - Associate
3. AWS Certified Solutions Architect - Professional
4. AWS Certified Machine Learning - Specialty
Technologies et Outils

Programming Langages:
Python
Rust

AWS Data Services :
Storage : S3
Processing : Glue, EMR, Athena, Lambda, ECS
Databases : Redshift, RDS, DynamoDB, Aurora
Streaming : Kinesis Data Streams, Kinesis Firehose, MSK (Kafka)
Orchestration : Step Functions, EventBridge, Apache Airflow, DBT

Big Data :
PySpark
Apache Iceberg
Delta Lake
Hudi
SQL

Data Quality :
Great Expectations
Deequ

DevOps & DataOps
Git, GitHub Actions / GitLab CI
CloudFormation
Docker
Monitoring : CloudWatch, X-Ray, Grafana
Testing : pytest, moto

> Compétences Développées
À l'issue du stage, vous maîtriserez :

Techniques:
Architecture de plateformes data modernes (Lake, Warehouse, Lakehouse)
Développement de pipelines ETL/ELT scalables
Optimisation de performances et coûts cloud
Gestion de données à grande échelle
Streaming et traitement temps réel
Data modeling et schéma evolution

Méthodologiques :
Infrastructure as Code et GitOps
Tests automatisés pour data pipelines
Monitoring, alerting, observabilité
Documentation technique et runbooks
Gestion des incidents et post-mortems

Professionnelles :
Architecture de solutions pour clients
Estimation de charges et planning projets data
Collaboration data scientists, analystes, devs
Présentation technique et vulgarisation
Code reviews et mentorat

> Avantages
- Certifications AWS financées
- Accès complet aux environnements AWS (avec crédits)
- Ressources de formation (cours, livres, conférences)
- Mentorat personnalisé par experts data
- Expérience projets clients complexes
- Portfolio technique valorisable
- Exposition aux aspects FinOps et business
- Possibilité d'embauche post-stage