Data Engineer Big Data H/F
Qolibris
- Paris - 75
- Indépendant
- Bac +2
- Bac +3, Bac +4
- Bac +5
- Services aux Entreprises
Les compétences pour ce job
Détail du poste
Le besoin
Développement de Pipelines de Données :
o Concevoir, développer et optimiser des jobs Spark (Java) pour le traitement, la transformation et l'agrégation de grands volumes de données provenant de diverses sources.
o Implémenter des flux de données robustes et performants sur Cloudera.
o Utiliser HBase pour des besoins de stockages NoSQL rapides et l'accès à des données structurées/semi-structurées.
o Développer des requêtes SQL complexes sur HIVE/SPARK pour l'extraction, l'analyse et la validation des données.
2. Optimisation et Performance :
o Monitorer la performance des jobs Spark et identifier les goulots d'étranglement.
o Optimiser les requêtes SQL et les stratégies de lecture/écriture sur HDFS et HBase.
o Proposer et implémenter des solutions pour améliorer la scalabilité et l'efficacité de la plateforme.
3. Assurance Qualité et Déploiement (DevOps) :
o Écrire des tests unitaires et d'intégration pour garantir la qualité du code.
o Participer aux processus de Build et de déploiement via les outils CI/CD (Jenkins, XLD).
o Intégrer des outils d'analyse de code statique (SonarQube, Checkmarx) dans le cycle de développement.
o Gérer les dépendances et les versions avec Maven.
4. Collaboration et Documentation :
o Documenter le code, les architectures et les processus.
o Partager les bonnes pratiques et contribuer à l'amélioration continue de l'équipe.
Le profil recherché
Profil recherché
- Expérience : Minimum de 6 ans d'expérience en développement Big Data et/ou Data Engineering. Expérience significative dans le domaine financier, idéalement en gestion des risques de crédit.
- Compétences Techniques Indispensables :
o Apache Spark 3.x : Excellente maîtrise du développement, optimisation et scalabilité des applications Spark Java .
o Java 8 : Maîtrise approfondie pour développement Spark.
o Scala : Souhaitable .
o Stack Cloudera : Expérience avérée avec Hadoop (HDFS,Hive, HBase ..).
o SQL : Maîtrise indispensable pour l'exploitation et l'analyse des données.
o Devops : CI/CD, SonarQube, checkmarx, XLD.
Infos complémentaires
Publiée le 24/07/2026 - Réf : f0c7552a60b32bf246c5e9f37af065e4