Administrateur Infra H/F REDSUP

Contexte

Dans le cadre du renforcement d'une équipe Data & IA, nous recherchons un(e) Ingénieur Data Platform / Big Data pour assurer l'administration, l'évolution et le maintien en conditions opérationnelles des plateformes Data. Vous interviendrez sur des environnements à forts enjeux, en collaboration avec les équipes applicatives, infrastructures et métiers.

Vos missions

Administration et exploitation des plateformes Data

• Assurer l'administration, la supervision et le maintien en conditions opérationnelles des plateformes Data.
• Garantir la disponibilité, la performance et la fiabilité des infrastructures.
• Réaliser les opérations de maintenance corrective et évolutive.
• Participer à la résolution d'incidents complexes sur les plateformes Big Data (Hive, Yarn, Spark, etc.).
• Assurer un support technique auprès des équipes applicatives et métiers.

Conception et gestion des flux de données

• Recueillir et analyser les besoins métiers liés à la collecte et au stockage des données.
• Développer des solutions d'acquisition de données via API.
• Concevoir et mettre en oeuvre des architectures de stockage performantes et évolutives.
• Automatiser les traitements de données grâce à des batchs et workflows.
• Réaliser les tests unitaires et d'intégration afin de garantir la qualité des développements.

Valorisation et gouvernance des données

• Industrialiser les traitements de nettoyage et de transformation des données.
• Administrer des bases de données issues de sources multiples.
• Veiller au respect des bonnes pratiques de gouvernance et de conformité (RGPD).
• Garantir la qualité et la disponibilité des données pour les utilisateurs.

Industrialisation des modèles Data & IA

• Participer au déploiement industriel des modèles statistiques et de Machine Learning.
• Mettre en place les dispositifs de validation, de supervision et de monitoring des modèles.
• Assurer leur maintien en conditions opérationnelles.

Contribution aux projets Data

• Participer à la définition des spécifications techniques.
• Être force de proposition sur les évolutions techniques de la plateforme.
• Contribuer aux projets de modernisation et de migration des infrastructures Data.
• Assurer un reporting régulier auprès du chef de projet.
• Accompagner les utilisateurs métiers sur les problématiques techniques et les cas d'usage.

Environnement technique

Big Data

• Cloudera CDP 7.1
• Hadoop
• Hive
• HBase
• Kafka
• Spark
• Solr
• Ranger
• Knox
• ZooKeeper
• Kerberos
• LDAP

Containerisation & Cloud

• OpenShift
• Kubernetes
• Cloudera Data Services (CDS)

Data Engineering

• Trino / Starburst
• Apache Airflow
• Apache Flink

Développement & Industrialisation

• Java
• Maven
• Gradle
• API REST
• Ansible