Data Engineering H/F Visian

Le besoin

Conception, développement et maintenance de pipelines de données scalables pour l'alimentation des use case d'IA. Architecture des flux de données (batch & streaming) en garantissant la fiabilité, la traçabilité et la conformité. Collaboration avec les équipes Data Science/ML pour la transformation des modèles en services de production (MLOPS). Optimisation des performances des bases de données et des entrepôts de données (SQL, NoSQL, Data Lake). Mise en place de pratiques d'observabilité : monitoring, alerting, logging et métriques. Veille à la sécurité des flux de données et à la gouvernance (catalogue de données, lineage).

Compétences techniques Langages : Python (pandas, PySpark), Scala/Java, SQL (optimisation, OLAP). Frameworks Big Data : Apache Spark, Kafka. Stockage : DwH, Oracle, Clickhouse, S3. Orchestration : Airflow, Dagster. Containerisation & orchestration : Docker CI/CD Sécurité & gouvernance : Chiffrement, catalogue de données/métadonnées.