Lead Data Engineer Databricks Paris H/F

Probayes

Dans ce contexte, nous recherchons un Lead Data Engineer Databricks capable de transformer les POCs en solutions industrialisées au sein de Databricks, en appliquant les bonnes pratiques du client (MLOps, gouvernance, CI/CD, etc.). Le poste couvre l'ensemble du cycle projet, de la phase de cadrage à la mise en production, en collaboration étroite avec nos équipes internes et celles du client.

Votre mission sera d'accompagner les architectes et les développeurs pour :

- Concevoir et déployer des architectures Data et IA sur Azure Databricks, en intégrant les bonnes pratiques de gestion du cycle de vie, de MLOps, de CI/CD et de monitoring
- Assurer le rôle d'interlocuteur technique principal auprès du client tout au long du projet
- Contribuer activement à la mise en oeuvre et à l'industrialisation des solutions Data/IA
- Encadrer, accompagner et faire monter en compétence les équipes de développement internes et côté client
- Contribuer à standardiser les bonnes pratiques d'industrialisation des projets Databricks (data pipelines, modèles ML, jobs automatisés, gouvernance, qualité des données)
- Garantir la sécurité, la performance et la scalabilité des solutions déployées
- Participer à la veille technologique et au partage des connaissances au sein des équipes.

Qualifications :

- Ingénieur en informatique ou équivalent (Bac +5 minimum)
- Expérience professionnelle de 5 ans minimum dans un environnement Data Platfor

Compétences requises :

- Expérience confirmée en industrialisation de projets Data en production
- Maîtrise de Databricks : Delta Lake, Unity Catalog, MLflow, gestion des jobs et des clusters
- Expérience sur au moins un Cloud provider (de préférence Azure)
- Maîtrise des langages Python, PySpark et SQL
- Solide compréhension des architectures data modernes : Lakehouse, ELT/ETL, streaming, API
- Bonne connaissance des outils d'intégration et de déploiement continu (CI/CD) : Git, GitLab CI, ou équivalents

Compétences appréciées :

- Pratique du langage Scala
- Connaissance des bonnes pratiques d'industrialisation IA (training, serving, monitoring, MLOps)
- Familiarité avec des outils de visualisation et de data catalog tels que Power BI, Tableau, ou équivalents

Qualités requises :

- Vous êtes autonome, curieux(se), proactif(ve) et rigoureux(se)
- Vous aimez travailler en équipe
- Vous avez une bonne communication orale et écrite
- Vous avez de bonnes capacités de communication avec les clients

Spin-off de l'Inria et du CNRS, Probayes est né de la volonté d'être le chainon manquant entre la recherche et l'industrie.

Créé en 2003, Probayes est un des leaders français dans le développement de solutions en Intelligence Artificielle. Nos Data Scientists, architectes et développeurs travaillent avec les plus grands groupes pour développer des solutions IA sur mesure, à l'état de l'art de la littérature scientifique, et à fort ROI.

Avec un savoir-faire central en Machine Learning, complété par des expertises scientifiques en optimisation, en fusion de capteurs, en traitement d'images et en Traitement Automatique des Langues /NLP et par des compétences de conception et de développement, Probayes développe, pour ses clients, des modèles comme moteur d'innovation, d'optimisation et d'aide à la décision.

Probayes adresse ses solutions auprès de divers secteurs : automobile, défense, énergie, finance, industrie, logistique, santé, et souhaite à la fois renforcer sa présence sur ces verticaux et développer des collaborations sur de nouveaux secteurs stratégiques. Probayes, qui a rejoint La Poste en mai 2016, est devenu le centre de compétence en Intelligence Artificielle du groupe. Probayes bénéficie également de cette collaboration dans le domaine des infrastructures « Big Data » et de la sécurité informatique.

Basée à Montbonnot (38), Probayes a ouvert en 2017 une antenne à Paris.