Ingénieur de Recherche - Support et Développement Hpc - Hpda pour l'Analyse de Données In-Situ avec Pdi H/F CNRS

Face à la complexité croissante des codes de simulation numérique, de nouvelles approches sont nécessaires pour analyser le volume toujours plus important de données. Cela requiert un couplage entre des bibliothèques d'analyse de données modernes et les codes de simulation numérique existants hautement optimisés. La bibliothèque de couplage PDI Data Interface est conçue pour répondre à cet objectif.

La bibliothèque open-source PDI Data Interface est conçue et développée pour le couplage lâche local aux processus dans les codes de simulation hautes performances. PDI supporte la modularisation des codes en intermédiant l'échange de données entre le code de simulation principal et des modules indépendants (plugins) basés sur diverses bibliothèques. Elle est développée en C++ moderne et propose des API en C, Fortran et Python.

PDI offre un système de référence similaire au shared\_ptr du C++ ou du Python avec verrouillage pour garantir un accès cohérent par les modules couplés. Il fournit un espace de noms global (le data store) pour partager des références et implémente le modèle Observateur, permettant aux modules de réagir à la disponibilité et aux modifications des données. Il met en oeuvre un système de métadonnées qui peut spécifier un type dynamique pour les références basé sur la valeur d'autres données (par exemple, la taille d'un tableau basée sur la valeur d'un entier partagé). Les codes utilisant l'API déclarative de PDI exposent les tampons dans lesquels ils stockent les données et déclenchent des notifications lorsque des étapes significatives de la simulation sont atteintes. Des bibliothèques tierces comme HDF5, JSON ou netCDF sont encapsulées dans un plugin PDI. Un fichier de configuration YAML est utilisé pour entrelacer les plugins et le code supplémentaire sans modifier l'application originale.

Un autre aspect que nous explorons avec PDI est l'analyse de données in-situ, qui effectue des analyses numériques pendant la simulation. Cela est nécessaire en raison de l'écart croissant entre la bande passante du système de fichiers et les capacités de calcul. À cette fin, nous développons le plugin Deisa. Ce plugin est basé sur le framework open-source Dask et nous permet de transférer les données vers des processus dédiés pour l'analyse in-situ.

L'un de nos objectifs est d'établir un mécanisme de rétroaction entre l'analyse de données in-situ et la simulation numérique. Cela permet une meilleure allocation des ressources et un monitoring en temps réel de la simulation. Un autre aspect permis par l'analyse in-situ est l'utilisation de méthodes d'IA pour le HPC et le HPDA. Par exemple, nous pouvons employer la détection non supervisée d'événements rares pendant la simulation, ce qui peut réduire significativement le volume de données produites, réduisant ainsi la charge sur le système de fichiers.
Activités
En tant que membre de l'équipe PDI nouvellement créée, votre mission principale consistera à développer et maintenir la bibliothèque PDI.
Principales missions :
- Développer les fonctionnalités principales et les nouveaux plugins pour PDI
- Développer la bibliothèque Deisa
- Assurer le support utilisateurs
- Organiser des sessions de formation
- Empaqueter et déployer la bibliothèque
Compétences
Le/la candidat(e) retenu(e) maîtrisera les compétences et connaissances suivantes :
- Maîtrise du C++ moderne (C++14 et supérieur)
- Génie logiciel et conception de bibliothèques
- Environnement de développement moderne (Linux, git, CMake, etc.)
- Communication (rédaction, présentation et formation)
- Travail en équipe et intégration dans un environnement international
Les éléments suivants seront considérés comme un atout :
- Connaissance des bibliothèques d'analyse de données comme Dask
- Maîtrise et expérience avec Python, Fortran et/ou le calcul GPU
- Connaissances en HPC et bibliothèques parallèles comme OpenMP et MPI
- Expérience avec les bibliothèques d'E/S parallèles HPC comme HDF5 ou NetCDF
- Expérience avec les outils de calcul intensif (slurm, sbatch, etc.), l'empaquetage et le déploiement
Contexte de travail

Au sein du laboratoire Maison de la Simulation, vous intégrerez une équipe d'ingénieurs et de scientifiques spécialisés dans tous les aspects du calcul haute performance (HPC). Vous aurez l'opportunité de collaborer avec les utilisateurs de PDI et de développer de nouvelles fonctionnalités pour la famille de plugins PDI. En tant que membre de l'équipe PDI, vous aurez également l'occasion d'échanger avec les développeurs d'autres codes HPC pour enrichir vos compétences en développement de codes de calcul intensif. Pour valider vos développements, un accès aux plus grands supercalculateurs européens (Adastra, Jean-Zay, etc.) vous sera fourni.

Le poste se situe dans un secteur relevant de la protection du potentiel scientifique et technique (PPST), et nécessite donc, conformément à la réglementation, que votre arrivée soit autorisée par l'autorité compétente du MESR.
Au sein du laboratoire Maison de la Simulation, vous intégrerez une équipe d'ingénieurs et de scientifiques spécialisés dans tous les aspects du calcul haute performance (HPC). Vous aurez l'opportunité de collaborer avec les utilisateurs de PDI et de développer de nouvelles fonctionnalités pour la famille de plugins PDI. En tant que membre de l'équipe PDI, vous aurez également l'occasion d'échanger avec les développeurs d'autres codes HPC pour enrichir vos compétences en développement de codes de calcul intensif. Pour valider vos développements, un accès aux plus grands supercalculateurs européens (Adastra, Jean-Zay, etc.) vous sera fourni.

Le poste se situe dans un secteur relevant de la protection du potentiel scientifique et technique (PPST), et nécessite donc, conformément à la réglementation, que votre arrivée soit autorisée par l'autorité compétente du MESR.