Estimation de Poses Optimales d'Un Dataset Synthétiques pour la Génération de 3Dgs H/F CEA

Or par ailleurs, les calculs de rendu physiquement réalistes basés sur des approches de type Monte Carlo Path Tracing, malgré de nombreuses accélération algorithmiques et hardware, sont généralement menés hors lignes dès lors que la géométrie, l'éclairage ou la physique des phénomènes lumineux simulés deviennent assez complexes. Pour permettre une inspection visuelle temps réel en réalité virtuelle, une idée est de se reposer sur un ensemble de 3D Gaussian Splats reconstruit à partir d'images synthétiques. Un des problèmes est alors de savoir combien de caméras sont nécessaires, où les positionner et quelles caractéristiques (résolution, angles d'ouverture) on doit choisir. Les approches classiques consistent à les disposer le long d'un chemin comme si on effectuait un calcul pour une animation, ou bien sur des patterns réguliers comme un ensemble concentrique sur une sphère lorsque le modèle 3D est un simple objet, le tout avec des caractéristiques fixées à l'avance par l'utilisateur. Le sujet du stage proposé ici est de déterminer pour une scène donnée dont la géométrie, les matériaux et les sources de lumière sont connus un ensemble de poses et de caractéristiques de caméra permettant après entrainement 3DGS de créer les images les plus fidèles possibles aux images synthétiques originales pour tous les points de vue possibles de la déambulation en VR. On mettra au point un outil rapide, se basant sur une approche next best view [3] permettant au moyen de critères telles que la couverture spatio-directionnelle, ou des mesures de distance images entre caméras proches dans l'espace des poses, de s'assurer d'un optimum. L'outil créera aussi en sortie un nuage de points colorés nécessaire à l'initialisation des 3D Gaussians. On vérifiera la pertinence de l'approche par comparaison avec des méthodes classiques pour différents cas allant d'un unique objet à des scènes complexes.

Conformément aux engagements pris par le CEA en faveur de l'intégration des personnes handicapées, cet emploi est ouvert à toutes et à tous. Le CEA propose des aménagements et/ou des possibilités d'organisation pour l'inclusion des travailleurs handicapés.
[1] B. Mildenhall, P. P. Srinivasan, M. Tancik, J. T. Barron, R. Ramamoorthi, and R. Ng. Nerf: Representing scenes as neural radiance fields for view synthesis. In European Conference on Computer Vision (ECCV), 2020.
[2] Kerbl, B., Kopanas, G., Leimkuhler, T., Drettakis, G. (2023). 3d gaussian splatting for real-time radiance field rendering. ACM Transactions on Graphics (ToG), 42(4), 1-14.
[3] B. Alsadik, H. Alwan Mahdi, N. Amer Abdulateef, A structured review and taxonomy of next-best-view strategies for 3D reconstruction, ISPRS Open Journal of Photogrammetry and Remote Sensing, Volume 17, 2025.

#CEA-List #Stage