Intern Multi-User Qoe Xr Platform Development H/F InterDigital

Summary

The System for Enhanced Media Representation team (SEMR) has developed a Unity 3D based experience to demonstrate our technologies regarding Multi-Users Quality of Experience (QoE) for eXtended Reality (XR) applications and test new functionalities.

This experience emulates an avatar-guided remote assistance scenario and integrates virtual objects into real environments in real-time while delivering haptic-enhanced feedback to foster realism and interactivity between real and virtual environments.

During this 6-month internship, your main goal will be to upgrade this experience, currently limited to a single user on a simulated network, to support actual client/server communication with multiple users, while also improving inter-user interactions gameplay elements.

You will manage programming, deployment and testing on multiple targets including Windows computer and XR headsets. Available devices will be Meta Quest 3 (current implementation target) Meta VR Glasses and Apple Vision Pro

If time permits, you will also be tasked to implement and evaluate new algorithms to measure and improve the QoE in this Multi-User context.

You will work in collaboration with experts from the InterDigital Video Lab located in Rennes, France.

You will have access to AI Tools to assist you in your work.

eXtended Reality (XR) is a general term encapsulating augmented, mixed and virtual reality (AR, MR and VR), with a strong emphasis on immersion and interactions between virtual and real world.

Multi-Users experiences provide a shared environment for each participant. They rely on network communication to synchronize data and offer inter user interactivity.

Quality of Experience (QoE) refers to the subjective perception of quality for a given experience. In the context of a network based XR application, this can be influenced by interactivity level, response time, spatial stability, graphics quality, etc. Maintaining high level of QoE even during network perturbations is an active field of study.

Responsibilities

Feature design and architecture in collaboration with the team

Development in C# in Unity 3D

Git versioning on the team repository

Test and validation

Documentation and reporting

Résumé

L'équipe System for Enhanced Media Representation (SEMR) a développé une expérience basée sur Unity 3D afin de présenter nos technologies relatives à la qualité d'expérience (QoE) multi-utilisateurs pour les applications de réalité étendue (XR) et de tester de nouvelles fonctionnalités.

Cette expérience émule un scénario d'assistance à distance guidée par un avatar et intègre en temps réel des objets virtuels dans des environnements réels, tout en offrant un retour haptique renforcé afin de favoriser le réalisme et l'interactivité entre environnements réels et virtuels.

Au cours de ce stage de 6 mois, votre objectif principal sera de faire évoluer cette expérience, actuellement limitée à un seul utilisateur sur un réseau simulé, afin qu'elle prenne en charge une véritable communication client/serveur entre plusieurs utilisateurs, tout en améliorant les éléments de gameplay liés aux interactions entre utilisateurs.

Vous prendrez en charge la programmation, le déploiement et les tests sur plusieurs plateformes cibles, dont un ordinateur Windows et des casques XR. Les appareils disponibles seront le Meta Quest 3 (cible de l'implémentation actuelle), les lunettes Meta VR et l'Apple Vision Pro.

Si le temps le permet, il vous sera également demandé d'implémenter et d'évaluer de nouveaux algorithmes de mesure et d'amélioration de la QoE dans ce contexte multi-utilisateurs.

Vous travaillerez en collaboration avec des experts du Video Lab d'InterDigital, situé à Rennes (France).

Vous aurez accès à des outils d'IA pour vous assister dans votre travail.

La réalité étendue (XR) est un terme générique qui englobe la réalité augmentée, mixte et virtuelle (AR, MR et VR), avec une forte importance accordée à l'immersion et aux interactions entre monde virtuel et monde réel.

Les expériences multi-utilisateurs offrent un environnement partagé à chaque participant. Elles reposent sur la communication réseau pour synchroniser les données et permettre l'interactivité entre utilisateurs.

La qualité d'expérience (QoE) désigne la perception subjective de la qualité d'une expérience donnée. Dans le contexte d'une application XR en réseau, elle peut dépendre du niveau d'interactivité, du temps de réponse, de la stabilité spatiale, de la qualité graphique, etc. Le maintien d'un niveau élevé de QoE, y compris lors de perturbations du réseau, est un domaine de recherche actif.

Missions

Conception des fonctionnalités et de l'architecture en collaboration avec l'équipe

Développement en C# sous Unity 3D

Gestion des versions avec Git sur le dépôt de l'équipe

Tests et validation

Documentation et comptes rendus