Intern Real-Time Transport Of Neural Video Codecs Over Media Over Quic H/F InterDigital

Summary

Context

Neural Video Codecs (NVCs) use learned representations and neural-network-based transforms to compress video. Recent codecs such as Microsoft's DCVC-RT [1] demonstrate that neural video compression is approaching the performance required for real-time applications.

These codecs differ from conventional video codecs in their compressed representations, prediction dependencies, model requirements, and decoder state. Their bitstreams therefore do not naturally fit existing media containers and packetization formats.

Media over QUIC Transport (MOQT) [2] is being developed within the IETF to support low-latency media distribution over QUIC. The NMSF Internet-Draft [3] proposes an initial method for packaging neural video frames as MoQ Groups and Objects. This proposal requires implementation and experimental evaluation against realistic codec behavior and network conditions.

Objective

The internship will investigate how an existing real-time neural video codec, such as Microsoft DCVC-RT, can be packaged and transported over MOQT. The student will study the state of the art, implement and evaluate an NVC proposal, identify its limitations, and propose improvements or an alternative packetization approach where justified.

Responsibilities

Review the state of the art in neural video compression, real-time media transport, QUIC, MOQT, and media packetization.

Analyze NVC bitstreams, frame dependencies, decoder state, and transport requirements.

Implement NMSF-based packetization and integrate the codec with an MOQT sender and receiver.

Develop a reproducible testbed and evaluate latency, overhead, robustness, recovery behavior, video quality, and computational performance.

Analyze the experimental results and propose improvements to NMSF or an alternative packetization design.

Contexte

Les codecs vidéo neuronaux (Neural Video Codecs, NVC) utilisent des représentations apprises et des transformations fondées sur les réseaux de neurones pour compresser la vidéo. Des codecs récents, tels que DCVC-RT de Microsoft [1], montrent que la compression vidéo neuronale approche des performances requises pour les applications en temps réel.

Ces codecs se distinguent des codecs vidéo classiques par leurs représentations compressées, leurs dépendances de prédiction, leurs exigences en matière de modèle et l'état de leur décodeur. Leurs flux binaires ne s'intègrent donc pas naturellement dans les conteneurs multimédias et les formats de paquétisation existants.

Media over QUIC Transport (MOQT) [2] est en cours de développement au sein de l'IETF afin de prendre en charge la distribution de médias à faible latence sur QUIC. L'Internet-Draft NMSF [3] propose une première méthode d'encapsulation des images vidéo neuronales sous forme de groupes et d'objets MoQ (MoQ Groups and Objects). Cette proposition doit être implémentée et évaluée expérimentalement au regard du comportement réel des codecs et de conditions réseau réalistes.

Objectif

Le stage étudiera comment un codec vidéo neuronal temps réel existant, tel que DCVC-RT de Microsoft, peut être encapsulé et transporté sur MOQT. La personne recrutée dressera l'état de l'art, implémentera et évaluera une proposition d'encapsulation NVC, en identifiera les limites et proposera des améliorations ou une autre approche de paquétisation lorsque cela se justifie.

Missions

Dresser l'état de l'art de la compression vidéo neuronale, du transport de médias en temps réel, de QUIC, de MOQT et de la paquétisation des médias.

Analyser les flux binaires NVC, les dépendances entre images, l'état du décodeur et les exigences de transport.

Implémenter une paquétisation fondée sur NMSF et intégrer le codec à un émetteur et à un récepteur MOQT.

Développer un banc d'essai reproductible et évaluer la latence, le surcoût, la robustesse, le comportement de reprise, la qualité vidéo et les performances de calcul.

Analyser les résultats expérimentaux et proposer des améliorations de NMSF ou une autre conception de paquétisation.