InternDeep Learning For Perceptual And Color-Aware Energy-Efficient Images H/F InterDigital

Summary

The objective of this internship is to design a deep learning model for generating energy-aware images. Methods for producing energy-aware images - that is, images that consume less energy than their original versions when displayed on a screen - already exist in the literature. These approaches typically aim to achieve a trade-off between reducing energy consumption and preserving the visual quality of the resulting images.

However, several research directions remain to be explored:

Existing approaches mainly focus on reducing the luminance component of images, while we would also like to investigate the colour dimension.

We would like to explore perceptual loss functions, i.e., losses designed to better reflect the characteristics of the human visual perception system.

Current methods struggle to maintain a satisfactory quality-energy trade-off at high power reduction ratios. We would therefore like to investigate how the research directions above could improve performance in this more challenging range.

The objective is to develop a model that combines these different aspects to improve both visual quality and energy efficiency compared with state-of-the-art approaches.

This work represents a further step towards a more sustainable video streaming chain. In the context of climate change, reducing the environmental footprint of video streaming is an important part of the broader effort to reduce carbon emissions.

The internship will first involve reviewing existing approaches for perceptual quality assessment and colour modelling of images. In a second stage, a deep learning-based model will be designed and implemented to generate energy-aware images using these new features. The performance of the proposed model will then be evaluated in terms of both image quality and energy consumption.

The internship will take place within the Media Services research group at the InterDigital Video Lab. The intern will be mentored by research scientists and will contribute to a research project focused on developing solutions to reduce energy consumption across the video streaming ecosystem.

Duration: 5-6 months, starting January-April 2026

Responsibilities

State-of-the-art and analysis of existing solutions

Implementation of a perceptually-based deep learning model for energy reduction

Evaluation and reporting of results

undefined

Related work

[1] O. Le Meur, C. -H. Demarty and L. Blonde, "Deep-Learning-Based Energy Aware Images," 2023 IEEE International Conference on Image Processing (ICIP), Kuala Lumpur, Malaysia, 2023, pp. 590-594, doi: 10.1109/ICIP49359.2023.10222188.

[2] Ameur, Z., Demarty, CH., Ménard, D., Meur, O.L. (2025). 3R-INN: How to Be Climate Friendly While Consuming/Delivering Videos?. In: Leonardis, A., Ricci, E., Roth, S., Russakovsky, O., Sattler, T., Varol, G. (eds) Computer Vision - ECCV 2024. ECCV 2024. Lecture Notes in Computer Science, vol 15133. Springer, Cham. https://doi.org/10.1007/978-3-031-73226-3_9

[3] Emmanuel Sampaio, Claire-Hélène Demarty, and Olivier Le Meur. 2024. How to make images less power-hungry: An objective benchmark study. In Proceedings of the Second International ACM Green Multimedia Systems Workshop (GMSys '24). Association for Computing Machinery, New York, NY, USA, 1-7. https://doi.org/10.1145/3652104.3652525

Résumé

L'objectif de ce stage est de concevoir un modèle d'apprentissage profond permettant de générer des images écoénergétiques. Il existe déjà dans la littérature des méthodes de production d'images écoénergétiques, c'est-à-dire d'images qui consomment moins d'énergie que leur version d'origine lorsqu'elles sont affichées à l'écran. Ces approches visent généralement un compromis entre la réduction de la consommation d'énergie et la préservation de la qualité visuelle des images obtenues.

Plusieurs pistes de recherche restent toutefois à explorer :

Les approches existantes portent principalement sur la réduction de la composante de luminance des images ; nous souhaitons également étudier la dimension de la couleur.

Nous souhaitons explorer des fonctions de perte perceptuelles, c'est-à-dire conçues pour mieux refléter les caractéristiques du système de perception visuelle humain.

Les méthodes actuelles peinent à maintenir un compromis qualité-énergie satisfaisant pour des taux de réduction de puissance élevés. Nous souhaitons donc étudier dans quelle mesure les pistes de recherche ci-dessus pourraient améliorer les performances dans cette plage plus exigeante.

L'objectif est de développer un modèle qui combine ces différents aspects afin d'améliorer à la fois la qualité visuelle et l'efficacité énergétique par rapport aux approches de l'état de l'art.

Ces travaux constituent une étape supplémentaire vers une chaîne de diffusion vidéo plus durable. Dans le contexte du changement climatique, la réduction de l'empreinte environnementale de la diffusion vidéo en streaming est un volet important de l'effort global de réduction des émissions de carbone.

Le stage consistera d'abord à étudier les approches existantes d'évaluation de la qualité perceptuelle et de modélisation de la couleur des images. Dans un second temps, un modèle fondé sur l'apprentissage profond sera conçu et implémenté pour générer des images écoénergétiques à partir de ces nouvelles caractéristiques. Les performances du modèle proposé seront ensuite évaluées, tant en matière de qualité d'image que de consommation d'énergie.

Le stage se déroulera au sein du groupe de recherche Media Services du Video Lab d'InterDigital. La personne recrutée sera encadrée par des scientifiques de l'équipe de recherche et contribuera à un projet de recherche visant à développer des solutions de réduction de la consommation d'énergie dans l'ensemble de l'écosystème de la diffusion vidéo en streaming.

Durée : 5 à 6 mois, avec un démarrage entre janvier et avril 2026

Missions

État de l'art et analyse des solutions existantes

Implémentation d'un modèle d'apprentissage profond fondé sur la perception pour réduire la consommation d'énergie

Évaluation et présentation des résultats

undefined

Travaux connexes

[1] O. Le Meur, C. -H. Demarty and L. Blonde, "Deep-Learning-Based Energy Aware Images," 2023 IEEE International Conference on Image Processing (ICIP), Kuala Lumpur, Malaysia, 2023, pp. 590-594, doi: 10.1109/ICIP49359.2023.10222188.

[2] Ameur, Z., Demarty, CH., Ménard, D., Meur, O.L. (2025). 3R-INN: How to Be Climate Friendly While Consuming/Delivering Videos?. In: Leonardis, A., Ricci, E., Roth, S., Russakovsky, O., Sattler, T., Varol, G. (eds) Computer Vision - ECCV 2024. ECCV 2024. Lecture Notes in Computer Science, vol 15133. Springer, Cham. https://doi.org/10.1007/978-3-031-73226-3_9

[3] Emmanuel Sampaio, Claire-Hélène Demarty, and Olivier Le Meur. 2024. How to make images less power-hungry: An objective benchmark study. In Proceedings of the Second International ACM Green Multimedia Systems Workshop (GMSys '24). Association for Computing Machinery, New York, NY, USA, 1-7. https://doi.org/10.1145/3652104.3652525