Thèse Capteurs d'Images Autonomes et Intelligents H/F

Télécom Paris

Le déploiement à grande échelle de systèmes d'imagerie sans fil constitue un facteur clé pour des applications telles que la gestion intelligente du trafic, la surveillance des infrastructures, l'agriculture de précision, la réalité augmentée et les systèmes avancés d'aide à la conduite (ADAS) [1-6]. Cependant, deux défis majeurs limitent leur adoption : l'autonomie énergétique limitée et la croissance exponentielle des besoins en bande passante vidéo.

L'autonomie reste un goulot d'étranglement critique. Le déploiement massif de caméras sans fil (thermiques, visuelles, multispectrales, LiDAR) nécessite des capteurs et systèmes extrêmement basse consommation. Les systèmes embarqués de récupération d'énergie offrent une solution prometteuse pour étendre l'autonomie tout en utilisant de petites batteries et en conservant un facteur de forme limité. Si de telles approches sont matures pour des capteurs à faible débit de données comme la pression ou la température, aucune solution à grande échelle n'existe pour les applications vidéo, même à faible résolution. La combinaison des besoins de détection, de traitement et de communication rend l'imagerie sans fil autonome particulièrement complexe.

La bande passante vidéo constitue une autre limitation majeure. Selon Cisco VNI, le trafic vidéo représente déjà plus de 80 % du trafic Internet, avec un taux de croissance annuel composé (CAGR) supérieur à 25 %, tandis que le trafic machine-à-machine (M2M) croît d'environ 20 % [6]. L'ajout de flux vidéo provenant de millions de capteurs d'image connectés au cloud pour des décisions en temps réel va considérablement augmenter la demande en bande passante. De plus, ce trafic diffère de celui du divertissement : de nombreuses applications de détection et de surveillance sont critiques et nécessitent des garanties strictes en termes de latence, de bande passante et de fiabilité, difficiles à atteindre avec des architectures centrées sur le cloud.

L'Edge AI apparaît comme une solution attractive pour l'imagerie IoT à grande échelle, évitant la transmission complète des images sur les réseaux xG. Le traitement local permet de ne transmettre que des informations de haut niveau ou des données compressées. Les solutions actuelles incluent des NPU (unités de traitement neuronal) généralistes [8], inadaptées à l'exploitation avec récupération d'énergie, ou des réseaux neuronaux à fonctions fixes [9], peu flexibles.

Les principaux objectifs sont :

Caractériser les compromis PPA (puissance/performance/aire) d'un accélérateur IA ultra-basse consommation sous contraintes d'énergie et de bande passante

Étudier le partitionnement optimal des charges de travail IA entre capteur, edge et cloud

Concevoir une architecture matérielle innovante pour systèmes d'imagerie autonomes

Développer des techniques sub-seuil innovantes pour réduire la consommation et améliorer la robustesse

Plan sur trois ans :

Année 1 (État de l'art, Analyse PPA) : Analyse PPA de notre accélérateur IA ([10],[11]) sous contraintes de récupération d'énergie et étude de la division optimale du travail entre edge et cloud. Comparaison avec des architectures concurrentes (CEA, STMicro, Syntiant).

Année 2 (Proposition de nouvelle architecture, expériences FPGA) : Proposer une nouvelle architecture en tenant compte des contraintes énergétiques et de bande passante. Conception et expérimentation sur FPGA pour explorer des techniques telles que le design sub-seuil, la sparsité, le pruning et le clock gating.

Année 3 (Conception et validation du prototype) : Prototype final en silicium (TSMC 28nm) et validation expérimentale. Intégration possible avec des capteurs CMOS partenaires (ex. CEA) ou capteurs commerciaux. Validation de la nouvelle architecture.

Distributed imaging systems are increasingly used in applications requiring fine environmental perception and rapid decision-making. However, current architectures largely rely on massive data transfer to the cloud, leading to critical issues in bandwidth usage, latency, energy consumption and system resilience.

In autonomous sensor networks, particularly in constrained or remote environments, energy autonomy is a major technological bottleneck. While energy-efficient solutions exist for scalar sensors, no scalable solution currently addresses the needs of imaging systems performing advanced processing.

Existing Edge AI solutions either rely on general-purpose accelerators that are incompatible with extreme energy constraints, or on highly specialized architectures lacking flexibility. This PhD thesis lies at the intersection of hardware architecture, embedded artificial intelligence and low-power design, aiming to propose solutions tailored to the stringent constraints of autonomous imaging systems.