Missions

Thème de recherche : Toutes les avancées récentes en compression vidéo sont dues à une augmentation de la complexité : par exemple, plus d'outils et plus de liberté dans le choix des paramètres ou des algorithmes entièrement basés sur l'apprentissage profond. Dans un tel contexte, le coût énergétique global dû à la consommation vidéo ne peut qu'exploser, ce qui n'est pas compatible avec le besoin urgent de sobriété énergétique. Le développement d'algorithmes de compression/décompression vidéo à faible consommation énergétique est exploré depuis longtemps. Cependant, la plupart du temps, la faible complexité obtenue des algorithmes de compression provient de la réduction des capacités du codeur vidéo (par exemple, moins de paramètres à estimer, suppression de certaines fonctionnalités complexes). De telles approches ne remettent pas en question le compromis entre complexité et performances de codage vidéo, et restent donc limitées.
Dans ce projet, nous envisageons d'étudier des algorithmes de compression de faible complexité qui ne sont pas des versions low-cost d'un algorithme complexe. La méthodologie proposée est la suivante. Nous partons d'un codeur complexe basé sur l'apprentissage comme par exemple l'architecture de type auto-encodeur proposée dans [1]. De telles architectures sont capables d'atteindre des performances exceptionnelles, avec cependant une complexité d'encodage et de décodage gigantesque. Notre objectif est d'étudier comment déduire de ce réseau entraîné et de ses millions de paramètres, des caractéristiques efficaces pour une compression de faible complexité. A titre d'exemple, nous pouvons montrer que l'ensemble des opérations non linéaires impliquées dans une architecture neuronale convolutionnelle profonde peut être modélisé comme une opération linéaire une fois l'entrée fixée, comme cela est étudié dans [2,3]. La force de l'architecture profonde réside dans sa capacité à ajuster ce filtre linéaire à l'entrée. Pour notre propos, nous allons au contraire étudier si certaines caractéristiques communes résident dans ces filtres linéaires lorsque l'entrée est modifiée. Ces caractéristiques communes peuvent constituer, par exemple, une opération de transformation ou de partitionnement efficace qui ne nécessite plus de millions de paramètres. En un mot, l'intuition sera de tirer parti d'algorithmes entraînés sur un large ensemble d'images et d'en extraire quelques outils d'analyse communs.

[1] Fabian Mentzer, George D Toderici, Michael Tschannen et Eirikur Agustsson. Compression d'images générative haute fidélité. Advances in Neural Information Processing Systems, 33 : 11913–11924, 2020.
[2] Sreyas Mohan. Débruitage robuste et interprétable via l'apprentissage profond. Thèse de doctorat, Université de New York, 2022.
[3] Sreyas Mohan, Zahra Kadkhodaie, Eero P Simoncelli et Carlos Fernandez- Granda. Débruitage d'images aveugles robuste et interprétable via des réseaux neuronaux convolutionnels sans biais. Préimpression arXiv arXiv:1906.05478, 2019.

Activities

-

Skills

-

Work Context

Le candidat sera rattaché à l'équipe COMPACT de l'IRISA.

A propos du laboratoire
=============
www.irisa.fr
L'IRISA est l'un des plus grands laboratoires de recherche français (plus de 850 personnes) dans le domaine de l'informatique et des technologies de l'information. Structuré en sept départements scientifiques, l'IRISA est un laboratoire d'excellence dont les priorités scientifiques sont la bio-informatique, la sécurité des systèmes, les nouvelles architectures logicielles, la réalité virtuelle, l'analyse des Big Data et l'intelligence artificielle. Tourné vers l'avenir des technologies de l'information et ouvert sur l'international, l'IRISA est au cœur de la transition numérique de la société et de l'innovation dans les domaines de la cybersécurité, de la santé, de l'environnement et de l'écologie, des transports, de la robotique, de l'énergie, de la culture et de l'intelligence artificielle.

Présentation du CNRS en tant qu'employeur : https://www.cnrs.fr/fr/le-cnrs
L'IRISA comme laboratoire d'affectation : https://www.irisa.fr/umr-6074

The position is located in a sector under the protection of scientific and technical potential (PPST), and therefore requires, in accordance with the regulations, that your arrival is authorized by the competent authority of the MESR.