Thèse : "Comment rendre les bandes-dessinées accessibles pour les personnes déficientes visuelles : conception et évaluation expérimentales de narrations auditives immersives générées par l'IA (BD-Access)" H/F

Description du Poste

Sujet De Thèse

Présentation du sujet de thèse et du projet :
Contexte : Pour assurer un accès équitable aux produits et services essentiels aux personnes en situation de handicap, l’Union européenne a adopté en 2019 l’European Accessibility Act. Cette directive exige notamment que les livres numériques publiés soient disponibles dans un format accessible aux personnes ne pouvant pas lire visuellement. Cependant, les bandes dessinées, en raison de leur complexité visuelle et narrative, ont obtenu une exemption temporaire de la part de l’ARCOM. En France, les bandes dessinées accessibles sous forme audio restent rares et reposent sur des adaptations manuelles, nécessitant un travail éditorial et artistique lourd et coûteux. Bien que ces versions offrent une expérience d’écoute riche, le coût et la complexité de cette adaptation en limitent le nombre au regard des milliers de bandes dessinées publiées chaque année.

La thèse BD-Access s’inscrit dans le cadre du projet ANR EnACA (ENhancing Accessibility in Comic Albums) qui vise à combler ce fossé en matière d'accessibilité en tirant parti des avancées dans les domaines de l'intelligence artificielle et des sciences cognitives. La restitution d’une bande dessinée visuelle en narration audio ne consiste pas à seulement restituer oralement les informations textuelles et décrire les images associées, mais nécessite de construire un récit auditif à partir d’un objet multimédia. Il est tout d’abord nécessaire d’extraire de manière robuste les différents éléments constitutifs de la bande dessinée (détection des cases et des bulles, reconnaissance du texte, segmentation et identification des personnages), puis de structurer ces informations afin de produire une narration cohérente respectant l’intention narrative et la progression de l’histoire. Dans ce cadre, les approches fondées sur l’intelligence artificielle ouvrent des perspectives concrètes pour automatiser l’analyse des planches, la mise en relation des éléments et la génération de scripts de narration.
Le Projet EnACA vise à développer une chaîne outillée allant de l’analyse automatique des bandes dessinées à la génération de narrations audio, tout en articulant ces développements avec une évaluation cognitive auprès de publics déficients visuels et une intégration dans les standards et technologies de lecture.
Le projet mobilise une approche interdisciplinaire reposant sur la collaboration entre des spécialistes de l'analyse de textes et d'images, du traitement du langage naturel, des grands modèles linguistiques, des modèles vision-langage, de l'apprentissage profond et de la psychologie et de l’ergonomie cognitives. Le consortium du projet EnACA regroupe le laboratoire Informatique Image et Interaction (L3I/EA2118, Université La Rochelle), le laboratoire d'Informatique Fondamentale d'Orléans (LIFO/EA 4022, Université d’Orléans), le laboratoire Cognition, Langues, Langage, Ergonomie (CLLE/UMR 5263, Université Toulouse Jean Jaurès), Comix AI, European Digital Reading Lab et l’association Valentin Haüy.

L’objectif de la thèse BD-Access est de mobiliser des contributions théoriques et méthodologiques issues de la psychologie et l’ergonomie cognitive pour optimiser la compréhension des descriptions audio immersives et l’expérience de lecture induite, notamment en termes d’immersion dans l’histoire, chez des adultes présentant des troubles de la fonction visuelle. Plusieurs verrous scientifiques relatifs à « quoi et comment restituer » doivent être traités :
- la sélection et l’organisation de l’information à restituer, puisqu’il s’agit de combiner les informations issues du texte et de l’image tout en opérant des choix narratifs : point de vue adopté, temporalité des descriptions, hiérarchisation des informations et gestion de la continuité, afin de réduire les ambiguïtés d’une case à l’autre.
- Les choix des modalités spécifiques de restitution (par exemple les voix des personnages et du narrateur), la prosodie et le design sonore pour restituer les fonctions habituellement assurées par la mise en page et les indices graphiques.

Activités attendues :
- Revue de la littérature sur les thèmes suivants : modèles cognitifs de la compréhension du récit et des BD, spécificités de la compréhension orale/écrite, transformation de supports multimédia en supports audio (par exemple audio-description), accessibilité en général et des BD en particulier, immersion et expérience utilisateur ;
- Analyse détaillée des besoins des utilisateurs malvoyants en matière d'accessibilité des bandes dessinées afin d'évaluer les principes de conception fondamentaux qui améliorent leur expérience. Cette évaluation se concentrera sur trois dimensions clés de la narration auditive : accessibilité cognitive, facilité d'interaction, acceptabilité.
- Expérimentations - Tests utilisateurs : comparaison de l'impact de différents principes de conception à travers des études contrôlées auprès des utilisateurs, en évaluant des variables telles que la compréhension de l'histoire, l'effort mental subjectif, les comportements de navigation et la satisfaction globale. L'étude se concentrera sur deux groupes d'utilisateurs distincts : (1) les utilisateurs aveugles de naissance (aveugles depuis la naissance ou la petite enfance). (2) les utilisateurs ayant perdu la vue tardivement et les malvoyants (ceux qui ont perdu la vue plus tard dans leur vie).
- Evaluation des solutions d'accessibilité finales en analysant leur impact sur les mêmes variables que précédemment. Un aspect essentiel de cette évaluation consiste à comparer deux groupes d'utilisateurs : les personnes voyantes qui consultent les bandes dessinées de manière visuelle et les utilisateurs aveugles ou malvoyants. Cette comparaison est cruciale pour déterminer si les solutions d'accessibilité offrent une expérience équivalente à la lecture visuelle.
- Valorisation et diffusion des travaux de recherche (communications orales à des congrès internationaux, publications en anglais, etc).
- Participation active aux réunions de travail de l’équipe du projet EnACA et BD-Access, aux séminaires recherche de l’équipe PLC et du CLLE.

Profil du candidat recherché :
o Diplôme : Bac +5 en psychologie cognitive, ergonomie cognitive, sciences cognitives

o Compétences requises :
- Expertise en psychologie cognitive et/ou ergonomique, sciences cognitives
- Très bonne connaissance des processus cognitifs impliqués dans la compréhension du langage, le traitement de l’information multimédia, l’immersion, la multimodalité
- Très bonne connaissance des modèles et des techniques d’évaluation de l'expérience utilisateur
- Compétences solides en méthodologie expérimentale, analyse des usages et analyse statistique.
- Connaissances de base en IA
- Capacité à travailler en contexte collaboratif pluridisciplinaire (conduite de réunion, planification, etc.)
- Solides habiletés de communication scientifique écrite et orale
- Très bon niveau d'anglais professionnel
- Maitrise des principes de sciences ouvertes
- Savoir-être : rigueur, motivation, autonomie, pro-activité, créativité, persévérance et capacités d’adaptation

Votre Environnement de Travail

Le laboratoire CLLE (Cognition, Langues, Langage, Ergonomie) est une UMR CNRS créée en janvier 2007 et principalement hébergée sur le site de l’Université Toulouse Jean Jaurès.
Le laboratoire fait partie de l’Institut des Sciences Humaines et Sociales du CNRS et est rattaché principalement à la section 34 du CNRS (Sciences du Langage) et de façon secondaire à la section 26 du CNRS (Cognition, Cerveau, Comportement) de l’Institut des Sciences Biologiques du CNRS. CLLE est donc une unité de recherche pluridisciplinaire relevant des Sciences Cognitives : les travaux qui y sont menés couvrent les champs, à périmètre plus ou moins large, de la linguistique, de la psychologie, de l’informatique, de la philosophie, de l’éducation et des neurosciences.
Les travaux du doctorant s’inscriront dans l’équipe Processus Langagiers et Cognitifs dont les recherches portent sur l’interaction entre la cognition humaine et le langage appréhendé en tant qu’entité cognitive, moyen de communication, objet d’apprentissage et d’évolution au cours de la vie, et phénomène socio-culturel.

Rémunération et avantages

Rémunération

La rémunération est d'un minimum de 2300,00 € mensuel

Congés et RTT annuels

44 jours

Pratique et Indemnisation du TT

Pratique et indemnisation du TT

Transport

Prise en charge à 75% du coût et forfait mobilité durable jusqu’à 300€

À propos de l’offre

À propos du CNRS

Le CNRS est un acteur majeur de la recherche fondamentale à une échelle mondiale. Le CNRS est le seul organisme français actif dans tous les domaines scientifiques. Sa position unique de multi-spécialiste lui permet d’associer les différentes disciplines pour affronter les défis les plus importants du monde contemporain, en lien avec les acteurs du changement.

Le CNRS

Les métiers de la recherche