Description du sujet de thèse

L'apprentissage automatique est devenu l'outil central pour de nombreuses tâches différentes en imagerie médicale, allant du diagnostic et du pronostic assistés par ordinateur (classification/régression) à la segmentation des structures/lésions anatomiques ou à la synthèse d'images, par exemple. Cependant, l'impact médical est souvent limité par rapport à la quantité de recherche effectuée. L'une des raisons est que la validation est souvent inadéquate ou incomplète. En particulier, lorsqu'on publie sur une méthode d'apprentissage automatique, il est essentiel non seulement d'évaluer ses performances de manière impartiale, mais aussi de rendre compte de la précision des estimations de performance. En d'autres termes, il est nécessaire de fournir une évaluation statistique complète des performances. Malheureusement, c'est rarement le cas dans la littérature : soit aucune évaluation statistique n'est fournie, soit des procédures inadéquates sont utilisées.

Il y a deux cas qui doivent être distingués : l'évaluation d'un modèle formé et l'évaluation d'une procédure d'apprentissage. Veuillez vous référer à (Varoquaux et Colliot, 2023) pour plus de détails sur ces deux cas et pour une discussion sur les problèmes statistiques liés. Les deux cas sont importants. Dans le premier cas, on considère l'évaluation statistique d'un modèle formé. La seule source de variance est les échantillons de test, mais l'évaluation peut toujours être difficile, en particulier en raison des spécificités de l'imagerie médicale (différentes métriques, structure de données hiérarchique, structure de corrélation entre les échantillons…). C'est une question critique avant de mettre le modèle en production (par exemple pour des études ultérieures en neurosciences ou comme une étape vers une utilisation clinique future). Dans le deuxième cas, on considère l'ensemble de la procédure d'apprentissage. Les sources de variance sont multiples, non seulement les échantillons de test, mais aussi les échantillons d'entraînement, les hyperparamètres, les graines aléatoires… La dérivation des procédures statistiques est complexe et il n'existe pas de consensus. Ce cas est essentiel lorsqu'on veut prétendre qu'une approche donnée surpasse l'état de l'art.

Ce projet vise à étudier les méthodes statistiques pour évaluer les modèles et procédures d'apprentissage automatique dans l'analyse d'images médicales. Il est composé des tâches principales suivantes, chacune étant considérée à la fois du point de vue des modèles formés et de celui des procédures d'apprentissage :
- établir des dérivations statistiques claires et rigoureuses pour l'évaluation et la comparaison des modèles/algorithmes,
- étudier la validité de ces procédures pour différentes tâches d'image médicale et métriques,
- analyser de manière critique les pratiques existantes dans la littérature à travers une revue de littérature quantitative et une méta-analyse,
- réaliser des expériences pour démontrer l'applicabilité des méthodes proposées,
- contribuer à l'établissement de lignes directrices adaptées au contexte (nombre d'échantillons, type d'approche ML, jeu de données...)

References
- G. Varoquaux and O. Colliot, “Evaluating machine learning models and their diagnostic value,” Machine Learning for Brain Disorders, Springer, HAL preprint, vol. hal-03682454, 2023 https://hal.archives-ouvertes.fr/hal-03682454

Contexte de travail

Vous travaillerez au sein de l’équipe ARAMIS (www.aramislab.fr) de l'Institut du cerveau (CNRS UMR 7225) de Paris. L'institut est idéalement situé au cœur de l'hôpital de la Pitié-Salpêtrière, au centre de Paris.
L’équipe ARAMIS se consacre au développement de nouvelles approches informatiques pour l'analyse de grands ensembles de données cliniques et de neuroimagerie. Avec environ 35 personnes, l’équipe a une composition multidisciplinaire, réunissant des chercheurs en apprentissage machine et en statistiques et des médecins (neurologues, neuroradiologues).
Pour plus d’informations, merci de contacter Olivier Colliot (https://www.aramislab.fr/perso/colliot/).

Contraintes et risques

Pas de contraintes particulières
La thèse sera rattachée à l’école doctorale EDITE (https://www.edite-de-paris.fr/spip/)