Description du sujet de thèse

La prévalence croissante des flux de données dans les applications du monde réel nécessite le développement de techniques de configuration d'algorithmes efficaces et adaptatives. Les approches d'optimisation hors ligne traditionnelles ont du mal à suivre le rythme de la nature évolutive des flux de données, soulignant la nécessité de
nouvelles méthodes capables d'adapter dynamiquement les hyperparamètres en temps réel [1].
L'objectif de cette thèse de doctorat est de faire progresser le domaine de la configuration et de la sélection d'algorithmes de manière continue en étudiant des techniques qui optimisent en continu les modèles d'apprentissage automatique
à mesure que de nouvelles instances de données arrivent [2]. L'un des principaux objectifs sera de tirer parti du méta-apprentissage dans les flux de données
[3,4,5] pour améliorer le processus d'optimisation, permettant des ajustements d'hyperparamètres éclairés sur la base d'expériences passées sur des tâches similaires. En outre, cette recherche explorerait l'importance des hyperparamètres, en identifiant les paramètres qui ont l'impact le plus significatif sur les performances du modèle (en utilisant des techniques telles que l'analyse de sensibilité et les mesures d'importance des caractéristiques) [6]. L’identification des relations entre les hyperparamètres et les performances pourrait conduire à des stratégies d’optimisation plus ciblées et plus efficaces, réduisant la surcharge de calcul tout en accélérant
la convergence et en améliorant l’adaptabilité globale du modèle. Un domaine d’application principal de ce travail est l’optimisation de la boîte noire, où les algorithmes doivent être réglés sans connaissance explicite de la structure interne de la fonction objective. En intégrant des techniques de configuration adaptative à l’optimisation des hyperparamètres en temps réel, cette recherche vise à améliorer l’efficacité et l’efficience des modèles dans des environnements dynamiques. Les contributions attendues comprennent de nouvelles méthodologies pour la configuration et la sélection d’algorithmes en ligne, une compréhension plus approfondie de l’importance des hyperparamètres dans les contextes de streaming et des cadres pratiques qui peuvent être appliqués aux problèmes d’optimisation de la boîte noire. En fin de compte, ce travail vise à combler le fossé entre AutoML et les flux de données, permettant des systèmes d’apprentissage plus robustes, évolutifs et autonomes.

[1] Baratchi, M., Wang, C., Limmer, S., van Rijn, J. N., Hoos, H., Bäck, T., Olhofer, M.: Automated
machine learning: past, present and future. Artificial Intelligence Review, 2024
[2] Bahri, M., Bifet, A., Gama, J., Gomes H M., Maniu, S.: Data stream analysis: Foundations, major
tasks and tools. WIREs DMKD, 2021
[3] Rossi, André Luis Debiaso, et al. MetaStream: A meta-learning based method for periodic
algorithm selection in time-changing data. Neurocomputing 2014
[4] Rossi, André Luis Debiaso, et al. A guidance of data stream characterization for meta-learning.
Intelligent Data Analysis, 2017
[5] Lacombe, T., Koh, Y. S., Dobbie, G., & Wu, O. A meta-learning approach for automated
hyperparameter tuning in evolving data streams. IJCNN, 2021
[6] Van Rijn, J. N., Hutter, F.: Hyperparameter importance across datasets. ACM SIGKDD, 2018

Contexte de travail

La thèse sera réalisée au département Informatique du LIP6 de Sorbonne Université. L'étudiant sera encadré par Carola Doerr, directrice de recherche CNRS. L'étudiant intégrera l'équipe de Recherche Opérationnelle (RO) du LIP6.
La thèse de doctorat est financée via la bourse ERC Consolidator "dynaBBO : Dynamic Selection and Configuration of Black-box Optimization Algorithms". Des fonds de voyage et des ressources pour un séjour de recherche d'une durée maximale de trois mois avec l'un de nos collaborateurs internationaux sont disponibles. Le doctorant aura accès aux installations informatiques du laboratoire Informatique du LIP6 et de Sorbonne Université.
Notre langue de travail est l'anglais. Aucune connaissance du français n'est requise.

Contraintes et risques

non pertinent