Thèse sur la formalisation et l'intégration du bien-être dans les algorithmes de recommandation (H/F)

Description du Poste

Sujet De Thèse

Formalisation et intégration du bien-être dans les algorithmes de recommandation

La performance des algorithmes de recommandation exploitant le comportement humain dépend fortement de leur capacité à saisir l'expérience des personnes qui interagissent avec eux. Par exemple, dans le domaine de l'éducation, les recommandations de cours et d'évaluations devraient prendre en compte non seulement l'évolution des connaissances des apprenants, mais aussi des aspects de leur bien-être tels que l'engagement, la motivation, l'intérêt, la satisfaction, la frustration, l'ennui, la fatigue et l'anxiété [0]. Plusieurs études ont démontré que l'intégration du bien-être dans la prise de décision favorise une meilleure santé mentale, réduit le risque d'épuisement professionnel et améliore les performances à long terme [3,6]. Les travaux du/de la candidat(e) s'inscriront dans le cadre de FeelGoodAI, un projet visant à repenser les approches de recommandation afin de représenter et d'exploiter le bien-être humain dans la prise de décision.

FeelGoodAI sera appliqué au domaine de l'éducation, où la santé mentale et le bien-être des apprenants sont des enjeux majeurs. De multiples perspectives et concepts liés au bien-être sous-tendent plusieurs théories de la psychologie positive actuellement adoptées en intelligence artificielle pour l'éducation (IAE). Ces théories incluent la théorie du flow [4], caractérisée par une immersion profonde dans des activités stimulantes et orientées vers un objectif (voir figure ci-jointe), et la théorie de l'autodétermination [25], qui souligne l'importance de l'autonomie, des compétences et de l'appartenance dans la motivation des apprenants. Le candidat aura pour objectif de formaliser le bien-être dans l'éducation et de concevoir des algorithmes d'orchestration d'IA capables de soutenir la progression vers la maîtrise tout en régulant le bien-être des apprenants.

Missions
Le/la candidat(e) aura plusieurs objectifs :

Formalisation informatique du bien-être : Définir un cadre multidimensionnel du bien-être incluant la frustration, l'anxiété, l'engagement, l'ennui, etc., et modéliser ces dimensions comme des états dynamiques latents, des états persistants dans le temps et des modulateurs de la performance. Le/la candidat(e) devra étendre les modèles d'apprentissage tels que IRT et BKT, et estimer le bien-être des étudiants à partir de plateformes réelles en extrayant des indicateurs implicites (temps de réponse, abandons, commentaires, interactions entre pairs).

Formalisation d’algorithmes d’orchestration d'agents d'IA pédagogiques : former des agents RL et LLM et étudier l'optimisation multi-objectifs (maîtrise, stabilité du bien-être).

Collaborer avec un ingénieur pour déployer des expériences contrôlées et collecter des données sur le bien-être.

Activités :
- Modélisation formelle du bien-être
- Implémentation d'un simulateur d'étudiant enrichi
- Développement d'agents RL multi-objectifs
- Intégration optionnelle de LLM pour la génération de stratégies
- Déploiement sur des plateformes partenaires
- Analyse expérimentale longitudinale
- Participation aux publications et aux livrables du projet

Contributions attendues :
- Un cadre formel pour la modélisation du bien-être dans l'apprentissage adaptatif
- Un modèle de simulation d'étudiant prenant en compte le bien-être
- Un cadre RL multi-objectifs
- Une architecture d'orchestration
- Validation expérimentale sur des données simulées et réelles

Compétences :
Capacités d'abstraction, excellentes compétences en programmation C/C++ et Python, aptitude au travail d'équipe. La maîtrise de l'anglais est requise.

REFERENCES
[0] C. Bekker, S. Rothmann, M. Kloppers (2023). The happy learner: Effects of academic boredom, burnout, and engagement, Frontiers in Psychology 13, (2023)
[1] Abdin, M. et al. (2024). Phi-3: A Highly Capable Language Model Locally on Your Phone. arXiv:2404.14219
[2] Amer-Yahia S. 2024. Intelligent Agents for Data Exploration. Proc. VLDB Endow. 17, 12 (2024).
[3] Black, A. E., Deci, E. L. (2000). The effects of Instructors' Autonomy Support and learners' Autonomous
Motivation on Learning Organic Chemistry. Science Education, 84(6), 740–756.
[4] Basawapatna A., Repenning A., Koh H., Nickerson H. (2013). The Zones of Proximal Flow: Guiding students through a Space of Computational Thinking Skills. ICER 2013 67-74.
[5] Besta M. et al. (2024). Graph of Thoughts: Solving Elaborate Problems with LLMs. AAAI Conference on AI.
[6] Bittencourt, Ig. et al. (2023). Positive AI in Education (P-AIED): A Roadmap. Journal of AIED.
[7] Bonino G., Sanmartino G., Gatti-Pinheiro, Papotti P ., Troncy R., Michiardi P . (2024). Fine Tuning a Large Language Model for Socratic Interactions. Workshop on AI for Education (AI4EDU).
[8] Bouarour N., Benouaret I., Amer-Yahia S. (2024). Multi-Objective Test Recommendation for Adaptive
Learning. Trans. Large Scale Data Knowl. Centered Syst. 1-36.
[9] Chiang D., Lee H. (2023). Can LLMs be an Alternative to Human Evaluations? Assoc. for Comp. Linguistics.
[10] Durante Z., Huang Q., Wake N., Gong R., Park J. S., Sarkar B., Taori R., Noda Y ., Terzopoulos D., Choi Y ., (2024). Agent AI: Surveying the Horizons of Multimodal Interaction. arXiv:2401.03568
[11] Deeva G., Bogdanova D., Serral E., Snoeck M., De Weerdt J.( 2021). A Review of Automated Feedback Systems for Learners. Computers & Education 162.
[12] Gao J., Galley M., Li L. (2018). Neural Approaches to Conversational AI. Association for Comp. Linguistics.
[13] Guinet G., Omidvar-Tehrani B., Deoras A., Callot L. (2024). Automated Evaluation of Retrieval-Augmented LLMs with Task-Specific Exam Generation. arXiv:2405.13622
[14] Hao S., Gu Y ., Ma H., Hong J., Wang D., Hu. Z. (2023). Reasoning with LLMs is Planning with Word Model. EMNLP .
[15] Heutte, J., Fenouillet, F., Martin-Krumm, C., Gute, G., Raes, A. Gute, D., Bachelet, R. & Csikszentmihalyi, M. (2021). Optimal Experience in Adult Learning: Validation of Flow in Education. Frontiers in Psychology, 12, 1-12.
[16] Hong J., Lee N., Thorne J. (2024). ORPO: Monolithic Pref. Opt. without Reference Model. arXiv:2403.07691
[17] Huang X., Liu W., Chen X., Wang X., Wang H., Lian D., Wang Y ., Tang R., Chen E. (2024). Understanding the Planning of LLM Agents: A survey. arXiv:2402.02716
[18] Liévin V., Hother C. E., Motzfeldt A. G., Winther O. (2022). Can LLMs Reason about Medical Questions? arXiv:2207.08143
[19] Liu Y ., Iter D., Xu Y ., Wang S., Xu R., Zhu C. (2023). G-Eval: NLG Eval. GPT-4 with Human Alignment. EMNLP .
[20] Matsubara M., Borromeo R., Amer-Yahia S., Morishima A. (2021). Task assignment strategies for Crowd Worker Ability Improvement. ACM Hum. Comput. Interact. 5 (CSCW): 1-375.
[21] McKee, K.R., Tacchetti, A., Bakker, M.A. et al. Scaffolding Cooperation in Human Groups with Deep Reinforcement Learning. Nat Hum Behav 7, 1787–1796 (2023).
[22] Melnyk I., Mroueh Y ., Belgodere B., Rigotti M., Nitsure A., Yurochkin M., Greenewald K., Navratil J., Ross J. (2024). Distributional Preference Alignment of LLMs via Optimal Transport. arXiv:2406.05882
[23] Pilourdault J., Amer-Yahia S., Basu Roy S. Lee D. (2023). Task Relevance and Diversity as Worker Motivation in Crowdsourcing. IEEE ICDE.
[24] Rafailov R., Sharma A., Mitchell E., Manning C. D., Ermon S., Finn C. (2023). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. NeuRIPS.
[25] Ryan, R. M., Deci, E. L. (2000). Self-Determination Theory and the Facilitation of Intrinsic Motivation, Social Development, and Well-Being. American Psychologist, 55, 68-78.
[26] Schulman J., Wolski F., Dhariwal P ., Radford A., Klimov O. (2017). PPO Algorithms. arXiv:1707.06347
[27] Shankar S., J. D. Zamfirescu-Pereira, Hartmann B., Parameswaran A., Arawjo I. (2024). Who Validates the Validators? Aligning LLM-Assisted Evaluation of LLM Outputs with Human Preferences. CoRR, abs/2404.12272.
[28] Wang C., Deng Y ., Lyu Z., Zeng L., He J., Yan S., An. B. (2024). Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning. arXiv:2406.14283
[29] Wei J., Wang X., Schuurmans D., Bosma M., Ichter B., Xia F., Chi E. H., Le Q. V., Zhou. D. (2022). Chain-of-Thought Prompting Elicits Reasoning in LLMs. NeuRIPS.
[30] Yao S., Yu D., Zhao J., Shafran I., Griffiths T. L., Cao Y ., Narasimhan. K. R. (2023). Tree of Thoughts: Deliberate Problem Solving with LLMs. NeuRIPS.
[31] Chen Y ., Wang R., Jiang H., Shi S., Xu R. Exploring the Use of LLMs for Reference-Free Quality Evaluation. (2023). CoRR, abs/2304.00723.
[32] W. H. Nori, Y . T. Lee, E. Horvitz. Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case Study in Medicine. In CoRR, abs/2311.16452, 2023.
[33] S. Lamsiyah, A. El Mahdaouy. A Reinforcement Learning-based Method for Educational Question Generation. In Artificial Intelligence in Education. AIED 2024.
[34] K. Ethayarajh, W. Xu, N. Muennighoff, D. Jurafsky, W. Kiela. KTO: Model Alignment as Prospect Theoretic Optimization. arXiv:2402.01306, 2024.

Votre Environnement de Travail

Ce travail se déroulera au Laboratoire d'Informatique de Grenoble (LIG), un laboratoire de 450 personnes comprenant des enseignants-chercheurs, des doctorants, ainsi que du personnel administratif et technique. La mission du LIG est de contribuer au développement des aspects fondamentaux de l'informatique (modèles, langages, méthodologies, algorithmes) et de relever les défis conceptuels, technologiques et sociétaux. Les 22 équipes de recherche du LIG visent à accroître la diversité et le dynamisme des données, des services, des dispositifs d'interaction et des cas d'usage afin d'influencer l'évolution des logiciels et des systèmes et de garantir des propriétés essentielles telles que la fiabilité, la performance, l'autonomie et l'adaptabilité. La recherche au sein du LIG est organisée en 5 axes de recherche : Systèmes intelligents pour la mise en relation des données, des connaissances et des humains ; Ingénierie logicielle et des systèmes d'information ; Méthodes formelles, modèles et langages ; Systèmes interactifs et cognitifs ; Systèmes distribués ; Calcul parallèle ; et Réseaux. L’équipe d’accueil, DAISY, est une équipe de recherche conjointe du CNRS, de Grenoble INP et de l’UGA qui travaille sur des problématiques de recherche à l’intersection de l’IA et de la gestion des données, mais aussi lorsque les données proviennent de domaines interdisciplinaires tels que l’éducation et la santé.

Ce poste se situe dans une zone soumise à la législation française sur la protection du potentiel scientifique et technique (PPST) et requiert donc, conformément à la réglementation, que votre arrivée soit autorisée par l’autorité compétente du ministère de l’Enseignement supérieur et de la Recherche (MESR).

Rémunération et avantages

Rémunération

La rémunération est d'un minimum de 2300,00 € mensuel

Congés et RTT annuels

44 jours

Pratique et Indemnisation du TT

Pratique et indemnisation du TT

Transport

Prise en charge à 75% du coût et forfait mobilité durable jusqu’à 300€

À propos de l’offre

À propos du CNRS

Le CNRS est un acteur majeur de la recherche fondamentale à une échelle mondiale. Le CNRS est le seul organisme français actif dans tous les domaines scientifiques. Sa position unique de multi-spécialiste lui permet d’associer les différentes disciplines pour affronter les défis les plus importants du monde contemporain, en lien avec les acteurs du changement.

Le CNRS

Les métiers de la recherche