L’apprentissage par renforcement dans un monde saturé de stimuli et de récompenses

 

On le sait, l’une des principales motivations qui nous pousse à apprendre, c’est la récompense, associée à un type d’apprentissage particulier appelé « apprentissage par renforcement ». Les chercheurs se sont beaucoup penchés sur lui, jusqu’en laboratoire. Néanmoins, les recherches menées dans ce domaine ont toujours porté sur des tâches simples, dans le sens où il n’y avait qu’un petit nombre de décisions possibles et de récompenses potentielles (une décision aboutissant à un plus grand bénéfice qu’une autre). Mais que se passe-t-il dans notre cerveau lorsque nous nous trouvons dans des situations plus complexes, où les sources de récompense sont nombreuses ? Comment le cerveau reconnaît-il ce qui est gratifiant et comment l’évalue-t-il en fonction de la récompense ? Autrement dit, comment le cerveau décide-t-il de ce qui est important et de ce qui ne l’est pas dans le monde réel actuel, sursaturé de stimuli et de récompenses ?

 

Il est important de savoir comment l’attention et l’apprentissage interagissent exactement, et comment ils se façonnent entre eux

 

Ce sont ces questions que se sont posées une équipe de chercheurs de l’université de Princeton qui vient de publier ses résultats dans la revue Neuron. L’étude publiée s’intitule Interaction dynamique entre l’apprentissage de renforcement et l’attention dans des environnements multidimensionnels (Dynamic interaction between reinforcement learning and attention in multidimensional environments). Ses résultats pourraient bien contribuer à améliorer l’enseignement et l’apprentissage, ainsi que le traitement de certains troubles où la perspective de l’individu est dysfonctionnelle ou diminuée pour une raison ou une autre.

Estudio: cómo el cerebro decide lo que es importante y lo que no en el aprendizaje

Comme le signale le principal auteur de cette étude, Yael Niv (professeur associé de psychologie à l’Institut des Neurosciences de Princeton), pour comprendre comment un apprentissage se produit, on ne peut pas passer à côté du fait qu’il est habituellement acquis dans un environnement « désordonné » et « multidimensionnel ». « Si l’on veut que les enfants écoutent la maîtresse d’école, on ne peut ignorer que, en classe, il se passe beaucoup de choses pour un enfant, à l’intérieur comme de l’autre côté des fenêtres. Il est donc important de savoir comment l’attention et l’apprentissage interagissent exactement, et comment ils se façonnent entre eux » rapporte Yael Niv.

Par ailleurs, jusqu’ici la plupart des recherches menées sur ce sujet ont porté sur l’attention dite « exogène » (notre attention est automatiquement captée par certaines choses, un bruit fort ou un éclat de lumière, par exemple). En l’occurrence, ce groupe de chercheurs s’est concentré sur l’attention « endogène », c’est-à-dire sur la façon dont nous choisissons de faire attention à ce qui nous entoure pour maximiser ce que nous apprenons de chaque expérience, et quels sont les processus qui configurent ces décisions internes concernant ce à quoi il faut faire attention.

Avant de vous expliquer les conclusions de cette étude, nous vous avançons que la réponse réside dans l’interaction bidirectionnelle entre l’attention et l’apprentissage (une petite récompense visant à stimuler l’apprentissage n’est pas de refus, n’est-ce pas ?).

 

L’étude

Atención y aprendizaje

Les résultats suggèrent une « voie à double sens » entre l’attention et l’apprentissage, où l’attention fixée permettrait l’apprentissage des complexités environnantes et où l’apprentissage promouvrait une attention plus centrée, plus focalisée

 

Les chercheurs se sont penchés sur la façon dont nous apprenons sur quoi fixer notre attention pour apprendre plus efficacement. Autrement dit, pour tirer le meilleur profit des expériences de la vie, sachant que dans les situations de la vraie vie, la plupart des choses sont sans importance et que nous distinguons clairement ce qui est important ou non dans chaque situation. Par exemple, lorsque nous demandons un plat nouveau dans un restaurant – admettons qu’il s’agisse d’une pizza aux anchois –, nous sommes censés apprendre si nous aimons ou non la pizza aux anchois et non pas attribuer le plaisir supposément ressenti au fait d’être assis à une certaine table. Autre exemple : lorsqu’on traverse une rue, il nous faut, pour notre propre sécurité, faire attention à la vitesse et à la direction de la circulation et non pas à la couleur des voitures. Autrement dit, notre attention est (ou devrait être) sélective.

Estudio de Princeton sobre la atención y el aprendizaje

Les participants à l’étude ont reçu une série de neuf images qu’ils devaient regarder. Chaque image était associée à une valeur de récompense inconnue des participants. Leur tâche consistait à identifier l’image (ou les images) offrant la plus grosse récompense. Les auteurs ont eu recours à l’IRMf (imagerie par résonance magnétique fonctionnelle) pour savoir sur quelle image chaque participant se concentrait, ce qui leur a permis de discerner comment l’attention interagissait avec l’apprentissage. Lorsque les participants ont appris quelles images les récompensaient, leur attention s’est concentrée sur les images les plus gratifiantes. Ces résultats suggèrent une « voie à double sens » entre l’attention et l’apprentissage, où l’attention fixée permettrait l’apprentissage des complexités environnantes et où l’apprentissage promouvrait une attention plus centrée, plus focalisée.

En conclusion, nous nous servons de l’attention sélective pour déterminer la valeur des différentes options, pour décider ce que nous apprenons lorsque quelque chose d’inattendu se produit (j’apprends que j’aime la pizza aux anchois, j’ignore la situation sans importance dans laquelle cette découverte se produit) et, enfin, ce que nous apprenons moyennant ce processus nous apprend à quoi il faut faire attention, ce qui crée une boucle de rétroaction.

L’étude portant sur l’Interaction dynamique entre l’apprentissage de renforcement et l’attention dans des environnements multidimensionnels est le fruit de travaux auxquels ont participé Yuan Chang Leong, Angela Radulescu, Reka Daniel, Vivian DeWoskin et Yael Niv.

 

    Sources:

How the Human Brain Decides What Is Important and What’s Not

https://npjscilearncommunity.nature.com/users/16553-alan-woodruff/posts/14749-january-2017-research-round-up
http://www.princeton.edu/~nivlab/aboutus.html

http://neurosciencenews.com/importance-neuroscience-decisions-5967/