Les humains et les animaux contrôlent leurs mouvements de manière très précise. Pour mieux comprendre comment ils y parviennent, des neuroscientifiques de l’Université de Harvard et des chercheurs de DeepMind, le laboratoire d’IA de Google, ont créé un rat virtuel qu’ils ont entraîné à imiter les mouvements de “vrais” rats en utilisant l’apprentissage par renforcement profond (deep RL).

Dirigée par le professeur Bence Ölveczky du Département de biologie organique et évolutive de Harvard, l’équipe de recherche a développé un modèle numérique biomécaniquement réaliste d’un rat. En utilisant des données à haute résolution enregistrées à partir de vrais rats, ils ont entraîné un réseau neuronal artificiel pour contrôler le corps virtuel dans un simulateur physique appelé MuJoco, (Multi-Joint Dynamics with Contact) qui intègre des forces telles que la gravité et d’autres interactions physiques.

Prédictions précises de l’activité neuronale

Bence Ölveczky, expert dans l’entraînement des “vrais” rats à des comportements complexes pour étudier leurs circuits neuronaux, commente :

“Les chercheurs ont découvert que les activations dans le réseau de contrôle virtuel prédisaient avec précision l’activité neuronale mesurée à partir du cerveau de vrais rats produisant les mêmes comportements”.

Ajoutant :

“L’exploit représente une nouvelle approche pour étudier comment le cerveau contrôle le mouvement, en tirant parti des progrès de l’apprentissage par renforcement profond et de l’IA, ainsi que du suivi des mouvements 3D chez les animaux se comportant librement”.

Une collaboration fructueuse avec DeepMind

La collaboration avec DeepMind a été déterminante dans le succès de cette recherche, ce que reconnaît volontiers Bence Ölveczky :

“DeepMind avait développé un pipeline pour entraîner les agents biomécaniques à se déplacer dans des environnements complexes. Nous n’avions tout simplement pas les ressources nécessaires pour effectuer des simulations comme celles-ci, pour entraîner ces réseaux”.

Pour Matthew Botvinick, co-auteur et directeur principal de la recherche chez Google DeepMind, travailler avec les chercheurs de Harvard a également été “une opportunité vraiment excitante”.

Il déclare :

“Nous avons beaucoup appris du défi de la construction d’agents incarnés : des systèmes d’IA qui doivent non seulement penser intelligemment, mais aussi traduire cette pensée en action physique dans un environnement complexe. Il semblait plausible que l’adoption de cette même approche dans un contexte de neurosciences puisse être utile pour fournir des informations sur le comportement et le fonctionnement du cerveau”.

Des modèles de dynamique inverse

L’étudiant diplômé Diego Aldarondo a travaillé avec les chercheurs de DeepMind pour entraîner le réseau neuronal à implémenter des modèles de dynamique inverse, une hypothèse selon laquelle notre cerveau calcule la trajectoire nécessaire pour accomplir une tâche motrice. Lorsque l’on veut prendre quelque chose, par exemple une tasse de café, le cerveau calcule la trajectoire que le bras doit suivre qu’il traduit en commandes motrices.

De même, sur la base de données provenant de rats réels, le réseau a été alimenté par une trajectoire de référence du mouvement souhaité et a appris à produire les forces pour le générer. Cela a permis au rat virtuel d’imiter un large éventail de comportements, même ceux sur lesquels il n’avait pas été explicitement formé.

Applications futures

Ces simulations ouvrent la voie à une nouvelle ère de neurosciences virtuelles, où les animaux simulés par l’IA peuvent servir de modèles pratiques et transparents pour étudier les circuits neuronaux et les maladies neurologiques. Alors que le laboratoire d’Ölveczky s’intéresse aux questions fondamentales sur le fonctionnement du cerveau, la plateforme pourrait être utilisée, par exemple, pour concevoir de meilleurs systèmes de contrôle robotique.

La prochaine étape consistera à donner au rat virtuel l’autonomie nécessaire pour résoudre des tâches complexes, similaires à celles rencontrées par de vrais rats, ce qui permettra d’enrichir la compréhension des algorithmes d’apprentissage et de la dynamique du cerveau.

Bence Ölveczky conclut :

“D’après nos expériences, nous avons beaucoup d’idées sur la façon dont ces tâches sont résolues et comment les algorithmes d’apprentissage qui sous-tendent l’acquisition de comportements qualifiés sont mis en œuvre. Nous voulons commencer à utiliser les rats virtuels pour tester ces idées et aider à faire progresser notre compréhension de la façon dont les cerveaux réels génèrent un comportement complexe”.

Références de l’article :

Université de Harvard : “Les chercheurs créent un rongeur virtuel réaliste” ScienceDaily, 11 juin 2024. www.sciencedaily.com/releases/2024/06/240611130418.htm

“Un rongeur virtuel prédit la structure de l’activité neuronale à travers les comportements”. Nature, 2024 ; DOI : 10.1038/s41586-024-07633-4

Auteurs :

Diego Aldarondo, Josh Merel, Jesse D. Marshall, Leonard Hasenclever, Ugne Klibaite, Amanda Gellis, Yuval Tassa, Greg Wayne, Matthew Botvinick, Bence P. Ölveczky.