Une étude dirigée par Pierre Beckmann, du groupe Neuro-symbolic AI de l’Idiap, explore ces aspects à travers TaxiGPT, un transformeur entraîné sur des trajets aléatoires dans Manhattan. Les transformeurs constituent l’architecture à la base des grands modèles de langage actuels. Dans cette étude, le réseau routier offre un environnement contrôlé dans lequel les chercheurs peuvent comparer les représentations internes du modèle à l’environnement dans lequel il se déplace.
Des recherches antérieures avaient interprété les erreurs de navigation de TaxiGPT comme la preuve d’une carte interne incohérente. En examinant ses calculs internes, l’équipe a plutôt découvert une représentation très fidèle du réseau routier, ainsi que des mécanismes permettant au modèle de suivre sa position et de choisir une direction.
Un paradoxe persistait : bien que le modèle représente fidèlement les rues, il commet parfois des erreurs de navigation. Les chercheurs ont montré que ces erreurs surviennent lorsque les représentations de différentes intersections se ressemblent et interfèrent avec l’identification de la position. Leurs expériences ont confirmé que renforcer le signal indiquant la position correcte ou réduire ces interférences permettait de limiter les erreurs. Ils ont également découvert que les intersections offrant les mêmes possibilités de changement de direction étaient représentées de façon similaire. Ainsi, une confusion entre deux intersections ne provoquait pas nécessairement d’erreur de navigation.
Plus largement, ces travaux illustrent l’importance d’examiner les stratégies computationnelles inhabituelles selon leur propre logique. Les analogies avec la cognition humaine restent des hypothèses à mettre à l’épreuve. La contribution essentielle de cette étude est de préciser comment la représentation d’un environnement, la localisation au sein de celui-ci et la capacité à agir efficacement reposent sur des mécanismes distincts mais interactifs.
Référence:
Beckmann, P., Queloz, M., & Freitas, A. (2026). World Modeling in Transformers. arXiv:2609.21748.
Démo interactive: https://pierrebeckmann.com/world-modeling/
