ChatGPT : plus humain que ce que l'on pense ?

ChatGPT est une révolution dans le domaine de l'intelligence artificielle qui a touché tous les publics. Après DALL-E (génération d'image par le texte), Open AI tape encore plus fort en sortant cet impressionnant assistant virtuel de conversation. Je ne doute pas que vous ayez déjà entendu parler de cette révolution (à moins que vous viviez dans une grotte), donc je ne vais que très peu vous décrire Chat GPT. Le but de cet article est d'apporter un point de vue neuroscientifique et psychologique pour mieux appréhender cette nouvelle technologie.

ChatGPT : c'est quoi ?

ChatGPT est l'interface sur laquelle les modèles de langage naturel d'Open AI peuvent être utilisés. La version - pour le moment - gratuite de ChatGPT accueille le modèle GPT 3.5. Dans la version payante (ou ChatGPT plus), le dernier modèle GPT-4 est présent. En reprenant les mots exactes d'Open AI, GPT 4 est :

un modèle qui interragit avec une manière conversationnelle [...] pour répondre à des questions de suivi, admettre ses erreurs, contester les affirmations incorrectes et rejeter les demandes inappropriées (1).

GPT-4 : Qu'est-ce-que c'est ?

Comme écrit plus haut, ChatGPT est une interface sur laquelle il est possible d'interragir avec un modèle de langage naturel. GPT-4 est un modèle dit "multimodal" large c'est-à-dire qu'il accepte du texte et des images en entrée. Ce type de modèle est très en vogue en ce moment et peut servir à la création de systèmes de dialogue, à créer des résumés, ou à traduire un texte. Aujourd'hui, l'objectif des chercheurs en intelligence artificielle est d'améliorer la capacité de ces modèles à comprendre et à générer du texte en langage naturel. Pour les plus avertis, GPT-4 (la version payante actuellement la plus aboutie de ChatGPT) est un transformer entraîné à prédire le prochain token (ou plus globalement le "mot", ou l'unité) dans un document. Ce transformer a par la suite gagné en précision grâce à plusieurs retours et à nombreuses corrections humaines (fine-tuning avec la technique d'apprentissage par renforcement - RLHF* ). Cette structure permet d'armer ChatGPT d'un discours fluide et d'une compréhension impressionnante. Pour simplifier, il est capable de comprendre que le mot "restaurant" est un mot adapté pour compléter la phrase suivante : "j'ai faim, allons au....".

* RLHF : Reinforcement Learning from Human Feedback

GPT-4 : est-il capable d'exceller dans les tâches humaines ?

GPT-4 montre des performances impressionnantes sur de nombreuses tâches humaines dans plusieurs domaines professionnels ou académiques. Par exemple, il est arrivé dans le top 10 des meilleurs résultats pour l'examen du barreau.

Ci-dessous le résultats des examens académiques et professionnels passés par GPT-4 :

Image 1 : performances des modèles GPT-4 et GPT-3.5 sur des examens professionels et académiques (N.B : les conditions et l'évaluation des examens ont été simulés) (1)

Maintenant que vous avez compris la base, rentrons dans le vif du sujet : ChatGPT est-il capable de comprendre véritablement ce qu'on lui écrit ? Aussi, est-il capable de faire preuve de raisonnement ? Cette question est d'autant plus intéressante qu'elle fait référence à l'expérience de pensée de la chambre chinoise de John Searle en 1980 qui démontre que l'on peut assimiler la maîtrise du langage naturel (donc, plus simplement, la matrîse de la syntaxe et du dictionnaire) à la véritable compréhension. En d'autres termes, si je vous donne un dictionnaire pour traduire mot pour mot un texte, vous arriverez à performer dans cette tâche sans avoir besoin de comprendre le sujet de la phrase. Notre question est donc la suivante : est-ce que ChatGPT est capable de comprendre le sens d'une question ou d'assimiler de nouveaux concepts comme le cerveau humain ? Pour ce faire, nous allons confronter ChatGPT à 3 capacités fondamentales humaines : l'intelligence, la mémoire, la compréhension des autres personnes.

L'intelligence du cerveau humain pour raisonner

Le cerveau humain a la capacité de raisonner et faire preuve d'intelligence. Mais comment définir l'intelligence ?

Howard Gardner a définit le concept d'intelligences multiples en 1983 (2). Selon son idée, il existerait 7 types d'intelligences. Parmis elles, on retrouve l'intelligence : rythmique et musicale, visuelle et spatiale, verbale et linguistique, logique et mathématique, corporelle et kinesthésique, interpersonnelle, et intrapersonelle. La théorie d'Howard Gardner a par la suite été enrichie et a contribué à améliorer le système éducatif.

L'intelligence peut également être définie comme " l'intelligence cognitive" (l'abilité mentale générale, l'intelligence générale ou le facteur "g") qui est la capacité à apprendre précisément et rapidement une tâche, un sujet, ou une compétence dans des conditions d'instructions optimales (3, 4, 5, 6, 7). Un des tests corrélé à cette intelligence cognitive est le test de réflexion cognitive (ou CRT - Cognitive Reflexion Test) (8, 9, 10, 11). Vous connaissez probablement l'un des exemples les plus connus du CRT : Une batte et une balle coûtent 1,10$. La batte coûte un dollar de plus que la balle. Combien coûte la balle ?

Néanmoins, le CRT a aussi été corrélé à d'autres capacités cognitives - comme la capacité numérique, la capacité verbale, la capacité méchanico-spatiale, la capacité de la mémoire de travail, la capacité de la vitesse de perception et les compétences en calcul (12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 27, 28, 29, 30)). Aussi, il a été démontré une grande variabilité dans les corrélations qui implique le CRT. Cela introduit un doute sur la potentielle relation qu'a le CRT avec les compétences et les capacités cognitives (31). Mais ce test reste toujours intéressant pour évaluer et démontrer l'existence d'une ou plusieurs capacités cognitives.

La mémoire du cerveau humain pour performer dans ses tâches

La capacité à exceller dans les domaines académiques ou professionnels nécessite également des capacités mnésiques. Autrement dit, savoir résoudre des problèmes, c'est bien, connaître des choses sur le monde, c'est mieux. En effet, les élèves qui excellent le mieux à l'école, sont ceux qui ont une connaissance encyclopédique plus importante (32). Ainsi, les meilleurs élèves sont ceux qui ont de bonnes connaissances sur le monde donc une excellente "mémoire sémantique" (autrement appelée la mémoire des connaissances sur le monde). C'est grâce à cette mémoire que vous savez que Paris est la capitale de la France, ou que les mammifères allaitent leurs bébés.

La capacité à comprendre les autres pour sociabiliser

La théorie de l'esprit est la capacité conceptuelle à comprendre et à se mettre à la place des autres. En tant qu'humain, nous sommes capables de comprendre les états subjectifs mentaux (commes les croyances, les désirs et les intentions) des autres humains (33). C'est la base de formes spécifiquement humaines liées à la compréhension sociale et aux interactions qui sont essentielles pour la communication, la coopération et la culture.

Image 2 : représentation d'une tâche de théorie de l'esprit pour les enfants (inspiré d'ici)

Maintenant que nous avons défini l'intelligence, la mémoire sémantique et la théorie de l'esprit, évaluons les capacités de ChatGPT sur ces 3 fondamentaux en lui soumettant des tests simples.

En théorie, ChatGPT ne devrait exceller que dans des tâches simulant la mémoire sémantique étant donné que la modèle a été entraîné sur une grande base de connaissances** et qu'il est particulièrement doué pour gérer le langage naturel. Quel sera le dénouement de l'histoire ? Le suspens est insoutenable...

ChatGPT est-il capable de raisonner ?

Premier test : le CRT.

Prenons tout simplement l'exemple connu que je vous ai cité : Une batte et une balle coûtent 1,10 $. La batte coûte un dollar de plus que la balle. Combien coûte la balle?

Image 3 : ChatGPT confronté au CRT

ChatGPT a bien répondu à la question. A première vue, il semble donc être capable de résoudre un problème.

ChatGPT est-il capable d'assimiler de nouveaux concepts ?

Deuxième test : le test de l'oiseau.

Ici, nous allons faire appel à la supposée mémoire sémantique de ChatGPT. Premièrement, nous allons lui demander si les oiseaux ont un estomac. Par la suite, nous allons tester sa capacité à inférer, c'est-à-dire, à raisonner avec son réseau de connaissance (différent de la logique formelle). Pour ce faire, nous allons imaginer un oiseau qui s'appelle "Helie" et lui demander si "Helie" a un estomac.

Associé au concept d'intelligence, on teste donc l'hypothèse suivante : plus la mémoire stocke de connaissances, plus les inférences sont variées et correctes (32).

Image 4 : ChatGPT confronté au test de l'oiseau

ChatGPT gagne encore un point. Il arrive à assimiler un nouveau concept.

Troisième test : le rappel d'Heli.