ChatGPT, le chat qui parlait à l'oreille des humains

Picasoft tient désormais une rubrique dans le Fil, le journal étudiant de l’UTC. Toutes les deux semaines, on a 600 mots pour parler de ce qui nous tient à coeur. C’est court, mais c’est un bon exercice. On retranscrit les articles sur notre blog, et cette semaine, on parle ChatGPT.

Image d’illustration “Grumpy Cat” par RyanAlldread, CC BY 2.0.

Difficile de passer à côté de ChatGPT. Les profs s’inquiètent. Les étudiant·es à la bourre gagnent du temps en lui faisant écrire des intros de rapports que personne ne lit. Que l’on soit enthousiaste ou effrayé, difficile de ne pas être fasciné par une entité qui semble avoir réponse à tout.

ChatGPT est incontestablement impressionnant. Comment une IA peut-elle si bien s’exprimer, si bien comprendre les subtilités d’une question, si bien inventer des dialogues ?

Pour revenir sur terre, il faut revenir au fonctionnement de ce type d’IA. ChatGPT est un LLM, ou Large Language Model, c’est-à-dire une IA dont le principe consiste à ingérer la plus grande quantité de texte possible pour s’entraîner à prédire une suite crédible à un texte donné. ChatGPT s’est entraîné sur des centaines de milliards de textes écrits par des humains. Quand vous entrez un texte, il génère une suite qui aurait pu exister.

ChatGPT est donc, en substance, un remarquable prestidigitateur entraîné sur la quasi-totalité de la connaissance humaine. C’est crucial : ChatGPT ne répond pas, ne réfléchit pas, ne comprend pas : il prédit en imitant ce avec quoi il a été entraîné. On est estomaqué du résultat, et voilà l’illusion fondamentale : faire passer une prédiction très mécanique, basée sur une quantité de textes humains invraisemblable, pour de l’intelligence.

Or, ChatGPT est intrinsèquement un bullshiteur¹. C’est une conséquence de sa structure même. Il n’est pas fait pour répondre correctement à une question. Il est fait pour donner l’impression qu’il répond correctement. Si vous vous dites que sa réponse aurait pu figurer dans un vrai article de presse, ou dans une dissertation, bingo : son but est atteint. Mais la vérité n’est pas dans ses prérogatives initiales. Ce qu’il répond est massivement influencé par ses données d’entraînement, impossible à contrôler tant leur volume est colossal. Vous avez déjà trainé sur Internet ? Alors vous avez un aperçu de ce avec quoi il a été entraîné. C’est un peu comme quand vous bullshitez dans un rapport : vous espérez que ça sonne malin et que ça passera.

Et ses concepteur·ices le savent bien : ils l’ont massivement censuré. Exemple : demandez-lui de vous dire pourquoi le réchauffement climatique n’existe pas, et il vous contredira. Ce n’est pas son comportement naturel, c’est un pansement bancal : des humain·es ont été payé·es pour ajuster le modèle initial, identifier les réponses problématiques et les censurer. On a donc moins de chance de voir des horreurs. Corollaire : la sécurité de ChatGPT repose sur le travail opaque de travailleur·ses du clic précaires². Imaginez les conséquences d’une erreur dans l’ajustement du modèle, si une grande partie de l’humanité se met à lui faire confiance…

Alors, certain·es se rassurent : « je garde le contrôle, je vérifie ce qu’il dit, j’en fais bon usage, j’arrête quand je veux ». C’est le mythe indétronable qui auréole l’automatisation de manière générale. Pourtant, la recherche a successivement montré qu’automatiser :

• Empêche de fixer de la connaissance³ ;
• Détruit les savoir-faire précédemment acquis⁴: capacité à s’adapter, performance, compréhension, avec paradoxalement l’impression d’être plus efficace ;
• Produit un excès de confiance dans le système, proportionnel à son perfectionnement⁵ ;
• Pousse à ignorer les solutions que le système n’est pas capable de produire, réduisant l’espace des possibles⁶.

Et c’est là l’éléphant dans la pièce : ChatGPT est pour l’heure fourni par une entreprise privée (OpenAI) qui entraîne gratuitement son modèle sur des humains (vous). Que ferons-nous quand OpenAI coupera les accès ? On aura l’air bien con. Alors regardons ChatGPT pour ce qu’il est : un briseur de cerveaux, comme les luddites ont vu dans les machines des tueuses de bras en leur temps. Et gardons notre autonomie.