Comment fonctionne ChatGPT
Au fond, ChatGPT prédit la suite la plus probable d'un texte à partir d'un contexte. Cela paraît presque trop simple dit comme ça, mais c'est bien ce mécanisme qui produit l'effet de conversation. Le système apprend sur de très grands volumes de texte, puis ajuste ses réponses pour mieux suivre des consignes humaines.
Ce qu'il faut comprendre, c'est qu'il ne "sait" pas les choses comme un humain. Il calcule des continuations plausibles. C'est pour cela qu'il peut être impressionnant une minute, puis inventer une information la minute suivante.
Pourquoi il se trompe parfois
Parce que la plausibilité n'est pas la vérité. Et parce qu'un système statistique peut rester très convaincant même quand il fabrique une réponse. C'est un point essentiel dans tout livre pour comprendre l'IA.