Comment fonctionne un modèle de langage comme ChatGPT
Un modèle de langage prédit le mot suivant le plus probable à partir de milliards d'exemples de textes. Il ne consulte pas une base de connaissances : il génère une réponse plausible à partir de régularités statistiques apprises pendant son entraînement. Cette mécanique explique à la fois ses performances et ses erreurs.
Un modèle de langage prédit le mot suivant le plus probable à partir de tout ce qui précède. Entraîné sur d'immenses quantités de textes, il a appris des régularités statistiques : quels mots suivent quels autres, dans quels contextes. Quand vous lui posez une question, il ne consulte pas une base de connaissances et ne cherche pas la bonne réponse dans un tiroir. Il génère, mot après mot, la continuation la plus plausible. Cette mécanique unique explique à la fois ses performances impressionnantes et ses erreurs surprenantes.
L'entraînement, en trois temps
D'abord, le pré-entraînement. Le modèle lit des milliards de textes et ajuste des milliards de paramètres internes pour mieux prédire la suite. À l'issue de cette phase, il manie la langue avec fluidité mais sans direction précise.
Ensuite, l'ajustement par instructions. On lui montre des exemples de bonnes réponses à des consignes, pour qu'il apprenne à être utile et à suivre des demandes.
Enfin, l'alignement par retour humain. Des personnes évaluent ses réponses, et le modèle est affiné pour produire des sorties jugées plus utiles, plus sûres et plus honnêtes. Ce n'est pas parfait, mais cela oriente son comportement.
Ce que cela implique pour vous
Puisque le modèle génère du plausible, il peut produire une réponse fausse formulée avec la même assurance qu'une réponse juste. Il n'a pas conscience de la différence. C'est pourquoi toute information critique, un montant, une date, une règle de droit, un fait médical, doit être vérifiée dans une source primaire.
Puisque le modèle ne connaît que ce que contenaient ses données d'entraînement, il ignore en principe les événements postérieurs à sa date de construction, sauf s'il est connecté à une recherche en temps réel.
Puisque le modèle prédit à partir du contexte que vous lui donnez, la qualité de votre demande influe directement sur la qualité de sa réponse.
Une image utile
Imaginez quelqu'un qui aurait lu une bibliothèque entière sans jamais vivre dans le monde. Il connaîtrait d'innombrables formulations, il saurait imiter tous les styles, mais il ne pourrait pas vérifier par lui-même si ce qu'il avance est vrai. C'est une approximation imparfaite mais éclairante d'un modèle de langage.
Questions fréquentes
Le modèle va-t-il chercher sur internet ?
Pas par défaut. Certains assistants ajoutent une recherche web, mais le modèle de base génère à partir de ce qu'il a appris.
Comprend-il ma question ?
Il en traite la forme statistique et produit une réponse cohérente. Parler de compréhension au sens humain est un raccourci trompeur.
Pourquoi deux réponses différentes à la même question ?
Parce que la génération comporte une part d'aléatoire contrôlé, pour éviter des réponses mécaniques.
Ressource ICIA
L'ICIA propose MentivisOS ICIA, une plateforme gratuite à vie pour apprendre l'IA avec un parcours personnalisé.
Découvrir MentivisOS ICIA