Un LLM, c'est quoi ?

Si vous vous intéressez un peu à l'intelligence artificielle, trois lettres reviennent partout : LLM. On parle du « LLM » derrière ChatGPT, des « nouveaux LLM » dans l'actualité… Pas de panique, le concept est simple une fois qu'on a la bonne image. C'est même le moteur de presque tous les assistants IA que vous utilisez.

Si vous n'avez pas lu notre article sur l'IA générative, il pose les bases utiles à celui-ci. Mais vous pouvez aussi commencer ici.

Décomposons les trois lettres

LLM est l'abréviation de l'anglais Large Language Model, ce qu'on traduit par « grand modèle de langage ». Trois mots, trois idées.

Modèle. En informatique, un « modèle » n'est pas une maquette, c'est un système qui a appris à faire une tâche à partir d'exemples. Un modèle qui reconnaît les fruits a appris sur des photos de fruits. Ici, le modèle a appris sur du texte.

Langage. C'est sa spécialité : le langage humain. Un LLM apprend comment les mots s'enchaînent, comment se construit une phrase, un raisonnement, une explication. Son métier de base, c'est de deviner le mot suivant dans un texte. Répété des milliards de fois, ce petit jeu donne des phrases entières, cohérentes et souvent pertinentes.

Grand. C'est ce qui change tout. « Grand » fait référence à l'échelle colossale de l'entraînement : on parle de quantités de textes équivalentes à des millions de livres, et de modèles dotés de milliards de « réglages internes » ajustés pendant l'apprentissage. C'est cette taille qui fait passer d'un correcteur automatique basique à un assistant capable de rédiger, résumer ou expliquer.

Une image pour tout retenir

Imaginez quelqu'un qui aurait lu une part immense de tout ce qui a été écrit : encyclopédies, romans, modes d'emploi, forums, articles scientifiques. Il n'a pas mémorisé chaque page mot pour mot. En revanche, à force de lecture, il a développé une intuition très fine du langage : il sait comment on tourne une lettre de motivation, comment on explique la photosynthèse à un enfant, comment on rédige une clause de contrat.

Un LLM, c'est cela, mais sous forme de logiciel. Quand vous lui posez une question, il ne va pas « chercher la réponse dans un fichier ». Il s'appuie sur tout ce qu'il a intériorisé pour reconstruire une réponse qui colle à votre demande.

Quelques notions qui reviennent souvent

Les « tokens ». Le LLM ne lit pas vraiment mot par mot, mais par petits morceaux appelés tokens (parfois un mot, parfois une syllabe). C'est sa façon de découper le texte. Vous croiserez ce terme notamment quand on parle du coût ou de la longueur des échanges.

La fenêtre de contexte. C'est, en gros, la mémoire de travail du modèle pendant une conversation : tout ce qu'il peut « garder sous les yeux » à un instant donné (votre question, ses réponses précédentes, un document que vous avez collé). Si la conversation devient très longue, les éléments les plus anciens peuvent finir par sortir de cette fenêtre — un peu comme une discussion où l'on oublie le début.

La date de connaissance (« knowledge cutoff »). Un LLM a été entraîné jusqu'à une certaine date. Au-delà, il ne « connaît » pas les événements récents, sauf s'il est connecté à une recherche web. D'où des réponses parfois datées sur l'actualité.

Les limites à garder en tête

Comme on l'a vu pour l'IA générative en général, un LLM prédit ce qui est plausible plutôt qu'il ne « sait ». Concrètement :

• Il peut affirmer une chose fausse avec assurance (une hallucination).
• Il peut se tromper en calcul ou en logique, car il n'est pas une calculatrice.
• Il reflète aussi les biais présents dans les textes sur lesquels il a appris.

Rien de tout cela n'est rédhibitoire : il suffit de l'utiliser comme un assistant doué que l'on relit, surtout pour les informations importantes.

Les LLM que vous connaissez (sans le savoir)

La plupart des assistants IA grand public reposent sur un LLM :

• ChatGPT s'appuie sur les modèles GPT, développés par OpenAI.
• Claude est le LLM développé par Anthropic.
• LeChat est l'assistant de la société française Mistral.
• Gemini est le modèle de Google.

Ils partagent le même principe de fonctionnement, mais chacun a sa personnalité, ses points forts et sa manière de « préférer » qu'on lui parle. C'est précisément l'objet des prochains articles.

En résumé

Un LLM, ou grand modèle de langage, est un logiciel qui a appris les régularités du langage sur d'énormes quantités de textes, et qui s'en sert pour produire des réponses en devinant la suite la plus probable. Il a une mémoire de travail (la fenêtre de contexte), une date de connaissance, et il peut se tromper. C'est le moteur derrière ChatGPT, Claude, LeChat ou Gemini.

Maintenant que vous savez ce qui se cache sous le capot, la vraie question pratique devient : comment bien lui parler pour obtenir de bonnes réponses ? C'est l'art du prompt, et c'est ce qu'on explore dès le prochain article, en commençant par ChatGPT.