Le principe
Un LLM (Large Language Model, grand modèle de langage) fait une seule chose : prédire le prochain token à partir de ceux qui précèdent. Répétée des milliers de fois, cette prédiction produit une phrase, un paragraphe, un programme entier. Tout le reste, la conversation, la traduction, le raisonnement apparent, découle de ce mécanisme.
L'entraînement se fait en deux temps. Le modèle apprend d'abord à prédire du texte sur un corpus gigantesque : une grande partie du web, des livres, du code. Il est ensuite affiné pour suivre des instructions et dialoguer, via l'instruction tuning puis l'apprentissage par renforcement à partir de retours humains (RLHF) : c'est ce qui transforme un moteur de complétion brut en assistant utilisable.
La taille
La taille d'un LLM se mesure en paramètres, les valeurs ajustées pendant l'entraînement. Les modèles qui tournent sur un ordinateur portable comptent quelques milliards de paramètres, ceux derrière Claude ou GPT en comptent plusieurs centaines de milliards. À taille comparable, la qualité des données d'entraînement fait souvent la différence.
Les principaux modèles
Claude (Anthropic), GPT (OpenAI) et Gemini (Google) dominent le marché des modèles fermés, accessibles uniquement par API ou interface web. Côté modèles open weight, téléchargeables et exécutables chez soi, on trouve Llama (Meta), Qwen (Alibaba), DeepSeek et les modèles du français Mistral.
Les limites
Un LLM ne sait que ce qu'il a vu à l'entraînement, rien après sa date de coupure. Et face à une question hors de son savoir, il génère une réponse plausible plutôt que d'admettre son ignorance : c'est l'hallucination. Le RAG et la recherche web répondent en partie à ces deux limites.