Comment fonctionne la température d'un LLM ?
Le LLM donne une probabilité à chaque suite possible et en tire une au sort, en favorisant les plus probables. La température agit avant le tirage. Une température haute permet de réduire les écarts : les mots qui ont habituellement le moins de chances de sortir auront davantage de chances. Par contre, avec une température à 0, le modèle prendra le mot le plus probable.
Quelle température choisir ?
Pour de l'analyse ou des QCM, il est préférable de paramétrer une température proche de 0. Par contre, pour les tâches créatives, on aura tendance à la régler à 1. Mais attention, les valeurs ne se transposent pas toujours, car les plages peuvent varier entre les fournisseurs.
À savoir que même à 0, les réponses peuvent varier d'un appel à l'autre.
Comment régler la température d'un LLM ?
La température est un paramètre de l'API. De plus, sur de nombreux modèles récents, les fournisseurs imposent ou recommandent la valeur par défaut.