Deux notions techniques conditionnent l'usage concret des LLM — et la facture : le token et la fenêtre de contexte.
Le token, unité de base
Expertise
N° 0019
Tokens et fenêtre de contexte : la « mémoire de travail » des LLM
Les LLM ne lisent pas des mots mais des « tokens », et ne peuvent en traiter qu'une quantité limitée à la fois : la fenêtre de contexte. Ces deux notions déterminent le coût, la latence et ce qu'on peut réellement confier à un modèle.
LO
L'équipe Oxynel
Pôle Innovation & IA