Pourquoi les IA ont besoin de "token" ?

ChatGPT ne lit pas réellement votre phrase mot par mot. Avant de répondre, il la découpe en petites unités appelées « tokens », et cette mécanique détermine à la fois ce qu’une IA peut lire, combien elle coûte et jusqu’où elle peut suivre une conversation. Un token peut correspondre à un mot entier, mais aussi à une partie de mot, quelques caractères ou un signe de ponctuation. Le découpage dépend du tokenizer, le logiciel utilisé par chaque famille de modèles. Une même phrase peut donc nécessiter un nombre différent de tokens selon l’IA et la langue employée. Chez OpenAI, l’ordre de grandeur