Token (LLM)
Définition mise à jour le 20 mai 2026Par Brandyze
Un token est l'unité de base traitée par un LLM : un mot court, un fragment de mot, un signe de ponctuation ou un caractère selon le tokenizer utilisé ; en moyenne, 1 token ≈ 4 caractères en anglais, ~3 caractères en français — soit ~750 tokens pour 1000 mots EN, ~600 tokens pour 1000 mots FR.
Définition détaillée
Le tokenizer (BPE, SentencePiece, Tiktoken) découpe le texte en sous-unités optimisées pour la fréquence d'apparition. Chaque token est mappé vers un identifiant entier et converti en vecteur (embedding) avant traitement par le réseau. Conséquences pratiques : (1) **coût** facturé par token (input + output) — GPT-4o ~$2.50/1M input tokens, Claude Sonnet ~$3/1M, Gemini Flash ~$0.075/1M, (2) **context window** mesurée en tokens (8k à 2M selon modèles), (3) **latence** proportionnelle au nombre de tokens générés, (4) **langues moins efficientes** — le français consomme ~25% de tokens en plus que l'anglais pour le même contenu. Optimiser les tokens = optimiser le coût et la vitesse.
Exemple concret
Le mot "brandyze" est tokenisé en 3 tokens ("bran", "dy", "ze") par cl100k_base (GPT-4). Un post LinkedIn de 1200 caractères en français ≈ 400 tokens. Un brand_context de 10k mots ≈ 13k tokens FR.
Pourquoi c'est important pour le marketing 2026
L'IA générative et le MCP transforment le quotidien marketing : tâches qui prenaient 8h se font en 30 min, mais la curation humaine et la stratégie restent décisives. Comprendre ces concepts est une compétence socle.
Brandyze et Token
Brandyze track la consommation de tokens par tool et par workspace (admin dashboard). Le système de crédits convertit les tokens consommés en unités facturables transparentes pour l'utilisateur final.
Termes connexes
Questions fréquentes
Pourquoi le français coûte-t-il plus cher en tokens ?
Les tokenizers GPT/Claude sont entraînés majoritairement sur de l'anglais. Les mots français fréquents (le, la, des, sont) sont des tokens entiers, mais les mots moins fréquents sont fragmentés en 2-3 tokens. Surcoût ~25-30%.
Comment réduire la consommation de tokens ?
Trois leviers : (1) prompts concis sans répétition, (2) RAG ciblé (récupérer 5 chunks plutôt que 20), (3) cache du système prompt (Anthropic propose le prompt caching avec -90% de coût sur les tokens en cache).
Sources externes citées
Maîtrisez ce concept sur votre marque
Essai gratuit 7 jours sans CB. Tous les studios Brandyze débloqués pour appliquer ces concepts à vos cas d'usage réels.
Démarrer mon essai gratuit