En français, comptez en moyenne 1 000 mots ≈ 1 300 à 1 800 tokens selon le tokenizer et le type de texte : la prose française tourne autour de 1,5 token par mot, le code et le JSON souvent entre 1,2 et 2,5 tokens par « mot ». Un token est l'unité atomique qu'un modèle de langage lit et facture : un morceau de mot, un signe de ponctuation, un espace accolé, parfois un mot entier. Le seul moyen d'obtenir un chiffre exact reste de passer votre texte dans le tokenizer du modèle visé ; les fourchettes ci-dessous servent à estimer avant de mesurer.
Pourquoi le nombre de tokens n'est pas égal au nombre de mots
Un tokenizer (l'outil qui découpe le texte en tokens avant de l'envoyer au modèle) ne raisonne pas en mots : il applique un algorithme de compression statistique, généralement du BPE (byte pair encoding), qui fusionne les suites de caractères les plus fréquentes dans son corpus d'entraînement. « pomme » peut devenir un seul token ; « antécédent » ou « déraisonnablement » seront souvent coupés en deux ou trois morceaux, parce que ces formes sont plus rares. La ponctuation, les espaces, les accents comptent aussi : en français, « c'est-à-dire » n'est pas un mot pour le tokenizer mais plusieurs unités.
Le second écart vient du comptage des mots lui-même. Un « mot » au sens d'un compteur de traitement de texte diffère du mot linguistique : « aujourd'hui » compte pour un mot alors qu'il pèse plusieurs tokens, et « 1 500,50 € » compte pour deux ou trois mots mais peut coûter six à dix tokens. Enfin, la langue compte : les tokenizers sont majoritairement entraînés sur de l'anglais, où un mot courant correspond souvent à un token unique. Le français, plus riche en formes fléchies (conjugaisons, accords, pluriels) et en mots composés, se fragmente davantage — d'où un ratio supérieur.
Dernier point pratique : le ratio dépend du modèle. Deux modèles différents peuvent tokenizer le même paragraphe avec 10 à 20 % d'écart. Toute estimation doit donc être lue comme une fourchette, pas comme une constante.
Fourchettes de conversion mots→tokens selon le type de texte (prose, code, JSON)
Voici des fourchettes raisonnées, à prendre comme des estimations dérivées du fonctionnement des tokenizers BPE modernes, pas comme des mesures officielles. La règle de calcul est simple :
tokens ≈ nombre de mots × ratio
- Prose française : ratio de 1,3 à 1,8 token par mot. Un texte courant, sans jargon ni chiffres, tombe plutôt vers 1,4–1,6 ; un texte technique, avec acronymes, unités et références, monte vers 1,7–1,8. L'anglais équivalent tourne plutôt autour de 1,2–1,4, ce qui explique l'écart franco-anglais.
- Code : ratio de 1,5 à 2,5 tokens par « mot » au sens d'un découpage naïf par espaces. La raison : les identifiants camelCase ou snake_case, les opérateurs (
->,===,::), l'indentation et les retours à la ligne sont tokenisés séparément. Une ligne de code dense coûte proportionnellement plus cher qu'une ligne de prose. Mieux vaut d'ailleurs raisonner en tokens par ligne : souvent 8 à 15 tokens par ligne de code ordinaire. - JSON / données structurées : ratio de 1,8 à 3 tokens par « mot ». Les guillemets, deux-points, virgules et accolades s'ajoutent au contenu, et les clés répétées (
"id","name","value") sont fréquentes mais pas toujours fusionnées. Un JSON minifié coûte moins qu'un JSON indenté, l'indentation étant elle-même tokenisée.
Pour un document mixte (rapport avec tableaux, extraits de code, données), retenez un ratio composite de 1,5 à 2,0 et vérifiez par mesure sur un échantillon. La méthode fiable : tokeniser 200 mots représentatifs du document, calculer le ratio observé, puis l'appliquer au total — en gardant une marge de sécurité de 10 à 20 % pour la fenêtre de contexte.
Exemple chiffré : conversion d'un paragraphe réel en français
Prenons un paragraphe authentique de 85 mots (comptés à la main, espaces exclus) :
« La tokenisation découpe un texte en unités appelées tokens. Un token peut être un mot entier, une partie de mot, un signe de ponctuation ou un espace. En français, les mots courants comme "le" ou "de" tiennent souvent en un seul token, mais les mots plus longs ou accentués sont fréquemment découpés. Résultat : le nombre de tokens dépasse presque toujours le nombre de mots. Pour estimer un budget, il faut donc mesurer, pas deviner. »
Étape 1 — Hypothèse de ratio. Pour de la prose française, on retient une fourchette de 1,3 à 1,6 token par mot (estimation raisonnée, pas une mesure officielle : elle dépend du tokenizer utilisé).
Étape 2 — Calcul.
mots = 85
borne basse = 85 × 1,3 = 110,5 → ~111 tokens
borne haute = 85 × 1,6 = 136 → ~136 tokens
médiane = 85 × 1,45 ≈ 123 tokens
Étape 3 — Lecture. Ce paragraphe pèse donc environ 111 à 136 tokens, soit ~123 en estimation centrale. L'écart de 25 tokens (±10 %) montre pourquoi il vaut mieux annoncer une fourchette qu'un chiffre unique.
Vérification rapide. 123 ÷ 85 ≈ 1,45 : on retombe bien sur le ratio médian. La cohérence est assurée.
Calcul du coût d'un document de 1000 mots (API et fenêtre de contexte)
Deux notions à distinguer. Le coût API se paie par token (souvent un tarif distinct pour l'entrée et la sortie). La fenêtre de contexte est le nombre maximal de tokens qu'un modèle peut traiter en une fois — elle se mesure aussi en tokens, pas en mots.
Formule générique (les prix sont des variables, à remplacer par le tarif réel de votre fournisseur) :
tokens_entrée ≈ 1000 × ratio # ratio prose fr ≈ 1,3–1,6
coût_entrée = tokens_entrée / 1_000_000 × prix_entrée_par_M
coût_sortie = tokens_sortie / 1_000_000 × prix_sortie_par_M
coût_total = coût_entrée + coût_sortie
Application numérique (hypothèse illustrative). Document de 1000 mots, ratio 1,45, réponse de 300 tokens, prix fictifs de 2 (entrée) et 8 (sortie) par million de tokens :
tokens_entrée = 1000 × 1,45 = 1450
coût_entrée = 1450 / 1e6 × 2 = 0,0029
coût_sortie = 300 / 1e6 × 8 = 0,0024
coût_total ≈ 0,0053 # ordre de grandeur, PAS un prix réel
Retenez la méthode, pas les montants : remplacez les prix par ceux de votre API.
Checklist avant d'estimer un budget :
- Compter les mots (pas les caractères) sur le texte réel.
- Choisir un ratio selon le type (prose ~1,3–1,6 ; code et JSON plus variables).
- Ajouter les tokens de sortie attendus.
- Vérifier que entrée + sortie tiennent dans la fenêtre de contexte.
- Mesurer une fois avec le tokenizer réel pour calibrer votre ratio.
Questions fréquentes
Combien de tokens représente 1000 mots en français en moyenne ?
En prose française, on observe le plus souvent un ratio d'environ 1,3 à 1,6 token par mot avec les tokenizers des modèles récents, soit une fourchette de 1 300 à 1 600 tokens pour 1 000 mots. Cette valeur est une estimation : elle dépend du tokenizer utilisé (la table de segmentation propre à chaque modèle) et du vocabulaire du texte. Un texte technique ou riche en termes rares poussera le ratio vers le haut, un texte courant vers le bas.
Pourquoi le français consomme-t-il plus de tokens que l'anglais ?
Les tokenizers sont généralement entraînés sur des corpus où l'anglais domine, et les mots français courants y sont moins souvent regroupés en un seul token. Résultat : un mot français est plus fréquemment découpé en deux ou trois sous-unités (préfixes, accents, terminaisons), ce qui gonfle le comptage. Les accents et apostrophes ajoutent aussi des fragmentations, même si les tokenizers récents gèrent mieux l'UTF-8. L'écart typique face à l'anglais se situe autour de 15 à 30 % de tokens en plus, à volume de sens comparable — à vérifier avec le tokenizer exact que vous utilisez.
Le ratio mots→tokens est-il le même pour du code ou du JSON ?
Non, il change nettement. Le code et le JSON contiennent beaucoup de symboles isolés (accolades, guillemets, deux-points, virgules, indentation) qui comptent chacun comme un token ou presque : on monte souvent vers 1,5 à 2,5 tokens par « mot » au sens d'unité séparée par espace, et davantage encore sur du JSON minifié ou des identifiants longs. À l'inverse, les chaînes de caractères en français dans le JSON suivent le ratio de la prose. La seule mesure fiable reste de compter avec le tokenizer du modèle visé.
Comment calculer précisément le coût d'un document de 1000 mots avec une API LLM ?
La démarche : tokeniser le document avec la bibliothèque officielle du modèle, relever le nombre de tokens d'entrée, y ajouter les tokens de sortie attendus, puis appliquer le tarif par million de tokens du modèle concerné. La formule générale :
coût = (tokens_entrée / 1_000_000) × prix_entrée
+ (tokens_sortie / 1_000_000) × prix_sortie
Les prix variant selon le modèle et la date, vérifiez la grille tarifaire en vigueur : impossible de donner ici un chiffre fiable sans elle. Pensez aussi à la fenêtre de contexte : 1 000 mots (environ 1 500 tokens) tiennent largement dans les fenêtres actuelles, mais un document long plus un historique de conversation peuvent s'en approcher.
Puis-je réduire le nombre de tokens d'un texte français sans perdre de sens ?
Oui, à plusieurs conditions. Supprimer les répétitions, les formules creuses et les paraphrases inutiles réduit mécaniquement le comptage sans toucher au fond. Reformuler avec un vocabulaire plus courant aide aussi, car les mots fréquents sont mieux tokenisés. En revanche, éviter les accents ou « simplifier » l'orthographe dégrade la qualité et ne garantit pas un gain : mesurez toujours avant/après avec le tokenizer du modèle. Un résumé structuré est souvent plus efficace qu'une compression mot à mot.