Représentation qui ordonne les éléments lexicaux par fréquence observée décroissante et associe à chaque rang r la fréquence correspondante f(r) ; elle résume la répartition des occurrences de tokens entre types distincts dans un texte ou un corpus.

Principe

L’ordre par rang fournit un résumé compact de la concentration d’usage et du comportement de la queue : la forme de la fonction rang–fréquence encode la concentration (la part de masse détenue par les rangs supérieurs), la lourdeur de la queue (vitesse de décroissance des fréquences) et les régularités éventuelles (segments en loi de puissance, plateaux, coupures) utiles pour la modélisation et la comparaison.

Démonstration

Scénario illustratif : Pour un corpus, calculer les comptes de types, trier les types par compte décroissant, attribuer le rang 1 au type le plus fréquent et tabuler f(r) pour chaque r. Tracer f(r) ou son logarithme en fonction du rang révèle la forme de la distribution ; reconnaissance : une décroissance initiale abrupte indique une forte concentration, une longue queue peu abrupte indique de nombreux types à faible fréquence.

Mauvaise application

Comparer des listes rang–fréquence brutes entre corpus de tailles différentes ou de tokenisation différente sans normalisation est trompeur car les rangs et fréquences absolues dépendent de l’échelle. Interpréter la proximité de rang comme similarité sémantique est une erreur de catégorie : le rang renseigne sur la fréquence distributionnelle, pas sur le sens.

Conséquence

Les distributions rang–fréquence alimentent le choix de modèles, la troncature du vocabulaire, les stratégies de lissage et les métriques de comparaison de corpus ; causalement, leurs propriétés de queue lourde impliquent une rareté persistante qui affecte l’évaluation, la planification de couverture lexicale et le traitement des mots rares dans les systèmes NLP.

Inversion

Dans des corpus petits ou fortement sélectionnés, le classement par rang peut être instable (les rangs fluctuent pour de faibles variations d’échantillon) ; les égalités de fréquence exigent des règles déterministes de départage pour rendre les rangs reproductibles. Pour des usages sensibles au contexte (p. ex. colocations), le simple rang–fréquence omet l’information conditionnelle et peut induire en erreur.

Limite

Clairement dans : une liste de types ordonnée par fréquence dérivée des occurrences token comptées selon une tokenisation définie. Cas frontière : un rang–fréquence obtenu sur des lemmes plutôt que sur des tokens de surface — la forme change. Claire­ment hors : mesures d’importance contextuelle (TF‑IDF par document) ou mesures d’association (PMI) qui conditionnent les fréquences au contexte plutôt que d’utiliser un rang global.

Tension sémantique

Les distributions rang–fréquence sacrifient l’identité au profit de la concision : elles résument la forme distributionnelle globale tout en effaçant l’identité lexicale et les rôles contextuels, ce qui crée une tension entre le souhait d’un résumé compact et la nécessité d’une interprétabilité au niveau du token.

Synthèse

La distribution rang–fréquence est le résumé macro‑classique de l’allocation de tokens entre types : elle met en évidence la concentration et la structure de queue indispensables à la modélisation quantitative et aux décisions d’ingénierie, mais elle doit être interprétée conjointement avec l’identité des tokens, les choix de prétraitement et les mesures contextuelles pour soutenir des affirmations linguistiquement pertinentes.