Eine Darstellung, die lexikalische Items nach abnehmender beobachteter Häufigkeit anordnet und jedem Rang r die entsprechende Häufigkeit f(r) zuordnet; sie fasst zusammen, wie Token‑Vorkommen über verschiedene Typen in einem Text oder Korpus verteilt sind.

Prinzip

Die Rangordnung liefert eine kompakte Zusammenfassung der Nutzungskonzentration und des Schwanzverhaltens: die Form der Rang–Frequenz‑Funktion kodiert Konzentration (wie viel Masse die oberen Ränge halten), Schwanzschwere (Geschwindigkeit des Häufigkeitsabfalls) und mögliche Regularitäten (Potenzgesetz‑Segmente, Plateaus, Abschneider), die für Modellierung und Vergleich informativ sind.

Demonstration

Illustratives Szenario: Für ein Korpus werden Typzählungen berechnet, Typen nach absteigender Häufigkeit sortiert, Rang 1 dem häufigsten Typ zugewiesen und f(r) für jedes r tabelliert. Das Auftragen von f(r) oder seines Logarithmus gegen den Rang offenbart die Gestalt der Verteilung; Erkennung: ein steiler Anfangsabfall weist auf starke Konzentration hin, eine lange flache Schwanzregion auf viele niederfrequente Typen.

Fehlanwendung

Der Vergleich roher Rang–Frequenz‑Listen zwischen Korpora unterschiedlicher Größe oder unterschiedlicher Tokenisierung ohne Normalisierung ist irreführend, da Ränge und absolute Häufigkeiten skalenabhängig sind. Die Interpretation von Rangnähe als semantische Ähnlichkeit ist ein Kategorienfehler: Rang gibt Verteilungsfrequenz, nicht Bedeutung an.

Konsequenz

Rang–Frequenz‑Verteilungen liefern Input für Modellwahl, Vokabular‑Trunkierung, Glättungsstrategien und Korpusvergleichsmessungen; kausal bedeuten ihre Schwer‑Schwanz‑Eigenschaften persistente Seltenheit, die Bewertung, Planungen zur Lexikonabdeckung und den Umgang mit seltenen Wörtern in NLP‑Systemen beeinflusst.

Umkehrung

In kleinen oder stark kuratierten Korpora kann die Rangordnung instabil sein (Ränge schwanken bei kleinen Stichprobenänderungen); Häufigkeitsgleichstände erfordern deterministische Tie‑Breaking‑Regeln, um Ränge reproduzierbar zu machen. Für kontextsensitive Anwendungen (z. B. Kollokationen) lässt der einfache Rang–Frequenz‑Wert kontextuelle Informationen außer Acht und kann irreführend sein.

Abgrenzung

Klar innerhalb: eine nach Häufigkeit geordnete Liste von Token‑Typen, gewonnen aus gezählten Token‑Vorkommen unter definierter Tokenisierung. Grenzfall: Rang–Frequenz basierend auf Lemmata statt Oberflächen‑Tokens — die Form verändert sich. Klar außerhalb: kontextabhängige Wichtigkeitsmaße (TF‑IDF pro Dokument) oder Assoziationsmaße (PMI), die Häufigkeiten kontextualisieren statt globalen Rang zu verwenden.

Semantische Spannung

Rang–Frequenz‑Verteilungen tauschen Prägnanz gegen Identität: sie fassen die globale Verteilungsform zusammen und löschen dabei lexikalische Identität und kontextuelle Rollen, wodurch ein Spannungsfeld zwischen dem Bedürfnis nach kompakter Zusammenfassung und der Notwendigkeit tokenbezogener Interpretierbarkeit entsteht.

Synthese

Die Rang–Frequenz‑Verteilung ist die kanonische Makro‑Zusammenfassung der Token‑Verteilung über Typen: sie macht Konzentration und Schwanzstruktur sichtbar, die für quantitative Modellierung und technische Entscheidungen essenziell sind, muss aber zusammen mit Token‑Identität, Preprocessing‑Entscheidungen und kontextuellen Maßen interpretiert werden, um gehaltvolle linguistische Schlüsse zu stützen.