Eine empirische Regelmäßigkeit für Rang–Frequenz‑Beziehungen, die besagt, dass die Häufigkeit f(r) des r‑häufigsten Wortes annähernd proportional zu 1/r^s ist (häufig mit s ≈ 1), wodurch eine schwer‑schwänzige Verteilung entsteht, in der wenige Wörter sehr häufig und viele selten sind.

Prinzip

Die Wortverwendung konzentriert die Wahrscheinlichkeitsmasse auf eine kleine Menge hochfrequenter Items und erzeugt zugleich eine lange Schwanzverteilung seltener Typen; die Rang–Frequenz folgt annähernd einem skalenfreien Potenzgesetz, sodass die relative Häufigkeit innerhalb der Bereiche, in denen das Modell passt, vorhersagbar mit dem Rang abnimmt.

Demonstration

Illustratives Szenario: In einem Stichprobenkorpus werden Tokens gezählt und nach absteigender Häufigkeit geordnet; das Auftragen von log(Häufigkeit) gegen log(Rang) ergibt ein annähernd lineares Segment, dessen Steigung −s entspricht und die inverse Potenzbeziehung anzeigt. Erkennung: Funktionswörter belegen die oberen Ränge mit überproportionaler Masse, während die meisten unterschiedlichen Typen selten auftreten.

Fehlanwendung

Es ist falsch, für alle Korpora einen exakten inversen Proportionalitätsfall (s=1) anzunehmen, Abweichungen als Fehler zu deuten oder rohe Zipf‑Prognosen auf kleine oder stark spezialisierte Korpora ohne Fit‑Prüfung anzuwenden. Die empirische Form von Zipf als kausale linguistische Gesetzmäßigkeit zu behandeln ist ein Kategorienfehler.

Konsequenz

Zipfs Gesetz informiert Erwartungen über Vokabularkonzentration, beeinflusst Glättungs‑ und Backoff‑Entscheidungen in Sprachmodellen und erklärt, warum der Umgang mit seltenen Wörtern eine dauerhafte technische Herausforderung darstellt; kausal implizieren schwere Schwänze, dass zusätzliche Daten beständig neue niederfrequente Typen offenbaren und die exhaustive Lexikonbildung erschweren.

Umkehrung

Viele Korpora weichen systematisch von einer reinen Zipf‑Form ab: Abflachung bei niedrigen Rängen, Abschneider bei hohen Rängen oder bessere Anpassung durch Varianten (z. B. Zipf–Mandelbrot, double Pareto); in kleinen Stichproben oder stark kuratierten Registern kann das Potenzgesetz‑Segment fehlen. Unterschiedliche Sprachen und Tokenisierungsstrategien ändern zudem den geschätzten Exponenten s.

Abgrenzung

Klar innerhalb: umfangreiche Token‑Frequenzlisten, aggregiert aus natürlichen Sprachproben, deren Häufigkeiten mehrere Größenordnungen abdecken. Grenzfall: genrespezifische oder sehr kleine Korpora mit unregelmäßigen Rang–Frequenz‑Verläufen. Klar außerhalb: Maße semantischer Bedeutung, Kollokationsstärke oder kontextabhängiger Wichtigkeit, die nicht durch rohe Token‑Frequenz nach Rang wiedergegeben werden.

Semantische Spannung

Zipfs deskriptive Kompaktheit steht im Spannungsverhältnis zu erklärenden Ambitionen: eine statistische Regularität ist nützlich für Modellierung, klärt aber nicht die kausalen Gründe hinter der Verteilung (Kommunikationseffizienz vs. kognitive Prozesse), wodurch ein Spannungsfeld zwischen Beschreibung und Erklärung entsteht.

Synthese

Zipfs Gesetz fasst ein robustes statistisches Muster zusammen — Konzentration der Masse auf wenige Tokens und eine lange Reihe seltener Typen — das theoretische Sprachkonten und praktische Entscheidungen in Korpusverarbeitung und Sprachmodellierung prägt; es ist jedoch als empirische Regularität zu behandeln, deren Parameter und exakte Form vom Geltungsbereich und Vorverarbeitungsschritten abhängen.