Eine empirische Beziehung zwischen der Zahl der Tokens N und der beobachteten Vokabulargröße V(N), üblicherweise ausgedrückt als V(N) = K · N^β (mit Konstanten K>0 und 0<β<1 für viele Korpora natürlicher Sprache), was bedeutet, dass das Vokabular sublinear mit der Textlänge wächst.

Prinzip

Mit zunehmender Token‑Anzahl treten weiter neue Typen auf, jedoch mit abnehmender Rate: das inkrementelle Vokabularwachstum pro zusätzlichem Token sinkt annähernd nach einer Potenzgesetz‑Form mit Exponent β, so dass eine Verdopplung der Tokens typischerweise das Vokabular um den Faktor 2^β und nicht um zwei vergrößert.

Demonstration

Illustratives Szenario: Ein Korpus mit N = 1.000.000 Tokens, angepasst an V(N)=K·N^β mit β=0,5, impliziert, dass die Verdopplung auf 2.000.000 Tokens V um den Faktor ≈2^0,5≈1,414 erhöht; Erkennung: das beobachtete Vokabular wächst, aber mit abnehmender marginaler Neuheit pro Token.

Fehlanwendung

K und β als universelle Konstanten für alle Sprachen, Domänen, Preprocessing‑Pipelines oder Tokenisierungsregeln zu behandeln, ist falsch. Die Relation weit über die beobachteten Daten hinaus zu extrapolieren ohne Fit‑Prüfung oder Lemmatisierung/Orthographienormalisierung zu ignorieren führt zu irreführenden Prognosen.

Konsequenz

Heaps’ Gesetz liefert eine praktische Grundlage zur Abschätzung erwarteter Vokabulargrößen, Planung von Lexikon‑Speicher und Festlegung von Vokabular‑Cutoffs für Sprachmodelle; kausal impliziert es, dass Systeme mit offenem Vokabular eine lange, langsam anwachsende Schwanzmenge seltener Typen bei wachsendem Datenvolumen verwalten müssen.

Umkehrung

Bei sehr kleinen N kann das Vokabularwachstum annähernd linear erscheinen (β≈1), bevor das sublineare Regime eintritt. In eingeschränkten oder geschlossenen Vokabularen (spezialisierte Lexika, Taxonomien) kann V(N) sättigen und vom Potenzgesetz abweichen; Preprocessing (Lemmatisierung, Token‑Normalisierung) ändert die geschätzten K‑ und β‑Werte.

Abgrenzung

Klar innerhalb: große, tokenisierte Korpora natürlicher Sprache, in denen mit wachsendem N weiterhin neue Tokentypen auftreten. Grenzfall: mehrsprachige oder stark rauscherzeugte Korpora, in denen das angepasste β je nach Sprache/Subdomäne variiert. Klar außerhalb: abgeschlossene endliche Lexika, künstliche Sprachen mit beschränktem Wortschatz oder Analysen, die nach umfassender Normalisierung Lemmata zählen und daher Sättigung erreichen.

Semantische Spannung

Heaps’ Gesetz ist eine kompakte empirische Zusammenfassung, nützlich für ingenieurwissenschaftliche Abwägungen (Speicher, Vokabularabschnitt), steht jedoch im Konflikt mit dem Wunsch nach kausalen Erklärungen des Vokabularwachstums (z. B. generative vs. stichprobenbasierte Modelle); Pragmatik des Fits versus erklärendes Modell erzeugt Spannung.

Synthese

Heaps’ Gesetz fasst das häufige empirische Muster zusammen, dass das Vokabularwachstum mit der Korpussgröße abnimmt, und liefert praktikable Skalierungserwartungen für NLP und Korpusdesign; seine Parameter sind jedoch deskriptiv und domänensensitiv statt universell.