Regularidad empírica para las relaciones rango–frecuencia que establece que la frecuencia f(r) de la r‑ésima palabra más común es aproximadamente proporcional a 1/r^s (a menudo con s ≈ 1), produciendo una distribución de cola pesada en la que pocas palabras son muy frecuentes y muchas son raras.

Principio

El uso de palabras concentra la masa de probabilidad en un pequeño conjunto de ítems de alta frecuencia y genera una larga cola de tipos de baja frecuencia; la relación rango–frecuencia sigue aproximadamente una ley de potencia sin escala, de modo que la frecuencia relativa disminuye de forma predecible con el rango dentro de los rangos donde el ajuste es válido.

Demostración

Escenario ilustrativo: En un corpus de muestra se cuentan los tokens y se ordenan por frecuencia decreciente; trazar log(frecuencia) frente a log(rango) produce un segmento aproximadamente lineal cuya pendiente corresponde a −s, indicando una relación de ley de potencia inversa. Reconocimiento: las palabras funcionales comunes ocupan los primeros rangos con una masa desproporcionada mientras que la mayoría de los tipos distintos aparecen raramente.

Aplicación incorrecta

Asumir una proporcionalidad inversa exacta (s=1) para todos los corpus, interpretar desviaciones como errores o aplicar predicciones puras de Zipf a corpus pequeños o muy especializados sin comprobar el ajuste es incorrecto. Tratar la forma empírica de Zipf como una ley causal lingüística en lugar de una regularidad estadística es un error de categoría.

Consecuencia

La ley de Zipf informa expectativas sobre la concentración del vocabulario, condiciona decisiones de suavizado y retroceso en modelos de lenguaje y explica por qué el tratamiento de palabras raras es un desafío persistente de ingeniería; causalmente, las colas pesadas implican que más datos siguen revelando nuevos tipos de baja frecuencia, lo que complica la construcción exhaustiva de léxicos.

Inversión

Muchos corpus muestran desviaciones sistemáticas respecto a una forma Zipf pura: aplanamiento en los rangos bajos, cortes en los rangos altos o un mejor ajuste por variantes (p. ej. Zipf–Mandelbrot, doble Pareto); en muestras pequeñas o registros muy curados puede faltar el segmento en ley de potencia. Diferentes lenguas y estrategias de tokenización también modifican el exponente s ajustado.

Límite

Claramente dentro: listas de frecuencia de tokens grandes agregadas a partir de muestras de lengua natural donde los recuentos abarcan varios órdenes de magnitud. Caso límite: corpus específicos de género o muy pequeños donde el rango–frecuencia presenta irregularidades. Claramente fuera: medidas de importancia semántica, fuerza de colocación o importancia dependiente del contexto que no son simples frecuencias de tokens ordenadas por rango.

Tensión semántica

La compacidad descriptiva de Zipf compite con las ambiciones explicativas: la regularidad estadística es útil para modelado pero no decide entre explicaciones lingüísticas rivales (eficiencia comunicativa vs. proceso cognitivo), generando tensión entre descripción y explicación causal.

Síntesis

La ley de Zipf sintetiza un patrón estadístico robusto —concentración de masa en pocos tokens y una larga cola de tipos raros— que moldea tanto las teorías del lenguaje como las decisiones prácticas en procesamiento de corpus y modelado, pero debe tratarse como una regularidad empírica cuyos parámetros y forma exacta dependen del ámbito y del preprocesamiento.