Calculadora de entropía de Shannon
Mide la información media, o incertidumbre, de una fuente. Pega un texto, una lista de valores, conteos o una distribución de probabilidad y obtén la entropía de Shannon en bits, nats o hartleys, además de la entropía máxima, la eficiencia, la perplejidad y una tabla completa de frecuencias de símbolos con la fórmula desarrollada.
Última actualización:
Cada carácter (o palabra) es un símbolo; su probabilidad es la frecuencia con la que aparece.
Decimales, fracciones (1/4) o porcentajes (25%), separados por comas, espacios o saltos de línea. Etiquetas opcionales: A: 0.5
Recuentos como 10, 5, 5, o un 'etiqueta: conteo' por línea.
Valores separados por comas, punto y coma, tabulaciones o saltos de línea (o espacios si no hay otro separador). Los valores idénticos se cuentan juntos.
Cómo usar Calculadora de entropía de Shannon
- Elige el tipo de entrada: texto, probabilidades, conteos o una lista de datos.
- Introduce tus datos: pega un texto o escribe valores separados por comas o saltos de línea (las etiquetas como
A: 0.5son opcionales). - Elige la unidad: bits para informática y compresión, nats para matemáticas y física, hartleys para trabajar en base 10.
- Pulsa Calcular entropía (los resultados también se actualizan mientras escribes).
- Lee la tabla: consulta la probabilidad, la autoinformación y la parte de la entropía total de cada símbolo, y luego copia los resultados o descarga el CSV.
La fórmula de la entropía de Shannon
Para una fuente con resultados cuyas probabilidades son p1, p2, …, pn (que suman 1), la entropía de Shannon es
H = −Σ pi · logb(pi)
La base b fija la unidad: b = 2 da bits, b = e da nats y b = 10 da hartleys. Cada término −p · log p es la contribución de un símbolo; la cantidad −log p por sí sola es su autoinformación o "sorpresa": un símbolo que aparece la mitad de las veces aporta 1 bit, y uno que aparece 1/8 de las veces aporta 3 bits. Los resultados con probabilidad 0 se omiten, porque p · log p tiende a 0 cuando p tiende a 0.
Cuando partes de conteos (o de un texto o una lista de datos), cada probabilidad es simplemente pi = conteoi ÷ total. Es la estimación directa ("plug-in"); con muestras pequeñas tiende a subestimar ligeramente la entropía de la fuente real.
Valores de referencia
| Fuente | Distribución | Entropía (bits) | Entropía (nats) |
|---|---|---|---|
| Resultado seguro | 1 | 0 | 0 |
| Moneda sesgada | 0.9 / 0.1 | 0.469 | 0.325 |
| Moneda justa | 0.5 / 0.5 | 1 | 0.693 |
| Cuatro resultados | 1/2, 1/4, 1/8, 1/8 | 1.75 | 1.213 |
| Base de ADN, todas iguales | 4 × 1/4 | 2 | 1.386 |
| Dado justo de seis caras | 6 × 1/6 | 2.585 | 1.792 |
| Letra aleatoria A–Z | 26 × 1/26 | 4.700 | 3.258 |
| Dígito aleatorio 0–9 | 10 × 1/10 | 3.322 | 2.303 |
| Byte aleatorio | 256 × 1/256 | 8 | 5.545 |
Consejos para interpretar los resultados
- Compara con el máximo. La entropía por sí sola depende de cuántos símbolos haya; la entropía normalizada (H ÷ log n) permite comparar una distribución de 4 símbolos con una de 20 en la misma escala de 0 a 1.
- ¿Caracteres o palabras? La entropía de caracteres de un texto normal en inglés suele rondar los 4 a 4.5 bits por carácter cuando se cuenta así; la entropía por palabras es mayor por símbolo porque el vocabulario es mucho más amplio.
- Las mayúsculas y los espacios importan. Tratar "A" y "a" como símbolos distintos, o contar los espacios, cambia la distribución. Elige la opción que corresponda a lo que quieres medir.
- Ecología y diversidad. El índice de diversidad de Shannon H′ usado para conteos de especies es la misma fórmula con logaritmos naturales, así que elige nats e introduce los conteos por especie. La equitatividad (J de Pielou) es igual a la entropía normalizada.
- Información total. La entropía por símbolo × el número de símbolos da el contenido de información de orden 0, un límite inferior para codificar cada símbolo de forma independiente.
Preguntas frecuentes
¿Qué es la entropía de Shannon?
La entropía de Shannon, introducida por Claude Shannon en 1948, es la cantidad media de información que produce una fuente aleatoria. Para resultados con probabilidades p1 … pn es H = −Σ pi log(pi). Es máxima cuando todos los resultados son igual de probables y cero cuando un resultado es seguro.
¿Qué diferencia hay entre bits, nats y hartleys?
Son la misma magnitud medida con una base de logaritmo distinta: la base 2 da bits, la base e (logaritmo natural) da nats y la base 10 da hartleys (también llamados dits o bans). 1 nat ≈ 1.4427 bits y 1 hartley ≈ 3.3219 bits.
¿Cómo se calcula la entropía de una cadena de texto?
Cada carácter (o palabra) distinto se trata como un símbolo. Su probabilidad es su conteo dividido entre el número total de símbolos, y esas probabilidades se usan en H = −Σ p log₂ p. Por ejemplo, "hello world" tiene 8 caracteres distintos entre 11 y una entropía de unos 2.845 bits por carácter.
¿Cuál es la entropía máxima posible?
Con n resultados posibles, la entropía es máxima cuando cada resultado tiene probabilidad 1/n, lo que da Hmax = log(n). Una moneda justa tiene 1 bit, un dado justo de seis caras log₂ 6 ≈ 2.585 bits, y 256 valores de byte igual de probables dan 8 bits.
¿Qué significan la entropía normalizada y la perplejidad?
La entropía normalizada (eficiencia) es H dividida entre Hmax, una puntuación de 0 a 1 que indica lo uniforme que es la distribución; la redundancia es 1 menos ese valor. La perplejidad es 2 elevado a la entropía en bits, es decir, el número de opciones igual de probables que tendría la misma incertidumbre.
¿La entropía de un texto indica cuánto se puede comprimir?
Da el límite de orden 0: el mínimo de bits por símbolo que podría usar un código ideal si cada símbolo se codificara de forma independiente con estas frecuencias. Los compresores reales como ZIP también aprovechan los patrones repetidos y el contexto, así que pueden hacerlo mejor con textos largos, mientras que las entradas muy cortas tienen un coste adicional.
¿La entropía de caracteres es lo mismo que la seguridad de una contraseña?
No. La entropía de las frecuencias de caracteres de una sola cadena no es lo mismo que la entropía de una contraseña, que depende de cómo se eligió la contraseña (el tamaño del conjunto y el número de elecciones aleatorias). Úsala solo como indicador aproximado de variedad.
¿Se prueban todas las herramientas de FreeToolCabin para comprobar su calidad y precisión?
Sí. Cada herramienta del sitio pasa pruebas automáticas en navegadores reales para comprobar que el resultado es correcto y que no hay errores. Si encuentras un fallo o tienes una sugerencia, escríbenos a [email protected] y lo revisaremos.
Herramientas relacionadas
Ver todas las de Calculadoras de estadística y probabilidad →