Entropa de una fuente de informacin

La entropía es una medida de la cantidad de bits de información que una fuente de información proporciona en promedio, con cada símbolo generado. Por definición, la entropía H(S) de una fuente S se calcula como
$1 ∑N H(S) = -- p(s)× I(s) N s=1$ (11.2)

donde N es el tamaño del alfabeto fuente (número de símbolos diferentes). Puede encontrarse una implementación del cálculo de la entropía en el Apéndice 39.13.
La entropía se mide en bits de información por símbolo.
La finalidad de la compresión estadística es la de encontrar una codificación tal que el número de bits de datos en promedio coincida con la entropía de la fuente.