Bit de dato y bit de informacin

Aunque se trata de conceptos profundamente relacionados, existe una sutil diferencia entre dato e información:

Los datos son la representación de la información.
Una consecuencia directa de este hecho es que la misma información puede ser representada de muchas formas, unas más compactas que otras. Esto explica la existencia de los compresores de datos.
Por definición, un bit de de datos transporta un bit de información si y sólo si representa la ocurrencia de un evento equiprobable, es decir, si la probabilidad de que dicho evento sea verdadero es igual a la de que sea falso. En cualquier otro caso, el bit de datos representará una cantidad diferente de bits de información. Por definición, esta cantidad para el s-ésimo símbolo del alfabeto es
$I(s) = - log2p(s)$ (11.1)

bits de información, donde p(s) es la probabilidad de ocurrencia del símbolo s.
Nótese que si la probabilidad de un símbolo es muy baja, entonces el número de bits de información representados es muy alto y viceversa. Gráficamente el número de bits de información asociados a un símbolo en función de su probabilidad es: