A finales de los 40, Claude Shannon (Bell Labs) y R.M. Fano (MIT) desarrollaronun sistema de codificación reversible que utiliza la entropía de la secuencia desímbolos para comprimirla. La idea es:
Los códigos de compresión tendrán una longitud variable.
Aquellos símbolos más probables recibiran códigos más cortos yviceversa.