¿Para qué fines es útil la teoría de la información?

La teoría de la información es una base para la “longitud mínima de descripción” o algoritmos MDL, que se utilizan para agrupar piezas de información en contenedores similares. Por ejemplo, la información puede ser una imagen digital, y la agrupación puede ser una segmentación de esa imagen en partes que son auto-similares. Esto se puede utilizar para segmentar imágenes según áreas de textura similar. En este caso, la información bajo análisis estadístico es pequeña, digamos parches de 7 por 7 píxeles en la imagen. Para una textura dada, todos estos parches vendrán de una distribución de probabilidad estacionaria, por lo que esta distribución tendrá una entropía más baja que la de una distribución de parches seleccionados de regiones con diferentes texturas. Una distribución de entropía más baja es más fácil de codificar de forma compacta con, por ejemplo, la codificación Huffman. (Esta es la conexión entre MDL y la entropía.) Sé que estoy dejando muchos detalles, pero eso es todo lo que tengo tiempo por ahora.