¿Se acabará alguna vez la información?

Voy a ser antitético aquí e intentaré incorporar alguna teoría de la información [1] para argumentar una hipótesis.

La información, según una teoría presentada por el venerable Claude Shannon [2], está estrechamente asociada con el concepto de entropía [3]. Para establecer esta relación de la forma más sencilla posible: una comunicación con contenidos desconocidos contiene más información que una con contenidos conocidos o predecibles.

Si bien no es probable que lleguemos a un punto en el que se sepa todo sobre el universo, cada año aprendemos más y más sobre lo que podemos observar. Utilizamos estas observaciones para construir modelos y predecir el comportamiento futuro, a veces con una precisión impresionante. Usando esta línea de lógica, podríamos imaginar un sistema dentro del cual podemos extinguir información porque podemos predecir su transformación de entrada / salida con perfecta precisión.

Con esta perspectiva, podemos comprender mejor los objetivos de la identificación del sistema, gran parte del aprendizaje automático y el análisis predictivo en general. Estos métodos buscan suprimir la sorpresa (entropía) mediante el uso de información previa para modelar con precisión el comportamiento de un sistema.

Notas al pie

[1] Teoría de la información – Wikipedia

[2] Claude Shannon – Wikipedia

[3] Entropía (teoría de la información) – Wikipedia

No. La información se expande exponencialmente. Cada nuevo bit de información da lugar a nuevas preguntas, muchas a nuevos campos enteros en consulta. Un hombre sabio me dijo una vez que “El comienzo de la sabiduría es darse cuenta de cuánto no sabes”. Estamos llegando al espacio exterior en busca de nuevas respuestas y, sin embargo, hay muchas cosas que aún no sabemos sobre el mundo en el que vivimos.

More Interesting

¿Por qué hay tanta locura por la ciencia de datos en estos días?

¿Existe alguna diferencia entre un científico de datos y el perfil ofrecido por Mu Sigma-Trainee Decision Scientist?

¿Alguien ha pasado por Springboard y Udacity analista de datos / programas de ciencia? Estoy buscando garantías de empleo e información de contenido educativo.

¿Cómo se relacionan la regresión lineal y el descenso de gradiente? ¿Es el descenso de gradiente un tipo de regresión lineal y es similar a los mínimos cuadrados ordinarios (OLS) y los mínimos cuadrados generalizados (GLS)?

Ciencia de datos: dados los buenos datos estructurados, ¿qué técnica de modelado predictivo se puede implementar en R dentro de una semana?

¿Cuál es el alcance de la actualización de Big Data en India?

¿Cuáles son algunas escuelas de EE. UU. Que ofrecen títulos universitarios en ciencias de datos?

¿Qué clases debo tomar en Princeton si quiero ser un científico de datos?

¿Cuáles son las diferencias entre una base de datos, data mart, data warehouse, un lago de datos y un cubo?

¿Puedo usar el algoritmo de aumento de gradiente para datos con tiempo (año) y latitudes y longitudes como predictores?

¿Quiénes son los principales expertos mundiales en ciudades inteligentes y planificación urbana basada en datos?

¿Cuáles son algunos buenos libros / documentos sobre aprendizaje kernelized, en general y especialmente con SVM?

¿Cuál es la diferencia entre la captura de datos de cambio y el abastecimiento de eventos?

¿Cuál es el mejor instituto de capacitación en ciencia de datos?

¿Por qué es importante el núcleo en los algoritmos de aprendizaje automático, como SVM o k-NN?