¿Cuáles son las similitudes y diferencias entre las definiciones de información en diferentes disciplinas?

La información (y su entropía correlacionada) aparece en el siguiente puñado de disciplinas con diferentes cantidades de superposición:
matemáticas
Ingenieria Eléctrica
física (especialmente mecánica estadística y termodinámica)
Ciencias de la Computación

Para aquellos que no entienden el concepto de entropía, recomiendo encarecidamente el libro de Arieh Ben-Naim Entropía desmitificada La segunda ley reducida al sentido común con siete juegos simulados . Realmente desglosa el concepto en su forma más básica de una manera que no he visto que otros se acerquen remotamente y que incluso mi madre pueda comprender (sin matemáticas en absoluto). (Recomiendo esta presentación incluso a aquellos con doctorados en física porque es realmente fundamental).

Para los matemáticos, físicos e ingenieros más avanzados, Ben-Naim hace un trabajo realmente espectacular al extender el trabajo de ET Jaynes sobre teoría de la información y mecánica estadística y presenta una teoría matemática más coherente para unir la entropía de la física / mecánica estadística con eso. de la teoría de la información de Shannon en Adiós a la entropía: termodinámica estadística basada en la información .

Lamentablemente, no hay una buena respuesta básica de tres párrafos a esta pregunta, pero las dos referencias anteriores ayudarán a aclarar significativamente lo que está sucediendo y el segundo hace un trabajo particularmente excelente al exponer las diferencias semánticas en varias áreas y da un marco matemático unificador para hacerlos todos equivalentes.

Para algunos pensamientos y referencias adicionales, eche un vistazo a: http://boffosocko.com/2014/10/03…