La respuesta será “sí” o “no” dependiendo de lo que quiera decir con “tanta información”. Si por “información” quiere decir que tomamos la descripción de la fuerza bruta del estado de la cosa que se está simulando, entonces se está preguntando si necesitamos simular tantos grados de libertad como esa descripción de la fuerza bruta. En ese caso, la respuesta es no, porque en alguna representación, el número de grados de libertad que “importan en absoluto” puede ser más bajo en general. Alternativamente, si quiere decir con “información”, alguna medida inherente de la cantidad de grados de libertad realmente relevantes, entonces la respuesta es “sí”. En resumen, siempre hay un límite fundamental, que no siempre es obvio (la descripción de la fuerza bruta es la representación obvia), pero este límite fundamental requiere una comprensión del modelo del comportamiento que estamos tratando de simular. La redundancia en ese modelo es lo que nos permite simular con menos recursos de lo que implicaría la fuerza bruta. Una medida fundamental de la cantidad de información o complejidad ya tiene en cuenta esa redundancia. Por lo tanto, no podemos superar el límite fundamental sin perder información relevante.
Definitivamente creo que la respuesta de Tim Heywood está en el camino correcto. De hecho, estoy muy interesado en este problema general: las señales e imágenes (el tipo de información que habitualmente queremos “comprimir” usando los algoritmos de compresión de datos estándar), tienen una “complejidad inherente” o similarmente “contenido de información inherente”, que establece un límite inferior fundamental en la cantidad de recursos necesarios para representar o transmitir con precisión el original sin necesidad de una representación de fuerza bruta del original. ¿Cuál es la diferencia entre la representación más parsimoniosa y la representación de fuerza bruta? Esencialmente, es que la representación de fuerza bruta especifica todos los valores para todos los grados de libertad en el objeto que se está representando. Esto significa que si tenemos una imagen con un millón de píxeles, entonces la fuerza bruta estaría enumerando el valor RGB de cada píxel uno por uno.
De manera similar, afirmo (y puedo mostrar con bastante facilidad para los sistemas que tienen componentes estocásticos / probabilísticos) que cuando desea simular un sistema, este sistema tiene una complejidad inherente, que establece un límite inferior en la complejidad de la simulación que necesita ejecutar para predecir razonablemente con precisión las salidas dadas una entrada al sistema: un ejemplo es calcular el estado final de un sistema dado su estado inicial. Lo que quiere decir con “razonablemente preciso” es bastante importante aquí: el diablo está en los detalles, pero, sin embargo, una vez que decide qué aspectos del comportamiento del sistema son importantes para usted y lo que considera que son lo suficientemente precisos , entonces tiene algo que trabajar con. Creo que evaluar estos límites inferiores se vuelve más difícil y complicado cuando comienzas a lidiar con los aspectos deterministas de un sistema, pero cuando abordas los aspectos aleatorios / estocásticos, evaluar la complejidad de simular estos aspectos es una extensión relativamente sencilla de los argumentos utilizados evaluar el contenido de la información de los datos como se hace en los estudios de compresión de datos.
- ¿Cuáles son algunas señales de que uno es un prodigio de la informática?
- Al estudiar los efectos visuales, ¿terminaré en el set o detrás de una computadora?
- ¿Para qué usa la gente Linux?
- ¿Se puede utilizar la programación lineal para la optimización de hiperparámetros en el aprendizaje automático?
- ¿El terminal de Windows es tan poderoso como el terminal de Linux? Si no, ¿por qué?
Déjame darte el ejemplo trivial por excelencia para la compresión de datos. Mira esta imagen:
No sé cuántos píxeles tiene, pero supongamos que [matemática] 1000 \ veces 1000 [/ matemática]. En lugar de almacenar los valores RGB (algo así como [matemática] 3 \ veces 8 [/ matemática] bits por píxel, así que multiplique por [matemática] 1,000,000 [/ matemática] píxeles), simplemente puede especificar las dimensiones de la cuadrícula y solo una Valor RGB (logrando una gran compresión). Esto se debe a que el contenido de información inherente de la imagen original (o equivalente, la complejidad inherente) es muy bajo. Hay imágenes con contenido de información muy alto, y hay imágenes en cualquier lugar entre la que se muestra y aquellas con contenido de información máximo (¿puede adivinar cuál es el contenido de información máximo para una imagen que es [matemática] 1000 \ veces 1000 [/ matemática ] píxeles?)
¿Cuál es el ejemplo trivial análogo para simular un sistema? Imagine un sistema de partículas que comienzan en un estado completamente fijo y no interactúan entre sí o con el mundo exterior. Luego, escribir la simulación que conduce a su estado final es tan fácil como el esquema de compresión que acabamos de describir para la imagen azul simple … Por supuesto, puede imaginar sistemas cuyo comportamiento es máximo complejo (que requiere una especificación consistente de todos los grados de libertad, ya que no hay representación en menos grados de libertad), y puede imaginar sistemas que están en algún lugar entre el ejemplo trivial y el ejemplo de máxima complejidad.
¿Cuál es un ejemplo un poco menos trivial?
Supongamos que tenemos una imagen que tiene un gradiente casi lineal, pero en realidad no es exactamente lineal. Bueno, puede cuantificar la cantidad de información que pierde al representarla como un gradiente lineal … ¿Qué sucede si solo hay pequeñas fluctuaciones estocásticas (aleatorias) ligeramente por encima y por debajo del comportamiento lineal? Imagine el conjunto de imágenes posibles que resultan de varias realizaciones de esta descripción estocástica (si algo es aleatorio, una vez que tiene un resultado, ese resultado es a lo que nos referimos como la realización del proceso aleatorio). Luego, podemos configurar un esquema de codificación teniendo en cuenta este modelo casi lineal, y podemos usar este esquema de codificación para representar (o casi exactamente) exactamente y replicar una imagen arbitraria dentro de la clase de imágenes que se ajustan al modelo . Entonces, habremos tenido en cuenta el gradiente lineal y luego solo tendremos que codificar / representar las pequeñas fluctuaciones estocásticas; ahora estos no requerirán tantos recursos como serían necesarios si simplemente asumiéramos que cualquier imagen aleatoria fuera posible … Entonces, solo necesitamos margen de maniobra en nuestra codificación para pequeñas variaciones estocásticas anteriores y soplar una imagen azul exacta con un degradado lineal , que es mucho menos margen de maniobra de lo que sería necesario si asumiéramos que cualquier tipo de imagen es posible. Por lo tanto, tener un modelo que dice que nuestra imagen está cerca de una imagen azul con un gradiente lineal más o menos algunas fluctuaciones con estadísticas conocidas permite una representación menos compleja que no tener ningún modelo y asumir “cualquier imagen es un juego justo”.
Puede imaginarse simulando un sistema que evoluciona en el tiempo con un comportamiento casi lineal y pequeñas fluctuaciones aleatorias alejadas de dicho comportamiento lineal. Ese sistema tiene una complejidad muy diferente de un sistema altamente no lineal con ruido aleatorio adicional (fluctuaciones) que es altamente errático (por lo tanto, el ruido no es un proceso aleatorio simple como el ruido aditivo gaussiano). ¿Y si además de esto, los parámetros del comportamiento no lineal no se conocen exactamente pero se distribuyen dentro de un rango de posibilidades? … Tanto el sistema lineal como la contraparte no lineal podrían tener exactamente el mismo número de grados de libertad (!), Pero la cantidad de recursos necesarios para simular cada uno de ellos, respectivamente, puede diferir dramáticamente. Es posible que necesitemos muchos menos grados de libertad para simular un sistema del que necesitaríamos para simular el otro, aunque ambos sistemas son en última instancia del mismo tamaño, en el sentido de que su espacio de estado es del mismo tamaño.
Sé que la respuesta fue cualitativa, pero espero que al menos estimule cierta curiosidad sobre este tipo de problema. Además, preguntaste sobre una simulación perfecta . Creo que el razonamiento que he descrito se aplica tanto a las simulaciones perfectas como a las simulaciones que cumplen con un criterio específico de precisión no trivial sin requerir una precisión perfecta.
