¿Existe un teorema en el aprendizaje automático que establezca que algunos entornos son mucho mejores para el aprendizaje que otros?

Muy buena pregunta. Quizás la mejor manera en que puedo responder es así.

Tiene razón en que una inteligencia requiere un entorno rico para permitir el aprendizaje y un conjunto de desafíos en constante cambio para inducir un aumento en la complejidad. En otras palabras, sin algo que aprender no puede haber aprendizaje. Sin un nuevo desafío que superar, no puede haber aumento en la inteligencia.

Los experimentos en biología confirman esto: los cerebros biológicos no se desarrollan normalmente en ambientes anormalmente simples, lo que lleva a la pérdida permanente de la facultad mental. El trabajo en robótica evolutiva y redes neuronales artificiales muestra que una de las mejores formas de crear un sistema de aprendizaje más inteligente es introducir gradualmente problemas nuevos y más difíciles al sistema a lo largo del tiempo.

En el aprendizaje automático, la experiencia muestra que nuestros mayores problemas generalmente son causados ​​por datos deficientes en los que el hallazgo de una distribución de probabilidad sobre el espacio de entrada del producto y la salida deseada se vuelve muy difícil. En el aprendizaje automático, todo se trata de qué tan bien el sistema aprende de un conjunto de datos. Datos insuficientes o datos excesivamente ruidosos impiden que el proceso de aprendizaje sea exitoso. Por lo tanto, se deduce que los datos pobres equivalen a un aprendizaje pobre.

Como comentario: no es del todo cierto que una IA suficientemente avanzada se vuelva mágicamente cada vez más inteligente. La inteligencia, como todas las capacidades, requiere mucho esfuerzo, energía y pruebas para desarrollarse. No se desarrollará hasta que haya una razón clara para desarrollarse, es decir, la entidad no sobrevivirá a un nuevo desafío sin ella. Se necesita cada vez más esfuerzo para desarrollar y probar cada vez más inteligencia, por lo que incluso con suficientes datos para impulsarlo, el proceso de mejorar la capacidad de aprendizaje nunca será un crecimiento exponencial. Es más probable que el proceso de volverse más inteligente sea como acercarse a la velocidad de la luz: se necesita cada vez más esfuerzo para lograr cada vez menos ganancias. Más poder de cómputo es, en última instancia, irrelevante: los exponenciales funcionan de manera incorrecta: desarrollar, entrenar y probar inteligencias más complejas toma exponencialmente más tiempo por cada aumento menor en la complejidad. Lo que necesita es una máquina del tiempo, no una hipercomputadora.

Esta puede ser una razón por la que vemos muy pocos cerebros altamente complejos en organismos vivos en comparación con la incontable cantidad de cerebros más simples.

La pregunta es demasiado vaga, pero me gustaría estar en desacuerdo con esto:

Incluso dentro de 100 años, el robot de peces más inteligente no aprende si se mantiene en una piscina oscura con cero estímulos.

Los humanos no son demasiado inteligentes, pero sabemos mucho sobre lo que no tenemos y nunca tocaremos o experimentaremos, simplemente gracias a nuestra inteligencia.

En este experimento hipotético, pongo de lado la idea de que una vez que la IA es más inteligente que un humano, su capacidad de aprendizaje es simplemente inimaginable. La piscina oscura no sería un problema; así como si reemplazamos 100 años por 5 minutos.