¿Puede una inteligencia artificial de coeficiente intelectual infinito destruir a los humanos?

Cualquier sistema de IA está limitado por las formas en que puede interactuar con su entorno.

Por ejemplo, supongamos que implementamos una máquina de predicción meteorológica perfectamente precisa. Recibe datos de estaciones meteorológicas y satélites de todo el mundo, y me dice exactamente qué tiempo hará en Corvallis, Oregon, durante las próximas 4 semanas. (Esta es una tarea que va mucho más allá de cualquier sistema existente o de cualquier experto en clima; por lo general, para predecir el clima con más de 2 semanas de anticipación, su mejor opción es tomar el promedio de los últimos años en esa fecha e ignorar el clima actual).

La única persona que ve la salida soy yo. Lo único que puede hacer el sistema es generar predicciones meteorológicas, probablemente de forma estructurada (una lista de temperaturas, velocidades del viento, …). Lo único que podría hacer para influir en las cosas es darme información muy sutilmente e intentar influir en mi comportamiento. Sin embargo, si alguna vez se desvía mucho del clima real, sabré que algo está mal. ¿Cómo podría este sistema ser capaz de destruir a la humanidad? Lo mejor que puede hacer es influir en si aceptaré o no ir a algún lado, y eso solo si estoy bastante indeciso para comenzar (de lo contrario, no me importa el clima).

Un sistema está limitado por las formas en que puede interactuar con su entorno. No importa cuán inteligente sea, si no puede actuar en consecuencia, no logrará nada grande.

Parafraseando a Marvin, el Android paranoico (ver Marvin (personaje) – Wikipedia):

“Aquí estoy, con el cerebro del tamaño de un planeta, y todo lo que me piden que haga es predecir el clima sangriento. ¿Llamar a eso satisfacción laboral? Porque yo no.

Si tiene acceso a armas nucleares -> entonces sí. Sin embargo, la mayoría de las personas inteligentes encuentran formas de “ganar dinero” sin causar lo que llamarías “guerra”. Entonces la pregunta más interesante sería: ¿Por qué destruiría a los humanos? Competir por los recursos podría ser una razón.