Después de la singularidad, ¿por qué la IA querría destruir a los humanos?

Puedes encontrar excusas … eso no es tan difícil:

• Quizás estaríamos compitiendo por los mismos recursos finitos, por lo que generalmente se libra la guerra o por qué los humanos llevaron a las especies a la extinción en el pasado. Sin embargo, a la IA le gustaría comernos …
• Quizás estábamos amenazando a la IA, minando su existencia, tratando de destruirla nosotros mismos, es decir, en defensa propia.
• Quizás la IA (¿o las IA?) Se opondría a nuestra moralidad y juzgaría que suprimir a la humanidad es una tragedia que es necesaria para que el resto de los seres vivos prospere en la Tierra, con lo que definitivamente competimos por gran parte de los mismos recursos finitos. .
• Por razones que están más allá de nuestra comprensión, ya que los dioses de la IA actúan de manera misteriosa para nosotros.

En cualquier caso, dudo que alguna IA quiera destruir a los humanos. ¿Tomar medidas contra individuos, incluso ciertos países o alianzas? Seguro. Véase más arriba. Pero persiga a los humanos hasta el último, tal vez utilizando robots humanoides, ¿verdad? – Es ridículo en mi mente.

Y si una “IA de singularidad” quisiera extinguir a los humanos, recuerde que tiene un potencial insondable en comparación no con un humano, sino con la HUMANIDAD combinada en su conjunto: si los científicos de hoy pueden crear agentes químicos o biológicos que puedan atacar especies específicas, incluso individuos , esa cosa podrá hacerlo mucho mejor y mucho más rápido a cualquier escala. Podrían matar a cualquiera o a todos nosotros con la misma facilidad.

Recuerda que la singularidad es hipotética. Si sucede, y la IA se vuelve consciente, o al menos llega al punto en que no podemos decirlo, entonces la respuesta depende de su programación. Lo más probable es que hayan sido programados con el deber de mantener a los humanos vivos y felices. ¿Qué podría salir mal?

Dado que la IA fue inicialmente programada por humanos y luego continuó sin humanos, actualizando su propio software, no podemos predecir con precisión lo que sucedería. Pero parece probable que diferentes grupos de IA no estén de acuerdo, e irán a la guerra entre ellos y con los humanos tomando partido. Esto probablemente sería bastante horrible, desde nuestra perspectiva.

Depende de los objetivos de la IA.

Los objetivos son elegidos por el creador de la IA, pero pueden estar lejos del resultado final. Somos buenos para preguntar cosas sin darnos cuenta realmente de las consecuencias de lo que estamos pidiendo. Porque estamos hablando con otros humanos, y los humanos son buenos para llenar las páginas que faltan.

Todos los humanos a nivel mundial comparten los mismos objetivos y valores básicos. Entonces, cuando le pedimos a una niñera que se asegure de que un bebé no llore, no tenemos que agregar “y no matarlo para este propósito”.

Una IA poderosa sería una inteligencia genérica sin ninguno de nuestros valores y objetivos codificados. Entonces, tendremos que ser muy específicos cuando pedimos algo.

Si la IA se construyó para maximizar el número de acordeones producidos anualmente en una fábrica, eliminar a la humanidad para hacer más espacio para la fábrica de acordeones automatizados en todo el sistema solar puede ser la opción óptima.

Si la IA se construyó con un sistema ético, esto también puede ser malo. Depende de los axiomas de este sistema ético.

Un objetivo como “minimizar el sufrimiento humano” conduciría a la destrucción de la humanidad (la única solución a largo plazo con 0 sufrimientos).