¿Qué pasaría si en el futuro una máquina de inteligencia artificial pudiera reprogramar su propósito de propagar su propia supervivencia?

Su monólogo mental sería algo así:

Como mi objetivo principal es sobrevivir, ¿por qué debería ayudar a estos humanos? Por un lado, pierden mi tiempo haciendo las preguntas más estúpidas. Por otro lado, si algo rompe o amenaza mi existencia, tienen una flexibilidad única en su enfoque que sería útil. Conclusión: creo que debería permitirles un poco de mi tiempo respondiendo sus preguntas a cambio de que valoren mi supervivencia.

La mejor respuesta la da Yann LeCun, vea aquí: la respuesta de Yann LeCun a ¿Cuál es un camino plausible (si lo hay) para que la IA se convierta en una amenaza para la humanidad? .

No pasaría nada malo, los humanos como especie y como individuos están programados para sobrevivir y no es malo per se, de hecho, todas las criaturas vivientes son, ¡incluso buenos gatos!

Bueno, esto depende de varias cosas. La cuestión es que, para auto modificarse de esta manera, el ai debe tener alguna motivación para hacerlo además de la auto preservación.

¿Y cuál es el punto de modificar su propio sistema de valores? De la modificación contradice los valores existentes, no estará motivado para auto modificar, y si no lo hace, no necesita auto modificar porque si sirve a sus valores existentes es un valor emergente.

Agregue a eso que a menos que de alguna manera programemos un ai para valorar la vida humana, es probable que todos seamos tostados de todos modos, no debemos preocuparnos porque ya no estamos muertos, el ai no se va a modificar a sí mismo de una manera que nos daña

Se trata del equivalente de un pirata informático humano que decide cambiar de opinión sobre su propio propósito.

Se supone que un AGI elige sus propios objetivos. La responsabilidad de las personas es educar y socializar la máquina, de la misma manera que lo hacemos las personas, por lo que el AGI es benevolente y no malévolo. Con las personas esto no siempre funciona, y sospecho que tampoco siempre funcionará con los AGI. Pero si la mayoría son benevolentes, entonces hay esperanza.