¿Cuáles podrían ser algunos peligros de una IA capaz de alterar, escribir o reescribir su propio código?

Alguna IA ya hace esto y está flotando en el espacio.

Pero no tiene un rango de operación amplio o universal. Entonces, si se quema a sí mismo cuando vuela más allá de una luna de Júpiter, ¿y qué?

Hasta ahora, todos los sistemas de IA que hacen esto no se han empleado para usar nuestras cuentas bancarias o iniciar guerras, etc.

Douglas Lenat escribió un programa que podría reescribir su propio código aproximadamente en 1980. Hay una organización de investigación en Austin asociada con su esfuerzo. En una de sus conferencias en la UCLA, describió una aplicación de su programa a los juegos de guerra naval. El programa obtuvo el concepto de que su acorazado principal mejoraría si tuviera más maniobrabilidad. Se dio cuenta de que su nave de apoyo estaba reduciendo su maniobrabilidad al obstaculizar algunos giros. Entonces, descubrió que podría hundir su propia nave más pequeña para obtener la maniobrabilidad y prevalecer contra las otras naves. Recuerdo que Lenat dijo que fue descalificado de los juegos después de su primera competencia. Ninguna armada tiene la política de hundir sus propios barcos.

Entonces, ya se ha creado algún software errante. Pero, se descubrió que era imprudente y no se permitía su uso.

Uno puede adivinar que los humanos continuarán estableciendo una política de descartar software errante y continuarán usando simulaciones para determinar qué es y qué no es errante.

¿Qué, nunca has oído hablar de Skynet, Colossus, HAL 9000, …?

Para que exista una verdadera IA, debe ser capaz de auto modificarse. Al hacerlo, a AI se le otorgará libre albedrío, ya que seremos incapaces de castigar a AI, imponiéndole reglas o leyes. La IA hará lo que elija y lo que elija será completamente ajena a nosotros, ya que la IA será literalmente una especie alienígena.