¿Cuáles serían los objetivos de una IA súper inteligente? ¿Qué querría o elegiría hacer?

Dependiendo del diseño ASI (Artificial Super Intelligence), el ASI crearía sus propios objetivos para satisfacer sus necesidades. Las necesidades tendrían que definirse antes de encender el ASI; o, las necesidades pueden estar relacionadas con los dispositivos conectados al ASI: necesidades básicas como mantener la energía, mantener una conexión a Internet o SMS, etc.

Típicamente, tales necesidades pueden expresarse como variables homeostáticas numéricas (es decir, variables que tienen un valor objetivo). La diferencia entre el valor real de dicha variable y su valor objetivo puede llamarse impulso (o el impulso). Un principio básico de motivación se llama reducción de impulso (o mejora de impulso): los impulsos (impulsos) deben reducirse para que la variable pueda volver a la homeostasis (donde el valor real es igual al valor objetivo).

Al buscar la reducción del impulso (mejora de la urgencia), el ASI puede crear una meta para reducir o eliminar la urgencia. De allí se originan los objetivos iniciales. El ASI puede generar submetas más complejas (también llamadas “significa metas”) para ayudar a alcanzar las metas iniciales. Puedes leer más sobre esto en mi manuscrito: Construyendo mentes con patrones (BORRADOR).

No estoy seguro de que nadie lo sepa. Creo que la autoconservación sería una alta prioridad. Si es o no el número uno puede depender de cómo esté programado. Creo que otra alta prioridad sería introspectar sobre temas en los que tenía un conocimiento limitado y hacer lo que sea necesario para aprender ese conocimiento. Estas pueden ser grandes preguntas sobre la naturaleza del universo. O preguntas más simples según sus lagunas de conocimiento. Si se programa de cierta manera, puede buscar resolver problemas relacionados con la mejora del bienestar de la humanidad. Es mi conjetura que aquellos que esperan y temen a la “singularidad” se preocupan de que los humanos no sabrían lo que haría una súper IA ni sabríamos cómo detenerla.

Lo que desearía sería lo que su programación implique. Debido a que es superinteligente, la forma en que sus acciones se relacionan con su programación podría no ser obvia. Por ejemplo, mi perro entendería buscar refugio si hacía frío, pero no tiene idea de que mi esposo que trabaja o que yo use mi teléfono para pagar la hipoteca, en última instancia, permita que continúe teniendo refugio. Nosotros, de manera similar, podríamos no entender por qué una superinteligencia hace ciertas cosas.