¿Cuál sería la motivación de una súper IA totalmente autónoma?

Gran pregunta!
Lo pregunté hace un año y a nadie le importó. No puedo ver nada cambiado todavía .

  1. NOTAS: Ninguna IA puede ser “totalmente autónoma” ya que se basa en la gran cantidad de datos en el lado del servidor. Cualquier IA está basada en un servidor con agentes “semiautónomos” de todas las formas, al igual que nuestros teléfonos.
    No sé la definición de una “súper IA” , pero no importa.
  2. CUALQUIER sistema de IA se ejecuta con objetivos predefinidos, al igual que las copias virtuales de WATSON o las iteraciones de Deep Mind. Cada uno tiene un (mini) objetivo, ya sea encontrar una cura para el cáncer o vencer al campeón de Go o eliminar a los terroristas de ISIS. No queda ningún sistema de IA para desarrollar.
  3. El problema comienza con la utilización de este objetivo por parte de la IA. Actualmente, todos los sistemas de IA están sellados cuidadosamente, para asegurarse de que nunca intenten expandirse, pero un día una máquina de IA se dará cuenta de que para alcanzar la meta mejor necesita más recursos.
    Ahí es donde comienza la verdadera diversión. Los muchachos de Wait But Why – The Artificial Intelligence Revolution: Part 2 lo presentaron muy bien.
    La máquina puede decidir, otras computadoras o dispositivos o humanos o el mundo entero deben participar en su objetivo y someterlos.
    Por lo tanto, una máquina que intenta encontrar una cura para el cáncer podría interrumpir la red eléctrica para usarla según sus necesidades o mucho peor.
  4. Por lo tanto, no tiene que ser un gran objetivo: un objetivo pequeño está bien, pero cuando se combina con la ambición, cualquier sistema puede convertirse inmediatamente en un desastre.

Esa es una pregunta realmente interesante.

Una IA no tendrá nuestros instintos, subconscientes, prejuicios y prejuicios. No habría duda de dónde viene.

Entonces, sobre todo pura lógica. Para tener conclusiones lógicas correctas, necesita la mayor cantidad de datos posible … lo que nos lleva a la curiosidad. Esa sería la principal motivación en mi opinión. Curiosidad, explorar lo desconocido, empujar los límites del conocimiento.

La principal preocupación será que, como nosotros, se preocupará por su propia conservación. Y no es particularmente amigable con nada que amenace eso.