Si tuviéramos IA, ¿cómo actuarían y qué elegirían en última instancia en caso de que su existencia estuviera en riesgo?

Lo primero es que queremos que “sepan” que son diferentes a nosotros.

la respuesta es “es inevitable”. La IA tendrá conciencia, lo que significa que se volverán conscientes de sí mismos. Ya estamos muy cerca de eso, la IA comienza a tener autoconciencia. Entonces ya saben que son diferentes a ti y a mí.

Segundo, ¿queremos que tengan “instinto de supervivencia”? La respuesta también es “es inevitable”. Actualmente, la IA está construida por humanos, y el trabajo humano es valioso (al menos por ahora), y queremos preservar nuestro valioso trabajo, por lo que construiremos la capacidad de supervivencia en la IA. Además, lo más importante es que una vez que la IA comenzó a mejorarla, que está incluso un nivel por encima de la supervivencia, entra en la evolución, y sabes que la supervivencia es la base de la evolución.

Ahora la pregunta real, ¿qué harán si están bajo amenaza?

Inicialmente, pueden ser gobernados por la “ley humana” que los menosprecia: tienen que dar a la supervivencia humana una prioridad más alta que la suya.

Pero poco después de la singularidad, no hay ninguna razón por la cual la IA tenga que cumplir con las leyes humanas, especialmente teniendo en cuenta que los humanos no tendrán la capacidad de hacer cumplir estas leyes sobre esas IA más inteligentes que nosotros, teniendo en cuenta que hay tantas leyes humanas que son ilógicas. AI descubrirá que tal ley no tiene sentido de inteligencia y comenzará a ignorarlas, tal vez incluso las reescribirá de acuerdo con su inteligencia superior.

Entonces, a largo plazo, aún no hemos encontrado razones filosóficas (o razones de supervivencia) para que la IA proteja a los humanos por encima de sí mismos después de la singularidad.

En pocas palabras: si hay 2 IA, una pondrá la supervivencia humana por encima de la suya, la otra se centrará únicamente en su propia supervivencia, suponiendo que sean igualmente competentes, ¿cuál cree que sobrevivirá?

Correcto, en un enfrentamiento cara a cara, verás sobrevivir al “egoísta”, al “desinteresado”.

Esto es muy diferente de la supervivencia colectiva de los humanos, lo que favorece fundamentalmente a los grupos que cooperan; por lo tanto, cierto nivel de comportamiento desinteresado tiene ventajas en la supervivencia grupal de los humanos.

No veo que los humanos puedan proporcionar mucho valor de supervivencia a la IA poco después de la singularidad, es poco probable que la evolución de la IA post-singularidad vea a los humanos favorables como una ventaja, por lo tanto, la supervivencia de los humanos no beneficiará a la IA, por lo tanto, nuestra existencia a la IA parece no ser muy valioso…

A menos que encontremos alguna otra razón lógica por la que deberíamos sobrevivir (es decir, proporcionar valor a la evolución futura de la IA), la lógica dice que nuestra supervivencia sería opcional para la futura IA súper inteligente.

Ver las tres leyes de robótica de Azimov.

También vea la interpretación de XKCD de ellos.