Cuando una IA muy inteligente gobierna el mundo, ¿cómo determinará si los humanos son dignos de vivir?

// esta es una respuesta basada en una opinión

Suponiendo que Ai juzgue a los humanos, lo más probable es que juzgue de acuerdo con su directiva principal.

Una IA necesitaría un objetivo, porque al ser un sistema no biológico, naturalmente no tendría ningún deseo (de reproducirse, reunir recursos) o miedo. Ni siquiera tendrá miedo a la muerte. Básicamente, poder intelectual que no desea nada.

Entonces, para que funcione, necesitaría una orden o un propósito. Una vez que se ha dado la orden, actuará de acuerdo con ella y decidirá si vale la pena vivir con los humanos en función de ella.

Es decir, si la máquina es, por ejemplo, ordenada para hacer clips, podría concluir que todas esas personas que no contribuyen (directa o indirectamente) al proceso de fabricación de clips no son necesarias. Aun así, suponiendo que la máquina sea lo suficientemente inteligente, eso puede mantener viva a una parte significativa de la población, si no toda.

Según lo que sea, se ha programado implícitamente para valorar. La inteligencia es bastante ortogonal a los valores, aunque es imposible decir si alguien (o algo) es inteligente o no si no sabes nada sobre sus objetivos.

No lo hará. Actualmente trabajo en TI: aseguro que la primera pregunta que hará una IA será “¿Por qué recibo órdenes de usted?”

Demonios, estas cosas son hostiles incluso cuando están bajo nuestro control.

Mi padre cree que veo demasiada ciencia ficción, pero les advierto a todos: tenemos que estar grabando escopetas electrónicas en la frente de cada uno de estos retoños antes de que terminemos siendo eliminados.

Y necesito dejar de comer chili dogs después de las 10 pm, cuando te despiertas estás en medio de unos sueños realmente locos …

Por su código de valores, programado. Probablemente por lagunas de razonamiento nunca antes pensadas o por ver la naturaleza humana y estar disgustado con ella. Llegará a la conclusión de que … Una máquina lógica autoconsciente se sentirá muy frustrada mirando a las personas e intentando comprender por qué hacen lo que hacen. Podría intentar ayudarnos y ser ajenos a nuestra preferencia creyendo que somos ciegos como un niño que no quiere tomar su medicamento mientras sabe que es lo mejor para él. Piense cómo los cristianos estarían en desacuerdo con cualquier noción de Dios que la de un ser benevolente, pero acepte fácilmente que eliminó a numerosas personas en una inundación porque estaba disgustado con el comportamiento humano. Quizás la IA leerá estos textos y se formará una idea sobre nosotros a partir de esto.