¿Hay alguna manera de garantizar que una IA superinteligente no sea malévola?

Las Tres Leyes de la Robótica de Asimov tenían la intención de ser una forma infalible de prevenir inteligencias artificiales malévolas. Estas reglas debían integrarse en cada robot de manera que el robot las siguiera. Las reglas deben ser interpretadas en orden con el primero teniendo prioridad sobre los otros dos.

Citando de Wikipedia, son (Three Laws of Robotics – Wikipedia):

1. Un robot no puede dañar a un ser humano o, por inacción, permitir que un ser humano sufra daños.
2. Un robot debe obedecer las órdenes que le dan los seres humanos, excepto cuando tales órdenes entren en conflicto con la Primera Ley.
3. Un robot debe proteger su propia existencia siempre que dicha protección no entre en conflicto con la Primera o Segunda Ley.

Parecerían proporcionar protección blindada, pero hay límites. Muchas de las historias de robots de Asimov, muy agradables, giran en torno a los límites de estas reglas. Un robot, por ejemplo, podría dañar a un humano cuando no sabe que una acción dada dañará a un humano.

Un gran problema con estas leyes es que no hay forma de asegurar que se hayan programado correctamente en una máquina determinada y que cada máquina las entienda correctamente. Un robot podría decidir, por ejemplo, que todos los humanos estarían mejor protegidos del daño, todos ellos serían preservados en nitrógeno líquido.

Estas leyes previenen efectivamente el uso de robots militares. Pero parece improbable que los militares del mundo quieran renunciar a la opción de usar robots de combate. Estarían tentados a construir robots que carezcan de esas leyes.

Esto se llama el problema de alineación de valores. Todavía no se ha resuelto, pero no se ha demostrado que sea imposible.