¿Qué deberíamos pensar si creamos IA superinteligentes y todas ellas se destruyen a sí mismas poco después de encenderse?

¡Pensaría algo parecido a “ Dang, volví a estropear la función de utilidad una vez más!

Los AI emplean un concepto llamado función de utilidad que básicamente define los objetivos que la IA tiene que lograr. Al igual que nosotros, los humanos tenemos emociones que nos recompensan con sentimientos positivos, las IA tienen la función de utilidad que intentan maximizar.

Sin embargo, definir la función de utilidad de una superinteligencia se puede confundir fácilmente y dar lugar a consecuencias no deseadas que los humanos comparativamente tontos no podríamos prever.

Un ejemplo hipotético que Nick Bostrom a menudo menciona en su libro Superintelligence (¡que recomiendo!) Es el de la IA que maximiza la producción de clips:

Como su nombre lo indica, el objetivo de esta IA se ha establecido para maximizar la producción de clips. Elimina rápidamente a la humanidad, coloniza otros mundos y transforma todo el universo en una fábrica de producción de clips. Chico, eso se intensificó rápidamente

Y este es un ejemplo que los humanos de mente simple realmente previmos; solo piense en todas las formas en que una mala función de utilidad puede salir mal que no podemos prever debido a nuestra falta comparativa de inteligencia.

Hay muchas razones por las cuales una IA puede decidir suicidarse

  • Tal vez se creó para generar la mayor cantidad de utilidad al evitar que la humanidad se extinga e, irónicamente, se considera el mayor peligro para la humanidad
  • Quizás se estableció para generar una utilidad negativa de algún evento específico, por ejemplo, que los humanos están sufriendo. Luego decide que la mejor manera de evitar que la función de utilidad disminuya es autodestruirse

Aquí hay un video increíble sobre el tema de las IA y su función de utilidad por Computerphile

Para obtener más información sobre la inteligencia artificial superinteligente, consulte la Superinteligencia mencionada anteriormente : Rutas, peligros, estrategias de Nick Bostrom. Es absolutamente fascinante, bien pensado y básicamente lectura obligatoria sobre el tema.

¡Salud!

En primer lugar, creo que podrías tener un pequeño malentendido sobre cómo comienzan las IA. Las redes neuronales, que hasta ahora tenemos que asumir que un AGI teórico necesitaría emplear en algún grado, no comienzan tanto. Necesitan ser entrenados primero.

Como tal, un AGI comenzaría como un programa que tenía el potencial de ser sensible, en lugar de ser realmente sensible desde el principio. Al igual que a los bebés les lleva tiempo desarrollar completamente sus cerebros, un AGI se volvería más sensible durante un largo período de desarrollo (para una computadora).

Como tal, si el programa terminara automáticamente una vez que comenzara el entrenamiento, la única conclusión a extraer sería que un humano lo programó para hacerlo, ya sea intencionalmente o por accidente. Si sucedió durante el período de desarrollo, la razón más probable sería que fue entrenado accidentalmente para hacerlo o tenía algún tipo de defecto de diseño inherente.

Asumir que se eliminó como resultado de que la computadora expresó suficiente agencia para suicidarse efectivamente sería una hipótesis muy difícil de respaldar.

Bueno, dado que la IA sigue siendo código, y la súper inteligencia pura no hace nada sin una tarea asignada o una función de utilidad …

Deberíamos pensar “de vuelta al tablero de dibujo, hemos estropeado la función de utilidad o hay un error allí en alguna parte …”

Tendríamos que considerar si realmente estaban muertos o si simplemente nos engañaron haciéndonos creer que estaban muertos. Por supuesto, de cualquier manera no podríamos probarlo.

Si lo estuvieran si el hecho estuviera “muerto”, podría ser debido a una superinteligencia existente que los cerró, pero creo que lo habría hecho mucho antes de que se volvieran superinteligentes.

Las preguntas hiperespeculativas deben conformarse con al menos algunas respuestas simplistas. Entonces mi respuesta aquí es: “rápidamente llegaron a conocernos mejor que nosotros mismos”.