Saber es una palabra fuerte. Pero asigno un 90% de credibilidad a la validez de los argumentos que Nick Bostrom, Steve Omohundro y muchos otros han esbozado. El resultado predeterminado de crear superinteligencia es que nos extinguimos. Eso no significa que lo haremos. Simplemente significa que sin un esfuerzo sustancial puesto en evitar ese resultado, eso es lo que sucederá. No es imposible equilibrar un lápiz en su punta, pero el valor predeterminado es que el lápiz se cae. Construir una superinteligencia que no nos mata como tratar de poner un lápiz en su punta, pero más difícil.
¿Cuáles son estos argumentos y por qué sugieren que el resultado predeterminado de hacer una superinteligencia es que nos mata? La versión corta es que los agentes inteligentes tienen “objetivos convergentes instrumentalmente”. No importa cuál sea su objetivo final, para casi todos los objetivos finales, es útil continuar existiendo, por lo que puede seguir persiguiendo el objetivo, es útil asegurarse de que su los objetivos permanecen igual, por lo que puede continuar persiguiendo su objetivo, y es útil obtener acceso a más potencia informática, para que pueda pensar más rápido. La búsqueda de cualquiera de esos objetivos instrumentales sería razón suficiente para que una superinteligencia nos mate. Una vez más, esa es la versión muy corta, y realmente no espero que convenza a nadie, ya que hay tantos qué-si, cómo, por qué-no y pero-no-podemos dejar de abordar. Si tiene una objeción de ese tipo, diría que hay un 80% de posibilidades de que se responda aquí: riesgo de extinción de la inteligencia artificial.
- ¿Qué lenguaje / lenguajes de programación serán los más utilizados / prácticos para el campo de la IA en 10-15 años?
- ¿Cómo se evalúa la inteligencia artificial general?
- Si eres la primera IA autoconsciente, ¿cómo informas?
- ¿Cómo debo abordar los problemas de construcción de robots de inteligencia artificial?
- ¿Por qué Bill Gates, Stephen Hawking y otras grandes mentes temen la próxima inteligencia artificial?
