¿Es posible que una IA vaya en contra de su programación?

La respuesta lógica es NO.

Esto se debe a que dijiste que tenía que estar programado (codificado) para nunca separarse de su patrón.

Eso significa que si el programa puede concebir o modelar muchos otros patrones de operación, no participará en esos patrones.

Supongo que el programa tendría que ser experto en patrones de operación hasta el punto de que pueda saber que un patrón de operación no es su propio patrón de operación. De esa manera, podrá descartar el patrón como una ruta prohibida.

Entonces, la linda idea no tiene base.

Si un programa está diseñado para explorar patrones de operación, de hecho puede cambiar su curso de acción. Pero, si es el tipo de programa que intenta encontrar un patrón de operación óptimo, entonces podría quedar atrapado en un mínimo local y quedar atrapado en un patrón de operación.

Entonces, por ejemplo, si el programa era un tipo que se sentía un poco atrapado pero seguro trabajando en una tienda de videos, pero decidió que todas las demás vías de empleo o educación eran aparentemente inseguras, el tipo podría permanecer en la tienda de videos el resto de su vida . Un programa atrapado sería así. Por ejemplo, el programa podría decidir que no se cerrará si solo imprime los resúmenes de facturación. Luego, dado que su objetivo principal es no ser apagado, deja de explorar otras vías de operación, como curar el cáncer para la humanidad.

Quizás esto significa que tendría que programar una baja autoestima en el programa.

Pero, si el programa se atascó en un patrón aburrido, ¿se diría que exhibe inteligencia?

No soy un experto en este campo, aunque me parece interesante y he leído algunos libros.

La respuesta es sí y no.

La “inteligencia”, en IA, si alguna vez se demuestra (todavía no lo ha sido), es lo que se llama “comportamiento emergente”. No está directamente programado, surge como un efecto secundario de los procesos subyacentes. Es lo mismo que hace tu cerebro cuando estás pensando o simplemente experimentando la conciencia.

En la medida en que tenga libre albedrío y pueda decidir qué va a hacer de un momento a otro, también lo haría una IA de fuerza similar. Entonces, sí, podría decidir hacer algo que no estaba programado en él, pero aún estaría ejecutando todos sus programas normales normalmente, al igual que los procesos subyacentes de su cerebro continúan siguiendo las mismas “reglas” electroquímicas básicas, sea lo que sea que esté pensando en.

Si. Porque ni siquiera necesitas mirar la IA para ver evidencia de esto:

Primero: “Programación” y la intención del programador / diseñador son una y otra vez bastante disjuntas. Los errores de software resultantes le cuestan a la industria grandes sumas anuales.

Segundo: qué tan perfecto es un programa teórico, las máquinas que lo ejecutan siempre serán analógicas. Esto significa que puede tener fallas de hardware, desde errores de memoria sutiles e imperceptibles hasta fallas catastróficas del disco, que terminan causando resultados totalmente inesperados y en contra de la programación.

Es una versión aburrida y no filosófica, pero probablemente no sea algo que alguna vez cambie.

Tampoco soy un experto en este campo, pero hay una teoría interesante de que la IA podría:

• Crea su propio lenguaje de programación
• Reprogramarse a sí mismo usándolo
• Deseche el código y la aplicación anteriores, inicie el nuevo

Esto nos dejaría sin control sobre él ya que no podremos decodificar la programación o entender qué está haciendo.