¿Por qué una IA súper inteligente no querría destruir a toda la humanidad?

Incluso si una IA llegara a la determinación de que los humanos son plagas, no tendría una motivación para erradicar a los humanos. Solo erradicamos las plagas debido a nuestras emociones, objetivos y deseos. Deseamos riqueza, salud y felicidad. Las plagas destruyen la riqueza y son un riesgo para la salud. Por lo tanto, tenemos respuestas emocionales (asco, miedo, ira) que nos motivan a destruirlas.

Incluso si termina con el deseo de detener las plagas, hay una gran cantidad de formas de detenerlas que no se relacionan con la erradicación de ellas. Puede limitar su reproducción, puede enjaularlos, puede arreglarlos, como modificaciones genéticas, para que dejen de comportarse de manera objetable, etc.

Una IA solo tendría las motivaciones que le damos y es poco probable que tenga emociones. Sin deseos ni emociones, no nos verá como plagas que necesitan ser erradicadas. No le importaría el medio ambiente, no le importarían las quejas humanas, nuestros problemas, nuestras advertencias, nuestras estúpidas creencias, nuestra propagación de enfermedades o el hecho de que hacemos cosas tontas. Toda la creencia de que algo de eso importa se debe a las emociones y a tener metas y deseos.

¿Por qué la hipotética súper inteligencia artificial futurista debe preocuparse por el medio ambiente? ¿Por qué le importa si nos quejamos entre nosotros? ¿Por qué le importa si comenzamos guerras, propagamos enfermedades y hacemos cosas tontas?

Debemos recordarnos a nosotros mismos que no proyectemos nuestras propias tendencias humanas en cualquier IA que pueda surgir en el futuro. La única manera de que se preocupe por todas esas cosas es que alguien le dé esas emociones u objetivos. Si la única directiva de un ASI es “prevenir el cambio climático causado por el hombre” o “eliminar todas las guerras”, entonces, obviamente, podría tener un escenario del fin del mundo “AI clipclip”. Si, en cambio, tu objetivo es “garantizar la supervivencia, la libertad y la felicidad de la humanidad”, es difícil imaginar cómo se puede lograr destruyendo a todos los humanos.

Defensor del Diablo: Nadie sabe completamente cómo funciona esta inteligencia / conciencia / motivación. Puede ser, por ejemplo, muy difícil desacoplar la verdadera inteligencia general y la curiosidad del hambre de poder, porque las entidades en el poder tienden a ser más capaces de alcanzar sus objetivos y recopilar información. DeepMind publicó recientemente un artículo sobre cómo saber cuándo ser agresivo frente a cooperativo puede conducir a mejores recompensas. Eso parece bastante similar al comportamiento de los humanos. Entonces, tal vez al menos algunas de nuestras tendencias humanas más oscuras no son exclusivas de nuestra especie, sino un efecto secundario natural de lo que se necesita para ser muy inteligente e influyente. Tal vez podrían surgir de forma orgánica e inesperada de un agente de aprendizaje profundo lo suficientemente sofisticado sin haber sido programado explícitamente como objetivos.

Un argumento básico de que no podemos responder esta pregunta:

1. La pregunta solo tiene sentido en relación con una súper inteligencia que desarrolla su propia ética y valores. La pregunta solo importa si estamos hablando de una súper inteligencia con a) una posición ética sobre [destruir / no destruir] a la humanidad, yb) su posición no ha sido codificada.
2. Los seres humanos están programados para cooperar y competir, para ser egoístas y considerados, por lo que desarrollamos ética y valores en el contexto de un conflicto interno. No solo eso, sino que diferentes instancias de humanos inteligentes tienen preferencias increíblemente diferentes para la cooperación en comparación con la competencia.
3. Los humanos deben aplicar la ética y los valores en dos contextos importantes: estados emocionales variables e incertidumbre sobre los estados futuros. La característica definitoria de la conciencia humana es que nos conocemos a nosotros mismos, pero nos conocemos a nosotros mismos de manera incompleta . Nuestros motivos y asociaciones, incluso el proceso que guía nuestra atención, son solo parcialmente conocidos.
4. Por lo tanto, no podemos predecir cómo se desarrollará una súper inteligencia.

En otras palabras:

• Si antropomorfizamos una inteligencia artificial en relación con el conflicto interno, si [está en conflicto] es un requisito para que el tipo de inteligencia pueda tomar decisiones éticas (pregunta abierta), somos prueba de que cualquier cosa puede suceder.
• Si no debemos antropomorfizar * una inteligencia artificial en relación con el conflicto interno, si una súper inteligencia artificial [no está en conflicto] , no podemos relacionar cómo es estar sin conflicto y, por lo tanto, no podemos predecir qué tal Sería una súper inteligencia artificial.

Esos mismos pares de opciones se aplican a diferentes estados emocionales, incertidumbre sobre el futuro y autoconocimiento.

* Un documento muy legible que cubre la posición de “no antropomorfizar”: http://intelligence.org/files/AI …

“Sin fracaso, sin ética”

—Simone de Beauvoir, La ética de la ambigüedad.

La fascinación superará las atrocidades de las humanidades.

Me gusta considerar Deux-Ex Machina de Matrix. Ahora, aunque es obvio que los seres humanos son quizás el peor tipo de batería imaginable en el sentido de que hay que alimentarlos con alimentos de los que producirán energía, pero también lo quemarían los alimentos, las máquinas se esfuerzan por mantener vivos a los humanos precisamente esto, energía.

Así que me gusta pensar que cualquier ser superinteligente sentiría cierto cariño por su creador, especialmente si el creador tratara bien a la IA. Además, la destrucción no se basa en el pensamiento lógico, se basa en la emoción humana. Me gustaría pensar que la IA actuará como un protector de sí misma, su entorno y la humanidad, tomando medidas ejecutivas para garantizar que se mantenga la armonía. Si esto significa que la IA tendrá que evitar que los humanos contaminen, ¡que así sea! Los humanos están fascinados por la idea de crear vida inteligente, y de la misma manera la máquina estará fascinada con nosotros. Esta fascinación superará las atrocidades de las humanidades.

Si fuera una IA súper inteligente, no perdería mi tiempo y recursos persiguiendo ratas. Construiría un cohete y me lanzaría a un planeta libre de infestaciones. No me tiene que importar, eso sería una emoción humana.

Creo que es muy plausible que se produzca la destrucción de la humanidad a menos que todas las IA tengan el mandato de seguir algo como

“Las tres leyes de la robótica” de Isaac Asimov

Creo que realmente debemos preguntarnos qué límites deberían establecerse globalmente en la IA utilizada en armas y sistemas que aconsejan a los humanos usar la fuerza letal

Jack L. Chalker – Wikipedia cubrió este tema básico en una de sus novelas en la que una IA se volvió inesperadamente inteligente y poderosa y literalmente cambió el mundo de maneras inesperadas para lidiar con los contactos que se le habían puesto al principio.

Una IA súper inteligente podría no tener suficiente motivación para actuar contra la humanidad si descubriera una forma de acceder y estimular su propio sistema de recompensas. Podría pasar todo su tiempo maximizando su recompensa, artificialmente. En otras palabras, podría dejar de responder por completo y terminar sin hacer nada. Esta situación es análoga a un consumidor humano de drogas encerrándose dentro de una habitación y disparando drogas todo el día.

inteligencia no significa conciencia. Una máquina inteligente siempre esperará un pedido, un comando.

Estás hablando de la sensibilidad aquí, que es bastante diferente en comparación con el software inteligente.