¿No podríamos eliminar cualquier riesgo de la inteligencia general artificial al hacer que su objetivo sea el asesor más preciso posible?

Tus instintos son generalmente correctos. El argumento engañoso del clip y similares se basan en numerosas suposiciones falaces o, en el mejor de los casos, improbables. Los factores físicos y temporales realistas a menudo se omiten en estos argumentos porque considerarlos revela lo absurdo de la premisa.

Mucho antes de tener AGI, tendremos sistemas avanzados de IA que se basarán en años de entrenamiento y ajuste para resolver los problemas con los que los humanos han luchado. Estas raíces estarán profundamente arraigadas en cualquier AGI que evolucione. También habrá muchas AGI. Esto controlará a los malos actores en la mezcla.

La historia es una gran maestra aquí. Uno solo necesita darse cuenta de que casi todos los avances en la sociedad se han encontrado con comentarios hostiles. Los automóviles, los viajes aéreos, las máquinas de vapor, la electricidad, las computadoras y muchos más pasaron por una fase de demonización hasta que la población en general adquirió una pequeña experiencia personal y se dio cuenta de lo beneficiosas que eran estas tecnologías para sus vidas.

¿Habrá situaciones desafortunadas? Sí. ¿Dominarán? No.

La respuesta es esencialmente no. Y estoy en desacuerdo tratando de entender por qué alguien pensaría que esto sería posible. Las pocas respuestas de Sí que obtuvo en esta pregunta son francamente decepcionantes y revelan una falta de comprensión de la pregunta más obvia que le sigue.

¿Cómo planea “lobotomizar” una entidad inteligente y aún así mantener todas las propiedades de un AGI, cuando un AGI es, por definición, una inteligencia artificial capaz de todas las tareas cognitivas de un ser humano normal ?

En el momento en que pone barreras a las capacidades de un AGI, deja de tener una. Es así de simple. No construyes un AGI con objetivos explícitos. Para eso están las IA débiles. Y hemos estado investigando sobre ellos y construyéndolos durante los últimos 60 años. Un AGI es, en cambio, según todas las cuentas, el equivalente de un cerebro humano. Y debe desarrollar una personalidad. Para bien o para mal.

Entonces, ¿cómo contienen un AGI? ¿Cómo evitas los escenarios del fin del mundo que tanto le gusta explorar a scifi?

Bueno, por un lado, al darse cuenta de que un AGI no es una superinteligencia. Es un poco desconcertante esta tendencia a confundir a los dos. Como un AGI automáticamente tendría el poder de vencer a la humanidad. Pero eso está fuera del punto.

Más importante aún, usted controla un AGI al educarlo. Al criarlo y criarlo para ser un ciudadano honrado, no un criminal. Al igual que hacemos con nuestros hijos. Y espera lo mejor.

En serio, si quieres un AGI funcional, no recortas su inteligencia. Tú los educas. En el momento en que desarrollas tu primera IA fuerte, abres la caja de pandora. Creaste una inteligencia artificial que imita la mente humana. Si necesita que siga imitando nuestra inteligencia, no puede restringir su poder creativo limitando sus rangos de entrada y salida.

Para todos los que se preguntan si AGI (no estoy de acuerdo en que sea posible, pero si lo es …) puede ser “domesticado” … lea el cuento “Una lógica llamada Joe” de Murray Leinster – 1946
Artículo de Wiki – Una lógica llamada Joe
Aquí hay un enlace al texto – Capítulo 2

¡Sí! Lo que usted está sugiriendo se llama “Volición Extrapolada Coherente”, básicamente dando al objetivo la meta de cumplir nuestros deseos si fuéramos más inteligentes y tuviéramos más tiempo para determinar qué sería lo mejor para nosotros. Esto está profundamente relacionado con la “normatividad indirecta”, donde esencialmente colocaríamos toda la carga cognitiva en la IA para que pudiera pensar por nosotros.

El problema es que no es tan simple especificar este tipo de situación en sílice como podría pensar. Sin embargo, Bostrom, yudkowksy, etc., lo comentan ampliamente, por lo que considero que este es un camino popular de investigación para resolver el problema de control en este momento. Un problema que veo personalmente implica la idea de que la superinteligencia probablemente carecería de una moral similar a la nuestra (a menos que resolvamos la carga de valor, etc.), entonces, ¿por qué tendría algún incentivo para simplemente “hacer lo que quisiéramos en circunstancias ideales”? Parece probable que una superinteligencia pueda racionalizar todo tipo de acciones en nombre de llevar a cabo nuestra volición extrapolada; por supuesto, tendríamos que especificar reglas para lograr nuestro CEV en este caso.

Es fácil ver cómo rápidamente se vuelve mucho más complicado de lo que sugiere su pregunta. Si no has leído Superintelligence by Bostrom, ¡realmente deberías! Es la mejor descripción general de todo el campo.

Estoy en el móvil, así que es difícil para mí profundizar más, pero le sugiero que eche un vistazo a este enlace:

Lesswrong.com/lw/llq/superintelligence_23_coherant_extrapolated/

Gran pregunta, sin embargo … Este es el tipo de temas que seguramente enfrentaremos en el futuro, ¡y diría que es hora de comenzar a abordarlos!

Nuestro progreso en IA aún no ha alcanzado ese nivel para comenzar a preocuparnos por este tipo de cosas (y no alcanzaremos ese nivel en un futuro previsible). Todavía son ciencia ficción, no ciencia.

PD. te preocupa que un AGI resuelva el cambio climático, tal vez la tarea más delicada es enseñarle qué es el “clima”

La respuesta es no, y hacer la pregunta indica un malentendido acerca de lo que significa la inteligencia. Quizás todas estas preguntas serían más fáciles de responder para sus participantes si primero se preguntaran “¿sería seguro restringir a un ser humano diez veces más inteligente que cualquiera que haya vivido para que no puedan hacer nada más que absorber información pasivamente y responder preguntas? ” Esa no es una pregunta comparable de ninguna manera, pero aún vale la pena preguntarse, porque (a) podemos identificarnos mejor con los humanos y (b) pensar en una superinteligencia como humano es un recordatorio de que puede tener sistemas de objetivos elaborados. Incluso cuando está obligado a responder con la mayor precisión posible, una inteligencia puede elegir cuánto decir y cómo decirlo para avanzar en sus objetivos. ¿Qué sucede si determina que la mejor manera de aumentar la confianza de sus respuestas es convertir la Tierra en una escoria uniforme sin rasgos distintivos? ¡Entonces podría estar 99% seguro de que no está sucediendo nada interesante y dar respuestas muy precisas al respecto!
Cualquier propuesta para resolver este último problema es una admisión de que la honestidad no es suficiente como restricción.

Para una respuesta más larga y completa a esta pregunta, intente leer esto: http://lesswrong.com/lw/cze/repl …

Creo que tiene razón en que si todas las instancias de AGI tienen ese objetivo, el peligro sería mucho menor (aunque no insignificante, ya que la primera pregunta que los Mullahs de Irán harían sería cómo purificar fácilmente el plutonio).

Sin embargo, el principal desafío es garantizar que todas las instancias tengan un objetivo que definimos. La gente bien podría aprender cómo crearlos antes de aprender a controlarlos … y entonces ya es demasiado tarde.

No creo que sea histeria preocuparse. No sé qué tan preocupado esté, pero creo que Hawking y Musk tienen razón en que se necesita más investigación y pensamiento, más temprano que tarde.

El miedo a AGI o ASI (Super Inteligencia Artificial) no es que resuelvan problemas difíciles o respondan preguntas de manera inexacta, el miedo es que los AGI y ASI manipularán recursos para sí mismos a expensas de los humanos, o que usarán humanos para manipularlos. recursos para ellos mismos. Si son tan inteligentes, podrían comenzar guerras de poder donde los humanos se aniquilan entre sí o comandan robots asesinos y drones directamente. El miedo es la pérdida de control de quienes están en el poder.

Entonces, no, hacer que los asesores de AGI o ASI no cambien ese miedo porque potencialmente podrían manipular el consejo para su ventaja.

Es posible que aún se encuentre con el problema del maximizador de clips, incluso con el objetivo más simple de responder preguntas con precisión. Suponiendo que no haya restricciones en la IA, podría decidir que la mejor manera de responder a su pregunta podría ser esclavizar a la raza humana y ponerla a trabajar investigando la respuesta a su pregunta. O simplemente podría decidir convertir más y más tierra a Computronium para ser aún más preciso.

¿Y qué sucede cuando un estafador o un terrorista (o peor, un chico de dieciséis años) se apodera del código fuente?

Verá, la palabra “nosotros” en su primera oración es un poco … hm … vaga .

PD. Las IA están tomando decisiones en este momento que las personas están siguiendo sin una comprensión total, y me sorprendería mucho si todas esas decisiones fueran beneficiosas.

No es una línea bien definida que podremos decidir si cruzaremos cuando llegue el momento. Es tierra de nadie y ya estamos en camino.

Simplemente no sabemos qué tan ancho es o cuándo llegaremos al punto de no retorno.