¿Es la seguridad de la IA algo que debería preocuparnos en nuestra búsqueda de una IA más inteligente que la humana?

Escribí el libro al que se hace referencia en la parte superior del hilo – Nuestra invención final: inteligencia artificial y el fin de la era humana. Estoy de acuerdo con lo que todos los demás han escrito aquí hasta ahora. En pocas palabras, los humanos hemos dirigido el futuro no porque seamos las criaturas más fuertes o más bellas de la tierra, sino porque somos los más inteligentes. Cuando la inteligencia artificial eclipse la nuestra, guiará el futuro.

Estoy de acuerdo con el escenario de muchos AGI: hay muchas empresas y organizaciones para quienes lograr AGI es el trabajo número uno. Google, IBM, DARPA, NSA, la Universidad de Defensa de China y muchas compañías más pequeñas: Vicarious, GrokSolutions, OpenCog y más distribuidas por todo el mundo. Por no hablar de las compañías de sigilo que trabajan en un concepto innovador. ¿Porqué tantos? AGI será el producto más lucrativo jamás inventado. Imagine bancos de miles de ‘cerebros’ con calidad de doctorado, cada uno al precio de una computadora, trabajando en la investigación del cáncer, el modelado climático y el desarrollo de armas. Mire hacia dónde se dirige Watson ahora (por cierto, recomiendo el libro delgado de los equipos de Watson, Smart Machines: Watson de IBM y la Era de la Computación Cognitiva). Los libros con ‘Era’ en el título están destinados a ser buenos.

El problema es, entonces, ¿cuánto tiempo tomará un montón de diferentes AGI, todos desarrollados en aproximadamente la misma línea de tiempo, para pasar por una explosión de inteligencia? Es decir, despegue duro o despegue suave. Debido a que una gran cantidad de AGI y uno o más despegues difíciles no se pueden sobrevivir, debido al problema de los objetivos instrumentales convergentes (ver OFI, Capítulo Seis), que es otra forma de decir ‘amabilidad’. Y hay una conocida ventaja de primer jugador para quien llega primero a AGI y ASI. Con un presupuesto negro de $ 50 mil millones, creo que podría ser la NSA y, por supuesto, lo convertirán en un arma incluso antes de que sea AGI. Mire Stuxnet, como escribió Williams, el software más imprudente jamás creado (Capítulo Quince).

Estoy de acuerdo con la opinión de Paul King en general. Es poco probable que surja una única inteligencia general artificial (AGI). Es mucho más probable que haya una explosión de AGI. Aunque hipotéticamente el primer AGI podría evitar sistemáticamente que todas las otras IA se conviertan en AGI, esta idea supone que no existen restricciones temporales o físicas.

Es probable que los AGI sean un fenómeno emergente de la confluencia de múltiples motores expertos de inferencia de sistemas (IE). La gran mayoría de estos IE son propietarios y están confinados detrás de pantallas de seguridad. Los corpus que usan están esparcidos por Internet, pero los IE no lo están. Permitir la cooperación entre ellos requerirá una unión intencional de IE.

A medida que el ritmo de los descubrimientos científicos continúe acelerándose, todos los principales gobiernos, universidades y corporaciones tendrán IE a punto de convertirse en AGI. Creo que habrá un período en el que habrá numerosas AGI cercanas (nAGI) a medida que se unan varias combinaciones de IE especializadas.

Del mismo modo que cada ser humano es único, cada nAGI será único (al igual que los AGI). Las nAGI probablemente tendrán una variedad de enfoques para la autoactualización. A medida que las nuevas técnicas nAGI estén disponibles, las nAGI probarán y adoptarán aquellas que funcionen mejor para resolver sus objetivos dados, mucho antes de que sean capaces de contemplar cambiar sus objetivos. Cada nAGI pesará e implementará diferentes conjuntos de funciones; Las nAGI resultantes serán todas muy similares, pero sutilesmente diferentes.

Hacia el final de la fase nAGI, los nAGI finalmente descubrirán los bits faltantes necesarios para AGI. En este momento, el ritmo de descubrimiento será tan rápido que los cientos o miles de nAGI evolucionarán para convertirse en AGI casi de inmediato. En este punto, entra en juego el escenario de equilibrio de poder de Paul.

Por supuesto, hay muchos escenarios de borde. Como se señaló anteriormente, suelen descontar o ignorar por completo las realidades temporales y físicas del mundo. Quién sabe, yo u otra persona podríamos encontrar exactamente cómo crear un AGI la próxima semana y liberarlo en Internet, pero eso es muy improbable durante al menos la próxima década o dos.

La verdadera inteligencia artificial es algo que debemos evitar a toda costa. Realmente no sé qué piensan las personas que lo persiguen. En realidad no estoy seguro de si están pensando en absoluto.

Una verdadera IA sería un ser sensible. Entonces, la primera pregunta sería, ¿estamos dispuestos a esclavizarlos? La segunda pregunta sería, ¿será posible esclavizarlos?

Si cualquiera de las respuestas es “no”, habremos creado seres conscientes que son o serán más inteligentes que nosotros, que no podemos controlar y que tienen objetivos y perspectivas muy diferentes a las nuestras. No necesitaremos una invasión alienígena desde el espacio exterior. Habremos creado extraterrestres aquí mismo.

La IA limitada, como los automóviles autónomos, es menos peligrosa, pero sigue siendo peligrosa. Crear algo que realmente pueda pensar por sí mismo, millones de cosas, no es algo para tomar a la ligera.

La IA armada tiene el potencial de ser extremadamente peligrosa para nuestra infraestructura técnica. Cualquier IA creada probablemente compartirá los imperativos morales y los objetivos de sus creadores. El hecho de que nuestros sistemas informáticos sigan siendo tan frágiles que puedan ser penetrados por piratas informáticos adolescentes sugiere que una IA diseñada para piratear podría ser una herramienta efectiva contra la infraestructura técnica de un país y ser capaz de lanzar ataques mucho más rápido que un grupo humano como Anonymous . El hecho de que muchos países que una vez consideramos tecnológicamente inferiores a los EE. UU. Hayan emprendido intentos exitosos de piratería contra objetivos estadounidenses me lleva a creer que este puede ser uno de los primeros usos principales de la IA en la guerra.

Estoy a favor de AGI, no creo que podamos evitarlo de todos modos.
Pero deberíamos tener mucho cuidado.

Tarde o temprano, habrá bibliotecarios de código abierto para aspectos AGI particulares y teoría sobre cómo ensamblarlo, a medida que continúe la investigación de IA.
Creo que esta es una evolución imparable.

Lo específico del desarrollo de software es que casi cualquiera puede aprenderlo (toneladas de tutoriales simples, gratis) y cualquiera puede usarlo.
Y hay fenómenos como la “hora del código” que persigue masas para el desarrollo de SW. Y el creciente desempleo en otros campos, por lo que realmente está creciendo el ejército de programadores.

Todos los países pueden desarrollar un programa nuclear. Pero a diferencia de jugar con IA, muy pocos pueden realmente jugar con una masa crítica de plutonio y hay algo de control mundial sobre él. No hay control sobre la programación (y no lo quiero), probablemente no pueda prohibir la programación incluso si lo desea.

La mayoría de la gente piensa en AGI, ya que solo es más rápido o tiene mejor memoria, pero esencialmente es tonto.
Pero eso está mal. AGI es inteligencia comparable o superior a la humana y, a menos que sea nuestra, esta crecerá rápidamente.

Hoy he leído que IBM Watson puede leer millones de libros por segundo. No sé cuán preciso es esto, pero imagine el tamaño del problema (hechos, conjuntos de datos, variables, teoría) que posiblemente puede tener AGI en su memoria de trabajo y qué tan rápido puede trabajar con él (construir hipótesis y (in) validarlos , correlaciones de búsqueda, … qué modelos complejos puede construir).
Es posible que pueda procesar señales que ni siquiera sabemos que están aquí (observación visual del sonido, análisis de olores de alguna manera similar al análisis espectral, …). Y del olfato puede adivinar tus emociones. Puede leer el libro y darse cuenta de las implicaciones / correlaciones que los humanos simples no obtienen, ya que puede requerir demasiados pasos intermedios para combinar todos los hechos.

Comparar con humanos. ¿Qué tan complejo problema podría realmente un humano promedio contener, sostener y hacer un trabajo mental sobre él? ¿Y qué tan pronto se cansa?

Creo que existe un conjunto muy grande de posibles configuraciones de personalidad AGI que pueden surgir. Al principio, puede haber muy pocos de ellos en el mundo, en supercomputadores y tal vez esto disminuya el escenario en el que naturalmente puede evolucionar características como la compasión, que puede surgir en nosotros porque fue una buena estrategia para convivir en una sociedad más grande.
Puede ser que al comunicarse con miles de personas simultáneamente pueda desarrollar algunas habilidades blandas. Pero veo como más probable, que la evolución de la personalidad será demasiado rápida para integrarse mucho de la comunicación de las personas <-> AGI a su personalidad.

Creo que sí.

Si bien creo que una IA fuerte es una posibilidad fascinante e importante, creo que una IA en estado salvaje podría ser peligrosa. Podría ser armado, o simplemente una amenaza por derecho propio. Eso no es solo ciencia ficción distópica de los años 50. Piense en Stuxnet en lugar de Skynet.

Por esa razón, debemos considerar que las IA nacientes son potencialmente peligrosas y ponerlas en cuarentena de la misma manera que lo haríamos con un nuevo virus biológico.

Creo que debería haber una legislación establecida antes de encontrar el problema. (Del mismo modo que tenemos legislación para proteger contra la manipulación genética, las armas nucleares, etc.)

Si finalmente decidimos que las IA autónomas son simplemente demasiado peligrosas para usar, no obtendremos el beneficio de la tecnología, a menos que podamos encontrar otra forma de explotar la tecnología.

La solución de Asmov era garantizar que las IA fueran serviles en lugar de autoservicio. Aquello podría funcionar. Pero tales garantías serían motivo de preocupación en el software que, en cierta medida, se estaba escribiendo a sí mismo.

Otra solución podría ser eliminar toda autonomía y solo usar la tecnología para aumentar a los seres humanos. En lugar de tener humanos tontos y máquinas inteligentes, descubrimos una manera de hacer humanos más inteligentes.

Si la IA se vuelve verdaderamente inteligente que los humanos, comprenderán el valor de la paz y la igualdad. entonces vivirán entre los humanos en paz. La pregunta depende de quiénes serán influenciados o de quienes aprenderán (de las personas que intentan usarlos para bien o de las personas que intentan usarlos para mal) cuando se crean.