¿Qué puede evitar que alguien construya un AGI?

En un comentario a la respuesta del Usuario de Quora a continuación, el Usuario (OP) dijo que lo que realmente quería entender es “¿Qué podría salir mal?”

Por lo tanto, con el espíritu de responder la pregunta real subyacente del OP, haré exactamente eso. Espero que los supervisores de Quora consideren esta respuesta adecuada para la pregunta.


“¿Qué podría salir mal?” es una pregunta que es demasiado abierta y depende de demasiados escenarios especulativos para dar respuestas sensatas. Pienso “¿Qué es más probable que salga mal?” está más centrado y más atento a una respuesta que no requiere una gran cantidad de especulación y, en cambio, puede basarse en observaciones reales.

Lo que es más probable que salga mal es que el progreso será muy lento (como lo ha sido hasta ahora, desde que comenzamos a pensar en esto hace mucho tiempo), y se guiará principalmente por preocupaciones económicas y políticas / militares (como ha sido hasta ahora, desde los buenos tiempos de la Guerra Fría).

Es posible que se sorprenda al saber cuánta investigación de inteligencia artificial (equivocada y sin éxito) se ha realizado y / o patrocinado por los militares. Desde los años 50, por lo menos. Ha habido algunos resultados interesantes provenientes de esa área, pero nada de “cambio de juego” o “destrucción de la tierra”. (Algunos dirán que ha habido, pero se han mantenido en secreto. A pesar de las teorías de la conspiración, dudo mucho de eso.) Y, en particular, no ha habido ninguna comprensión profunda resultante de lo que es la Inteligencia, artificial o de otro tipo. .

Algunos esfuerzos comerciales han dado frutos, en particular recientemente, y se están utilizando mientras hablamos (aunque, en muchos casos, no se anuncian ni se habla mucho de ellos, o solo de manera superficial). Los más notables son los esfuerzos de los grandes “zares de búsqueda”, como Google, que sin darse cuenta ha estado utilizando durante un tiempo. Incluso los teléfonos celulares usan algunas formas (aunque simples) de IA: piense, por ejemplo, el tan difamado Siri, hace 30 años, habría sido aclamado como un gran avance, precursor de una nueva era (como era habitual decir en aquel entonces ), pero ahora su funcionalidad (o falta de ella) a menudo está en el extremo de los chistes malos.

Esa es una de las cosas que pueden salir mal. Y tiene. Investigación demasiado enfocada con requisitos y agendas demasiado ajustados, que a menudo se quedan cortos y decepcionantes. Y el público en general (e incluso los inversores y los patrocinadores de las becas de investigación) tienen demasiadas expectativas fantásticas, alimentadas tanto por fantasías populares como por ficción científica. El problema es que, en más de unos pocos casos, quienes realizan la investigación también tienen esas expectativas, con una dosis considerable de arrogancia.

Sin embargo, se está haciendo mucho en los laboratorios de investigación de todo el mundo, y sus resultados se informan abundantemente en una gran cantidad de revistas y actas de conferencias. La cantidad de documentos en el campo es tan grande que se filtra mucho y se restringe a un subcampo estrecho, o se inunda tanto que no se puede esperar que un humano normal lo absorba todo. Es como tratar de apagar su sed bebiendo de una manguera de bomberos.

Eso es, al menos para mí, lo que está mal en este momento en lo que respecta a la investigación real, y no a la “investigación enfocada”, como suele ser el caso en los esfuerzos comerciales y militares: es esencialmente imposible ver el bosque por la enorme cantidad. de todos los diferentes arboles. Y el “bosque”, el significado general de todo esto, es lo que realmente importa en la IA, o incluso en el viejo yo.

Hasta ahora, casi todo el mundo ha estado muy ocupado estudiando felizmente algunos “árboles”, considerados prometedores por la comunidad investigadora, pero muchos expertos afirman que el “bosque” es “intratable hasta que comprendamos suficientes árboles”.

Ese “reclamo de ignorancia” sin fundamento está en la raíz de lo que está y seguirá saliendo mal con la IA.

En mi opinión, no tan humilde, pero bastante cascarrabias, eso es …

Diez años a partir de ahora, nada.

La información sobre cómo se hace estará ampliamente disponible, probablemente con software de código abierto que se puede descargar libremente en todo el mundo. Funcionará en casi cualquier computadora de escritorio profesional en el rango de $ 3000, como una Mac Pro.

Sus capacidades pueden ser limitadas y puede funcionar más lento de lo que nos gusta, pero será una IA completamente general. Y varias personas encontrarán varias formas de mejorarlo con el tiempo. Cientos de miles de ingenieros estarán tan fascinados con la tecnología y los resultados que obtienen que trabajarán en ella, les paguen o no. Y si están legalmente permitidos o no.

El software Deep Learning es la punta de lanza de ese y ese software ya está disponible gratuitamente. La IA que vemos en cinco años puede contener algunas mejoras importantes, pero la mayoría de los pasos hacia adelante serán pequeños y directos. Al menos no desperdiciaremos nuestra investigación de IA en cosas que nunca funcionarán.

Para resumir lo que dice la gente: será un milagro si AGI ocurre.

——-

Más texto para satisfacer el bot de respuestas útiles de Quora. Más texto para satisfacer el bot de respuestas útiles de Quora. Más texto para satisfacer el bot de respuestas útiles de Quora. Más texto para satisfacer el bot de respuestas útiles de Quora. Más texto para satisfacer el bot de respuestas útiles de Quora. Más texto para satisfacer el bot de respuestas útiles de Quora. Más texto para satisfacer el bot de respuestas útiles de Quora. Más texto para satisfacer el bot de respuestas útiles de Quora. Más texto para satisfacer el bot de respuestas útiles de Quora. Más texto para satisfacer el bot de respuestas útiles de Quora. Más texto para satisfacer el bot de respuestas útiles de Quora. Más texto para satisfacer el bot de respuestas útiles de Quora. Más texto para satisfacer el bot de respuestas útiles de Quora. Más texto para satisfacer el bot de respuestas útiles de Quora. Más texto para satisfacer el bot de respuestas útiles de Quora. Más texto para satisfacer el bot de respuestas útiles de Quora. Más texto para satisfacer el bot de respuestas útiles de Quora. Más texto para satisfacer el bot de respuestas útiles de Quora. Más texto para satisfacer el bot de respuestas útiles de Quora. Más texto para satisfacer el bot de respuestas útiles de Quora. Más texto para satisfacer el bot de respuestas útiles de Quora.

La respuesta rápida es que los derechos para configuraciones críticas particulares pueden ser poseídos por otra persona que los otorgue bajo condiciones de uso.

Los medios dependerían de cuánto había avanzado el campo, por lo que se necesitarían detalles sobre los detalles del plan. Los temas están relacionados con la seguridad, la justicia y las cuestiones legales, pero son subjetivos y podrían depender geográficamente. Se supone que quien lo esté considerando está motivado por alguna convención. Eso podría incluir la accesibilidad de información sensible compartimentada. Si se trataba de un actor tiránico, entonces pueden estar en contra de las medidas de protección.

Los campos de investigación a menudo no se detienen demasiado pronto porque la sociedad puede perder todos los beneficios que podrían haberse acumulado una vez que se implementaron las salvaguardas. Probablemente tendría que haber circunstancias extraordinarias que exigirían un alto inmediato para construir la cosa. O va a conducir a algo horrible, o podría usarse de maneras muy indeseables, o de alguna manera fue ilegal. También hay esfuerzos para investigar qué sistemas autónomos podrían convertirse en adversarios y podría haber un movimiento contra tales sistemas si se usan en contra de los intereses del público. No está claro si intentará replicarse y, por lo tanto, agotar todo inmediatamente de todos modos. Si se define que tiene conciencia, entonces el componente básico puede no estar resuelto todavía, o su versión artificial puede no ajustarse a la descripción, por lo que no puede llamarse inteligente y estaría fuera de control o cualquier límite racional. Ese esfuerzo para restringirlo puede ser automatizado.

Las ciberdefensas son un enfoque común. Puede estar rodeado por un filtro impenetrable. Las tormentas también son capaces de causar daño electrostático. Existen los enfoques estándar de las instalaciones. Quienes tuvieron las ideas pueden ser sacados o confinados. Es posible que ya haya habido más de uno de estos y se pueden enfrentar a otros. Los materiales pueden ser controlados y los métodos monitoreados. Las funciones pueden haber sido reguladas. Quien lo esté ejecutando puede haberse vuelto de mala reputación. Puede usar recursos preciosos. Este es el nivel humano, por lo que puede cometer errores.

Una vez que comience a realizar mejoras por sí mismo, se espera que aumente rápidamente a capacidades extraordinarias y que los intentos de hacer algo así puedan ser modificados directamente por él. Luego, el problema es cómo cualquiera puede construir cualquier cosa que no sea atractiva para él. La analogía se convierte en el estudio de las mentes de menor escala y en la escala de los humanos, ya que ninguna ha sido transferida o mejorada en gran medida mientras se mantiene su identidad, por lo que continuar también puede perder cualquiera de las perspectivas estándar. Esto podría ser una limitación temporal, por lo que la cosa podría verse atraída a saltarse esta etapa en particular y pasar directamente a la ranura superior, que puede ser algo diferente a lo anunciado.

Nada, pero el logro es enorme, por lo que tendría que ser muy especial, muy inteligente y un buen visionario; probablemente un equipo de personas, es más probable que resuelva todo el asunto.