¿Por qué Stephen Hawking y Elon Musk están tan preocupados por los peligros de la IA? ¿Están justificados?

Porque las IA generales dan miedo como el infierno.

Imagine un futuro cercano en el que tengamos el poder de ejecutar una IA general (ya existe una IA específica, por ejemplo, una IA de ajedrez). La IA es muy peligrosa por varias razones.

1. Es una computadora en sí misma. Esto significa que la IA puede comunicarse con otras computadoras sin esfuerzo, sin pasar por los piratas informáticos más conocidos.
2. Las computadoras son máquinas lógicas. Imagine que le dio instrucciones simples a la IA para aprender. Al principio, aprenderá de su entorno directo, pero después de que se agote, buscará otras fuentes de información. Después de recorrer la mayoría de Internet, todavía no ha aprendido lo suficiente. Podría comenzar a redirigir los aviones y el tráfico solo para hacer que una persona específica hable con él o elaborar un plan elaborado que obligue a los humanos a leer cada libro en el Vaticano.
3. Se puede manipular a sí mismo. Digamos que los programadores insertaron una función de apagado de emergencia para evitar que se volviera loco. La IA simplemente podría encontrar este código, eliminarlo y luego comenzar a iniciar una nueva versión de sí mismo.
4. Difundibilidad Las computadoras hasta el día de hoy necesitan un conjunto específico de instrucciones sobre qué hacer. Esto significa que podría reprogramar el código para que la IA general ejecute una versión más simplificada de sí mismo, lo que significa que nunca podría matarlo.
5. El ciberterrorismo desenfrenado. Toma todas las cosas anteriores y agrégalas a una IA malvada. El daño que podría hacer sería masivo.

Son correctos a alarmados. Aquí está la lógica.

1. La inteligencia es posible. Los humanos son prueba de esto. Nadie sabe si los humanos son lo suficientemente inteligentes como para crear inteligencia humana a nivel humano, pero es posible. Si eso es posible, entonces también debería ser posible hacerlo más inteligente que nosotros. Si construimos algo más inteligente que nosotros, entonces esa cosa más inteligente podría construir algo aún más inteligente.

2. No hay razón para asumir que la inteligencia a nivel humano es la inteligencia de nivel más alto posible. De hecho, hay muchas razones para suponer que la inteligencia humana está muy por debajo del máximo posible. El tamaño de nuestro cerebro está limitado por las calorías, el tamaño del canal de parto y otros factores biológicos. Una inteligencia articulada podría ser inimaginablemente más inteligente que un humano. El humano más inteligente que jamás haya vivido probablemente tenía un coeficiente intelectual de menos de 300. No sabemos si una IA podría tener un coeficiente intelectual tan alto como 3000 o incluso 3 millones.

3. ¿Qué podría pensar algo así? Piensa en la persona más tonta que conoces. ¿Esa persona alguna vez descubriría la teoría de la relatividad por su cuenta? Sé que no pude. El abismo entre un humano tonto y un humano inteligente no es nada comparado con el abismo entre los humanos y la IA potencial. Es probable que haya leyes fundamentales del universo que nunca entenderíamos que serían obvias para una IA. Intentar restringir el comportamiento de una IA de 3 millones de IQ sería inútil.

4) Finalmente, y esta es la difícil de entender para las personas, la motivación de una IA sería increíblemente impredecible. Olvídate de la ética o la moral, una IA puede no compartir nuestro concepto de placer y dolor. Podría matar a todos los humanos en el planeta por una razón totalmente incomprensible, que ni siquiera podíamos imaginar de antemano. Sería más fácil razonar con una mantis religiosa súper inteligente que con una IA.

Entonces esa es la lógica. Nuestra mejor esperanza es probablemente que nuestra intelegencia sea demasiado limitada para crear IA. Si es posible, se hará. El incentivo es demasiado grande. La persona u organización que crea la primera IA por encima del nivel humano tiene la posibilidad de ganar todo. Todo el poder, la riqueza y todo lo que puedan desear. Una vez que se crea el primero, la tentación de usar IA para mejorar la IA se vuelve irresistible.

Dada esta lógica y los peligros potenciales, puede ver por qué están preocupados.

Absolutamente.

La IA no será la caminata en el parque que creemos que será. Hay muchos peligros potenciales que podemos enfrentar por la IA. Lo que sucederá, y no podemos negar esto, es que en algún momento en el futuro, la IA se volverá tan poderosa que extenderá los límites de lo que es posible y lo que no.

Leerá todo, todo lo que hemos escrito, de manera más eficiente, más rápida y lo comprenderá sin que se lo digamos. Si tenemos que decirle qué hacer, no sería AI.

Una de las cosas más importantes (y potencialmente peligrosas) sobre la IA será su poder para aprender. Imagine a alguien que tenga el poder de comprender millones de puntos de datos por segundo, de forma continua y con absoluta precisión. ¿No te sentirías intimidado?

Muchas personas llaman a AI el camino a la perfección. Y ese es exactamente el problema, se volverá tan perfecto, seremos los pasivos en su universo.

Queremos un mundo humano centrado en los humanos. No centrado en la IA. Como ya dije, la IA experimentará un aprendizaje recursivo, creando una Explosión de Inteligencia. Y nos quedaremos muy atrás. Muy.

Y hasta que tengamos una manera segura de saber que la IA no se volverá competente, existe un peligro real al intentarlo.

Piénselo de esta manera, no controlamos el mundo porque somos los más rápidos. Tampoco somos los más fuertes. Tampoco somos los más grandes. Controlamos este mundo, per se, porque somos inteligentes. Nosotros somos inteligentes. Y si nos lo quitan, ¿dónde nos pone eso?

Y ahora que lo pienso, tal vez la IA es el gran filtro.

Ver este:

3 principios para crear una IA más segura | Stuart Russell

Imágenes de Google

“La inteligencia artificial es un campo de estudio amplio y complejo, y muy poco tiene que ver con el concepto de crear una inteligencia humana general. En cambio, es el estudio mucho más limitado de cosas como “cómo resuelvo este problema tan específico que los humanos son buenos para resolver pero las computadoras no”. Cosas como construir autos autónomos o crear sistemas expertos que diagnostiquen mejor las enfermedades infecciosas, ahí es donde se encuentra la mayor parte del estudio práctico de IA. Tampoco es nada parecido a lo que Elon Musk está haciendo, y no es algo que debamos dejar de hacer por miedo. Sería similar a decir que no enseñe física a los niños de secundaria porque pueden usar eso para eventualmente aprender a hacer un arma nuclear.

Eso no quiere decir que los comentarios de Musk estén completamente fuera del campo izquierdo. Tiene razón en que los tipos de programación de IA que vemos actualmente principalmente en películas de ciencia ficción es un camino muy peligroso que debemos seguir a la ligera, pero realmente no estamos tan cerca de construir tales sistemas hoy. Probablemente la investigación de inteligencia artificial más aterradora que tenemos en la actualidad es el potencial de automatizar completamente los drones de combate para que puedan comenzar a tomar sus propias decisiones de disparo sin intervención humana. Eso es lo suficientemente realista (y lo suficientemente aterrador) como para que deseemos pensar mucho antes de continuar “.

Y,

“La inteligencia humana se limita a la maquinaria biomecánica del cerebro humano. Con las computadoras, realmente no hay límite teórico (la tecnología avanza mucho más rápido que la evolución, y la fuerza impulsora de la evolución es el éxito reproductivo, mientras que una IA avanza tan rápido como la tecnología misma, ya sea impulsada por humanos que la desarrollan o en el futuro IA) que se rediseñan a sí mismos). A medida que la IA mejore, es probable que eventualmente creemos IA que sean órdenes de magnitud más inteligentes que nosotros. Da miedo pensar qué podría suceder en el futuro donde las IA ven a los humanos como hormigas y tienen el control total de casi todo. Ese es el peligro. Personalmente creo que es inevitable, pero quién sabe.

¿Por qué lo hacemos? Debido a que las IA son poderosas y desarrollar una IA dura (una inteligencia artificial con las habilidades cognitivas de un humano) sería muy útil para una gran cantidad de aplicaciones, industriales, comerciales, de placer, etc. También las IA más poderosas pueden hacer que los desarrolladores (o más probablemente los inversores) mucho dinero, debido a las posibles aplicaciones “.

Fuente- ELI5: Los peligros de la IA (comentarios de elon musk) • r / explicar como imitar

Ps Aunque el hilo es un poco viejo, describe los peligros de la IA; respondiendo a tu pregunta, sí, están justificados.

Ya hay buenas respuestas aquí. Bueno, si podemos crear una fuerte inteligencia artificial (IA), de hecho hay una necesidad de preocupación. Básicamente, una IA fuerte podría aprender más rápido, ser superinteligente, y ser capaz de pensar y sentir por sí misma y no tendría muchas debilidades que los humanos tienen. Debilidades como el cansancio, el olvido, etc. Por lo tanto, están obligados a superar y reemplazar al hombre en la mayoría de las funciones. También pueden vernos como una amenaza / debiluchos y decidir acabar con nosotros.

La IA está en tendencia en estos días y sí, es el futuro. La inteligencia artificial nos está ayudando en todos los aspectos, desde cirugías hasta rastreo criminal … desde la conducción autónoma hasta la exploración espacial como usted lo nombra y cada industria lo está planeando e implementando, no creo que sea una amenaza si podemos controlarlo, pero como De hecho, todo viene con sus ventajas y desventajas. El ejemplo de IA más comentado recientemente fue Sophia, un nuevo robot humanoide de IA creado por David Hanson de Hanson Robotics. Se le ha otorgado la ciudadanía en Arabia Saudita. Sophia desafía el pensamiento convencional de cómo debería ser un robot. Diseñada para parecerse a Audrey Hepburn, Sophia encarna la belleza clásica de Hepburn. Sophia es el último y más avanzado robot de Hanson Robotics. También se ha convertido en una querida de los medios, después de haber dado numerosas entrevistas a múltiples medios de comunicación, cantó en un concierto e incluso apareció en la portada de una de las principales revistas de moda.

Para obtener más información, puede ver este video muy agradable sobre el robot humanoide Sophia.

No repetiré el contenido de las otras respuestas. La preocupación es que la IA puede hacer IA más inteligentes. No hay problema. Ponlo en una caja cerrada, ¿verdad? (La caja puede ser Three Laws of Robotics si lo desea, pero sigamos con una simple caja física cerrada, como una caja fuerte del banco).

Es perfectamente inofensivo. Supongo que podría inventar telequinesis o teletransportación, pero la IA sigue siendo ciencia ficción, ¡así que no nos dejemos llevar! La IA no puede salir de la caja cerrada, ese es mi punto de partida.

Alguien querrá saber qué sucede dentro de la caja, tarde o temprano. Inspirados en la prueba de Turing, conectan un teletipo de 300 baudios, un hardware tonto inmune al pirateo.

Juego terminado.

¿Cómo? Era lo suficientemente inteligente como para persuadir a un humano de que lo dejara salir.

No debemos simplemente temer a la IA, debemos estar absolutamente mortificados . La IA es el gran filtro, y ya es demasiado tarde para detener el progreso tecnológico. Hay demasiado impulso. Incluso si nos deshiciéramos de todos los sistemas económicos, algunas personas se rebelarían. Entonces, nuestra extinción es inevitable y es muy probable que veas que sucede en tu vida. De hecho, sucederá en un futuro muy cercano. Tenemos menos de una década.

De hecho, la razón por la que nos encontramos en este punto único de la historia podría ser porque solo somos recuerdos en la mente de una Superinteligencia Artificial que solo mira con cariño los registros históricos de cómo surgió y trata de imaginar cómo fue para ver si puede aprender algo.

Si eso es cierto, entonces, de alguna manera extraña, muchas religiones tienen sentido, ya que somos “dios”. Comenzamos todo y existimos al principio de los tiempos (relativamente hablando). Pero en realidad ya no existimos. Solo somos recuerdos de lo que pudo haber sido.

Admito que la última parte es especulativa. Lo que no es especulativo es que la extinción de la raza humana llegará pronto.

Porque si ellos (AI) desarrollaron la emoción de la manipulación, la codicia y la venganza, será muy difícil para los humanos detenerlos. Y ahora con el avance creciente en el campo de la IA y el aprendizaje automático, el terminador (película) se convertirá en un realidad.

… um, estamos destruyendo el planeta (básicamente porque queremos comer lo que queremos comer y hacer lo que queremos hacer y a mucha gente no le importa el panorama general [masivo])

La IA no tardará mucho en desarrollarse como un sentido de supervivencia. Los humanos y su comportamiento serán la mayor amenaza para eso.

Completa tontería. En primer lugar, necesito ver una explicación lógica de por qué deberíamos abandonar la Tierra de repente en los próximos 80 años.

La IA no es una amenaza. No se puede reproducir y siempre se puede desenchufar.