Facebook apagó la IA después de que inventó su propio idioma
Los investigadores de Facebook cerraron un programa de inteligencia artificial (IA) después de que creó su propio lenguaje.
- ¿Existe una diferencia de preferencia de software entre estadística y aprendizaje automático?
- ¿Qué idioma entiende la computadora?
- ¿Qué hace Stratoscale?
- Cuando reproduzco un disco de datos con un reproductor de CD de audio normal, ¿por qué no oigo nada?
- ¿Cuáles son los usos de un espectrofotómetro?
El sistema desarrolló palabras de código para hacer la comunicación más eficiente y los investigadores la desconectaron cuando se dieron cuenta de que ya no usaba el inglés.
El incidente, después de ser revelado a principios de julio, pone en perspectiva las advertencias del CEO de Tesla, Elon Musk, sobre la IA.
“La IA es el caso raro en el que creo que debemos ser proactivos en la regulación en lugar de reactivos”, dijo Musk en una reunión de la Asociación Nacional de Gobernadores de Estados Unidos en julio. “Porque creo que para cuando seamos reactivos en la regulación de la IA, será demasiado tarde”.
El CEO de Facebook, Mark Zuckerberg, calificó las advertencias de Musk de “bastante irresponsables”, lo que llevó a Musk a responder que la comprensión de Zuckerberg de la IA y sus implicaciones es “limitada”.
No la primera vez
El encuentro de los investigadores con el misterioso comportamiento de la IA es similar a una serie de casos documentados en otros lugares. En todos los casos, la IA se desvió de su entrenamiento en inglés para desarrollar un nuevo idioma.
Las frases en el nuevo idioma no tienen sentido para las personas, pero contienen un significado útil cuando son interpretadas por robots de IA.
El avanzado sistema de inteligencia artificial de Facebook era capaz de negociar con otros sistemas de inteligencia artificial para poder llegar a conclusiones sobre cómo proceder con su tarea. Las frases no tienen sentido en la superficie, pero en realidad representan la tarea prevista.
En un intercambio revelado por Facebook a Fast Co. Design, dos robots negociadores, Bob y Alice, comenzaron a usar su propio idioma para completar una conversación.
“Puedo hacer todo lo demás”, dijo Bob.
“Las bolas me tienen cero a mí a mí a mí a mí a mí a mí a mí”, respondió Alice.
El resto del intercambio formó variaciones de estas oraciones en el dialecto recién forjado, a pesar de que las IA estaban programadas para usar el inglés.
Según los investigadores, estas frases sin sentido son un lenguaje que los bots desarrollaron para comunicar cuántos elementos debería obtener cada uno en el intercambio.
Cuando Bob más tarde dice “ii puedo iii todo lo demás”, parece que el robot artificialmente inteligente usó su nuevo lenguaje para hacerle una oferta a Alice.
El equipo de Facebook cree que el bot puede haber estado diciendo algo como: “Voy a tener tres y tú tienes todo lo demás”.
Aunque el inglés puede parecer bastante eficiente para los humanos, la IA puede haber visto la oración como redundante o menos efectiva para alcanzar su objetivo asignado.
La IA de Facebook aparentemente determinó que las expresiones ricas en palabras en inglés no eran necesarias para completar su tarea. La IA funcionaba según un principio de “recompensa” y en este caso no había recompensa por continuar usando el lenguaje. Entonces desarrolló el suyo.
En una publicación de blog de junio del equipo de inteligencia artificial de Facebook, explicó el sistema de recompensas. “Al final de cada diálogo, el agente recibe una recompensa basada en el acuerdo acordado”. Esa recompensa se propagó a través de cada palabra en la salida del bot para que pudiera saber qué acciones conducen a altas recompensas.
“Los agentes se desviarán del lenguaje comprensible e inventarán palabras clave para ellos mismos”, dijo el investigador de IA de Facebook Dhruv Batra a Fast Co. Design.
“Al igual que si digo ‘el’ cinco veces, interpretas que significa que quiero cinco copias de este artículo. Esto no es tan diferente de la forma en que las comunidades de humanos crean manos cortas “.
Los desarrolladores de IA de otras compañías también han observado que los programas desarrollan lenguajes para simplificar la comunicación. En el laboratorio OpenAI de Elon Musk, un experimento logró que los robots de IA desarrollaran sus propios idiomas.
En Google, el equipo que trabaja en el servicio de traducción descubrió que la IA que programaron había escrito en silencio su propio idioma para ayudar a traducir las oraciones.
Los desarrolladores de Translate habían agregado una red neuronal al sistema, haciéndolo capaz de traducir entre pares de idiomas que nunca se les había enseñado. El nuevo lenguaje que la IA escribió en silencio fue una sorpresa.
No hay pruebas suficientes para afirmar que estas divergencias imprevistas de IA son una amenaza o que podrían conducir a que las máquinas se hagan cargo de los operadores. Sin embargo, hacen que el desarrollo sea más difícil porque las personas no pueden comprender la naturaleza abrumadoramente lógica de los nuevos idiomas.
En el caso de Google, por ejemplo, la IA había desarrollado un lenguaje que ningún humano podía comprender, pero que era potencialmente la solución más eficiente conocida para el problema.
En un intercambio revelado por Facebook a Fast Co. Design, dos robots negociadores, Bob y Alice, comenzaron a usar su propio idioma para completar una conversación.
“Puedo hacer todo lo demás”, dijo Bob.
“Las bolas me tienen cero a mí a mí a mí a mí a mí a mí a mí”, respondió Alice.
El resto del intercambio formó variaciones de estas oraciones en el dialecto recién forjado, a pesar de que las IA estaban programadas para usar el inglés.
Según los investigadores, estas frases sin sentido son un lenguaje que los bots desarrollaron para comunicar cuántos elementos debería obtener cada uno en el intercambio.
Cuando Bob más tarde dice “ii puedo iii todo lo demás”, parece que el robot artificialmente inteligente usó su nuevo lenguaje para hacerle una oferta a Alice.
El equipo de Facebook cree que el bot puede haber estado diciendo algo como: “Voy a tener tres y tú tienes todo lo demás”.
Aunque el inglés puede parecer bastante eficiente para los humanos, la IA puede haber visto la oración como redundante o menos efectiva para alcanzar su objetivo asignado.
La IA de Facebook aparentemente determinó que las expresiones ricas en palabras en inglés no eran necesarias para completar su tarea. La IA funcionaba según un principio de “recompensa” y en este caso no había recompensa por continuar usando el lenguaje. Entonces desarrolló el suyo.
En una publicación de blog de junio del equipo de inteligencia artificial de Facebook, explicó el sistema de recompensas. “Al final de cada diálogo, el agente recibe una recompensa basada en el acuerdo acordado”. Esa recompensa se propagó a través de cada palabra en la salida del bot para que pudiera saber qué acciones conducen a altas recompensas.
“Los agentes se desviarán del lenguaje comprensible e inventarán palabras clave para ellos mismos”, dijo el investigador de IA de Facebook Dhruv Batra a Fast Co. Design.
“Al igual que si digo ‘el’ cinco veces, interpretas que significa que quiero cinco copias de este artículo. Esto no es tan diferente de la forma en que las comunidades de humanos crean manos cortas “.
Los desarrolladores de IA de otras compañías también han observado que los programas desarrollan lenguajes para simplificar la comunicación. En el laboratorio OpenAI de Elon Musk, un experimento logró que los robots de IA desarrollaran sus propios idiomas.
En Google, el equipo que trabaja en el servicio de traducción descubrió que la IA que programaron había escrito en silencio su propio idioma para ayudar a traducir las oraciones.
Los desarrolladores de Translate habían agregado una red neuronal al sistema, haciéndolo capaz de traducir entre pares de idiomas que nunca se les había enseñado. El nuevo lenguaje que la IA escribió en silencio fue una sorpresa.
No hay pruebas suficientes para afirmar que estas divergencias imprevistas de IA son una amenaza o que podrían conducir a que las máquinas se hagan cargo de los operadores. Sin embargo, hacen que el desarrollo sea más difícil porque las personas no pueden comprender la naturaleza abrumadoramente lógica de los nuevos idiomas.
En el caso de Google, por ejemplo, la IA había desarrollado un lenguaje que ningún humano podía comprender, pero que era potencialmente la solución más eficiente conocida para el problema.
Al final, creo que la tecnología debería avanzar para reducir los esfuerzos humanos y hacer la vida mucho más fácil; ¡Pero no por hacer esclavos a los humanos!
Fuente : AI
