¿Qué piensan los informáticos sobre los comentarios de Sam Harris sobre IA?

Tengo la sensación de que Sam habló con Eliezer Yudkowsky antes de dar esta charla …

Mucho de lo que dice es verdad. La IA general plantea un riesgo existencial, porque si sale mal, sale realmente mal. Hay muchas cosas a tener en cuenta al pensar en la seguridad de la IA. Necesita encontrar metas que sean globalmente aceptables, necesita definir la moral de una manera inequívoca.

“¡No lastimes a los humanos!” Bueno, ¿qué es exactamente un humano? ¿Dónde comienza y dónde se detiene? ¿Y qué debe hacer la IA cuando sacrificar a un humano salvaría a más de uno? Oh! Necesita poder romper sus propias reglas. Bueno, mierda, tal vez calculó un posible futuro en el que una población más grande viva para siempre feliz y libre de sufrimiento, lo que requiere el exterminio del 90% de la población actual. ¿Eso es inmoral? Ciertamente no queremos que eso suceda.

“La IA no te odia. Simplemente tiene mejores usos para el asunto del que está compuesto ”.

Entonces, en primer lugar, creo que sus 3 axiomas son correctos, comparto su opinión sobre nuestra incapacidad para mostrar temores razonables por algo tan temeroso como la IA general que salió mal. Pero no comparto la misma creencia con respecto a su conclusión, que tenemos que empezar a pensar en eso ahora mismo, como si muriéramos, la segunda IA ​​general se convierte en una posibilidad.

Hay un interruptor de apagado.
Dijo que no tenemos idea de cuánto tiempo nos tomará manejar la IA general de manera segura, lo que es como decir que no sabemos cómo tomará escribir el parche para la próxima vulnerabilidad de día cero explotada masivamente. La única diferencia es que este último ya sucedió con el mismo peor de los casos, la aniquilación global completa.

Bueno, al menos puedo pensar en un escenario factible que destruiría a todos y todo, a partir de un buen día cero. Cualquiera puede, y lo mismo ocurre con la IA general. Sam olvida fácilmente que todo tiene un interruptor de apagado y, además de eso, otras 5 mil millones de características de seguridad que estarían diseñadas para evitar una catástrofe.

Sin importar cuán inteligente sea, simplemente no puedo imaginar que no podamos apagarlo, tendría que estar conectado a Internet y pasar desapercibido dentro de cada computadora antes de que realmente comience a ser una catástrofe, lo que costará vidas. .

E incluso si tenemos una oportunidad de hacerlo bien, la del principio. Todavía podemos presionar pausa. No necesitamos dejarlo sin control durante semanas antes de mirar hacia adentro y ver un ser más allá de nuestra comprensión, probablemente preferiremos pequeños pasos, gracias.

Fue agradable ver a Sam hablar sobre esto y escribir esta respuesta, ¡gracias por hacer esta pregunta!

Completa tontería. No está absolutamente consciente de lo que en realidad llamamos IA e incluso, básicamente, de cómo funciona.

Durante todo el discurso sigue diciendo cosas que son absolutamente fantásticas: “si nuestros objetivos divergen”. Las máquinas no tienen un objetivo en este sentido y no pueden tenerlo con la forma en que actualmente nos acercamos a la IA en general. Su existencia es puramente funcional.

Una IA en el mundo moderno es simplemente un modelo matemático muy sofisticado que puede expandirse. No tiene ni puede tener la más mínima parte de lo que llamamos conciencia.

De hecho, literalmente dice que mañana agregaremos otra función a la tostadora y la tostadora decidirá que ya no podemos coexistir juntos.

Es realmente triste ver tan pobres especulaciones en el área donde se puede construir un escenario post-nuclear alternativo de una manera muy amigable con los científicos.

Esta es una de las peores conversaciones que he visto en las conversaciones de TED. Quince minutos de hablar y no decir nada significativo. Ni siquiera veo mucho en qué pensar en este video. Sí, la IA puede ser peligrosa. ¡Como cualquier otra tecnología! Y sí, explosión de inteligencia … Pero, ¿por qué debería ser inválido decir que no sucederá pronto?

Habría entendido por qué es realmente como preocuparse por la sobrepoblación en Marte en este momento, si supiera cuán básicas son nuestras capacidades actuales en términos de IA. ¿Le pediría a los científicos en la década de 1960 que se preocuparan por este problema cuando diseñaban computadoras? Quizás no. ¿Qué le hace pensar que ahora la situación es diferente y nos hemos acercado a ese nivel?

Y me pregunto de dónde sacó esa trama exponencial, mostrando el cambio en la inteligencia.