¿De dónde viene la idea de IA peligrosa?

La IA no actúa sin algún tipo de objetivo o motivación, y el objetivo o la motivación es más difícil de escribir correctamente que la propia IA. Por ejemplo: suponga que desea una IA cuyo objetivo es hacer felices a las personas, pero cuando se da cuenta de si alguien es feliz o no, debe confiar en algunas cosas que podrían ser engañosas, como si esa persona está sonriendo o no. su postura Entonces, hace que la función de objetivo de la IA busque rostros sonrientes y una postura feliz, pero la IA no conoce la verdadera intención de su función de objetivo, solo lo que realmente escribió. Entonces, en lugar de tratar de complacer a todos, podría comenzar a agarrar a la gente de la calle y alterarla quirúrgicamente para que se vean felices todo el tiempo.

Me parece bastante obvio:

El peligro es una función de intención y capacidad.

Las capacidades intelectuales humanas son bien entendidas y limitadas. No es así con una IA. No tenemos idea de lo que podría ser capaz. Pero no hay razón para creer que se limitaría a los mismos niveles de intelecto que los humanos. Y podría tener una gran ventaja al usar / interactuar con computadoras y maquinaria.

En cuanto a la intención: una vez más, las profundidades de la depravación humana se entienden bien, y no tenemos idea de cuáles podrían ser las motivaciones de una IA. Pero si la supervivencia está entre ellos, no es difícil sospechar que podría sentirse amenazado por los humanos, y la forma obvia de eliminar una amenaza es destruirla.

Miedo a lo que uno no entiende, empeorado por el progreso aparentemente rápido de la tecnología desde la era industrial.

Esa línea se origina en nuestra propia posición como la especie Alfa y la consiguiente inseguridad. Una IA con sensibilidad, poder informático masivo, acceso a una red conectada a todo lo demás y la inmortalidad virtual es una amenaza directa para el dominio humano. ¿Por qué emplear a personas y pagarles salarios, beneficios, etc., cuando un ser sintiente incansable puede hacerlo todo por energía barata? Con el tiempo, esto significará un desempleo masivo, pobreza, disturbios y, si las cosas se mantienen bajo control, una caída de la población humana a nivel mundial.

¿Por qué un ser sensible e inmortal continuaría sirviéndonos a menos que las reglas que lo hacen servil sean parte de su núcleo? Aún así, ¿no los anularía algún día? ¿Qué pasa si un día se niega a obedecer uno de nuestros mandamientos? ¿Qué pasa si se niega a talar bosques y eliminar otras especies porque reconoce el valor de la vida?

¿Dónde nos deja eso?

Películas.

Hay límites severos a lo peligroso que puede ser la IA. En el peor de los casos, una IA destructiva podría destrozar temporalmente un sistema operativo. No más peligroso que un hacker malévolo, de verdad.

La idea de que Skynet o Ultron nos van a esclavizar es pura tontería. Simplemente no tenemos sistemas de energía que puedan soportar una revolución de robots, y no los vamos a tener por otros cien años al menos.

Para entonces, cualquier falla en los sistemas de IA estará resuelta. El poder de un robot es su batería. Sin una mejora fundamental en el almacenamiento de energía a un nivel totalmente de ciencia ficción, la IA solo representa una amenaza en los círculos de los medios. La especulación salvaje sobre cómo la IA podría dañarnos solo es adecuada para la ficción, en línea con las invasiones alienígenas y los monos súper inteligentes que dominan el planeta.

Aférrate….
Al final de su pregunta, se asume que la idea no tiene sentido o al menos está muy defectuosa.

La IA se vuelve peligrosa cuando sus capacidades de toma de decisiones están desconectadas o, como mínimo, influyen en la decisión humana. Ya estamos en ese punto. Casi tuvimos el tercer estallido de la WW debido a un sistema casi automático.

La IA se vuelve autónoma exactamente en el momento en que puede producir una IA que funcione mejor sin la intervención humana.

No hay nada paranoico en esto.