La IA debe ser creada por un ser inteligente consciente y ser capaz de comprender lo que está haciendo. Sin conciencia y libre albedrío, la inteligencia no es posible. ¿Por qué hay histeria colectiva sobre el peligro de la IA que realmente no existe?

Tu argumento es muy confuso. Puede que no haya ninguna IA consciente en este momento, pero eso no significa que no la habrá en el futuro. No has discutido por qué este no puede ser el caso, así que déjame hacer un argumento muy simple de por qué será el caso, dado que no nos destruimos a nosotros mismos primero:

Ya existimos

Literalmente, somos la prueba viviente de que la conciencia es posible. Todavía no lo entendemos, y no está claro cuánto tiempo tomará entenderlo, pero si aceptamos que somos conscientes y existimos, entonces debe ser posible crearlo, a menos que asumas que estamos de alguna manera sobrenatural.

Luego tenemos que considerar si la estructura del cerebro humano es la única que puede soportar la conciencia. Con nuestra comprensión actual, no hay forma de responder esta pregunta de manera concluyente, ya sea sí o no, pero me parece que la respuesta más probable es no. ¿Realmente creemos que han existido cerca de 100 mil millones de humanos con diferentes permutaciones de conciencia pero que solo esa combinación general de células con esa combinación de estructuras que usan esa combinación de elementos en la tabla periódica es la ÚNICA que puede crear conciencia?

Finalmente, mientras existan los humanos, la tecnología continuará avanzando independientemente de la legislación, la cultura o la moral. La variedad de países diferentes con legislación diferente, y la abundancia de laboratorios de investigación que ya tenemos, siempre que el hecho de que el progreso tecnológico esté haciendo posible que personas menos calificadas o ricas accedan a estos recursos lo aseguran.

Si acepta mis premisas anteriores, debe concluir que el desarrollo de una IA consciente es inevitable, cualquiera sea la forma que pueda tomar. Si tiene una mente que tiene más en común con las computadoras modernas que nosotros, fundamentalmente pensará de manera diferente para nosotros, tendrá numerosas ventajas basadas en la inteligencia sobre nosotros y no podremos detenerla si se vuelve contra nosotros.

Podríamos seguir negando esto, O podemos discutir cómo crear una IA que NO nos encienda ahora mientras todavía hay tiempo. No es “histeria”, es planificación y pensamiento progresivo, algo que hacemos habitualmente en todas las demás partes de la vida, y debemos tomar en serio esta amenaza potencialmente existencial.

Uno de los sistemas de IA del que se habla en este contexto es AlphaGo. Y la gente está muy preocupada por si AlphaGo o sus sucesores “se volverán contra nosotros”.

¿Sabes lo que es gracioso?

Todo lo que AlphaGo realmente puede hacer es jugar Go. Y para AlphaGo, no vincula ningún vínculo emocional con esto. Se podría decir que quiere ganar, pero eso es porque es “recompensado” por ganar.

¿Y cuál es esa recompensa?

Optimiza un objetivo matemático.

No hay deseo allí. Todo lo que hacen AlphaGo y otras arquitecturas de aprendizaje profundo es optimizar un objetivo matemático.

No hay histeria colectiva. Al menos, no entre adultos educados. Pero existe cierta preocupación acerca de qué sucede exactamente cuando la IA se vuelve más inteligente que los humanos. Es difícil para nosotros imaginar cómo podría funcionar eso, ya que hasta ahora solo hemos experimentado un mundo en el que los humanos son las especies más inteligentes de la sala. Gran parte de la preocupación proviene de los temas tratados en este excelente libro sobre el tema.

Superinteligencia

algo con conciencia, libre albedrío e inteligencia no es automáticamente no peligroso.
Todos los delincuentes tienen conciencia, libre albedrío e inteligencia. La mayoría de ellos son peligrosos, muchos son muy peligrosos y algunos son extremadamente peligrosos.

La IA aún no existe.
Pero inevitablemente aparecerá, y muy probablemente aparecerá pronto. Estoy seguro de que sucederá en mi vida. Y una vez que aparezca la verdadera IA (general), es probable que nos supere rápidamente. Entonces, puede volverse peligroso. No podremos analizarlo, comprender sus objetivos, etc.

No diría que hay “histeria colectiva”. Existe una preocupación, y teniendo en cuenta lo anterior, está justificado.

¡Probablemente sea lo mismo que Y2K DONDE LOS PLANOS BAJARÁN DE LOS CIELOS!

Lo mismo ocurre con el acelerador de partículas en Alemania o donde era donde temían que crearía un agujero negro que destruiría la tierra.

Supongo que las personas tienen este tipo de escepticismo o paranoia contra las nuevas tecnologías que crean; ¿Cómo podría esta nueva cosa ser posiblemente peligrosa para nosotros?