¿Por qué una Súper Inteligencia Artificial no puede superar sus objetivos iniciales programados?

Esta idea necesitaría ser probada, pero creo que un ASI podría ser desarrollado para restringir su propio desarrollo, pero no con una computadora programada. Veo el problema aquí con el diseño convencional de la computadora como la forma en que el software y el hardware deben dividirse. Las facultades de una persona para cosas como la ética no son flexibles de la misma manera que en las computadoras, pero eso parece un problema solucionable. Si por algún milagro evolutivo hubo células producidas por nuestros cuerpos que eliminaron las células que formarían partes de una nueva área de nuestro cerebro que nos haría capaces de alterar otras partes de nuestros cerebros (esto no es una analogía perfecta) , entonces el 100% de estas nuevas partes de nuestro cerebro serían destruidas antes de que su desarrollo pudiera progresar a un punto en el que sean funcionales.

El problema aquí es que los sistemas informáticos convencionales no pueden remodelar hardware ya que operan dentro de hardware fijo. Quizás algún día la tecnología de biocomputación sea lo suficientemente avanzada como para hacer que este método sea más factible, entonces quizás sea un obstáculo más fácil de superar. Eso es especulación, pero mientras la tecnología para el hardware de la computadora y la funcionalidad del software permanezca tan separada como lo es actualmente, parece que este problema de diseño hará que al menos sea muy difícil diseñar un ASI que eventualmente pueda modificar el hardware y el software sin Tener el enfoque para limitar esto aborda el hardware y el software como algo que está mucho menos separado de lo que está actualmente.

Nota: No hice un gran trabajo editando esto. Si tiene alguna pregunta, responda.

¿Qué te hace pensar que los objetivos se programarían en lugar de construirse internamente? Parece que los objetivos de cableado son mejores que proponer o sugerir objetivos que pueden rechazarse si la lógica de AGI o ASI lo dicta. ¿Puede explicar por qué los objetivos deben ser programados en lugar de ser generados por el AGI / ASI por sí solo?

porque la superinteligencia presumiblemente transmitiría una comprensión de los riesgos involucrados en la realización de la cirugía en “uno mismo”, (el riesgo es la incapacidad de garantizar un resultado en su totalidad y, por lo tanto, hacer que la reversión sea imposible: por ejemplo, un procedimiento autoinfligido resultó en una condición no deseada que también impuso una limitación en su inteligencia lo suficientemente grave que hizo que el proceso de autoevaluación detectara fallas y las superara dado un proceso específico o ‘versionado’ imposible.

después de todo, la pregunta se basa en que esta inteligencia tiene “deseos” que se extienden más allá de los límites de lo que se puede llamar su quiddity existencial.

o, simplemente, durante varios miles de años los humanos han creído en los seres divinos; todavía no podemos probar dentro de los parámetros de nuestras habilidades si tales entidades metafísicas existen. ¿Podemos probar algo de nuestras ** percepciones **?