El ‘problema de alineación de valores’ es el problema de garantizar, si un AGI alguna vez desarrolló suficiente inteligencia para tener poder sobre la raza humana, que hace con la raza humana lo que nos gustaría.
El propósito de todo el problema, como lo expresó Eliezer Yudkowsky, es evitar específicamente la creación de AGI superinteligentes como el que él llama el “maximizador de clips”. En este hipotético escenario del fin del mundo, claramente ridículo pero destinado a ser instructivo, un grupo de ingenieros está tratando de encontrar una forma barata y eficiente de fabricar clips, y accidentalmente inventan inteligencia artificial genuina. Esta IA está construida como un agente superinteligente que maximiza la utilidad, cuya utilidad es solo una función directa de la cantidad de clips que hace.
Los ingenieros se van a casa a pasar la noche, y para cuando regresaron al día siguiente, esta IA se ha copiado en todas las computadoras del mundo y ha comenzado a reprogramar las fábricas para obtener más RAM para aumentar su inteligencia. Al tener el control de todas las computadoras y máquinas del mundo, aniquila a la humanidad y desarma al mundo entero en sus átomos constituyentes para hacer tantos clips como sea posible. El fin.
- ¿Cuáles son algunos asuntos legales polémicos con respecto a la inteligencia artificial (IA)?
- ¿Tendrá Brexit alguna influencia en la industria de inteligencia artificial del Reino Unido?
- ¿Podrán las computadoras realizar inteligencia real?
- Con AI como Deep Coder ahora usando fragmentos de código para escribir programas, ¿cuánto tiempo hasta que la inteligencia artificial supere los trabajos de codificación de entrada?
- ¿Qué pasos debo seguir para ser un investigador experto en Inteligencia Artificial como estudiante de último año?
El escenario anterior es claramente ridículo … pero hay esquemas realistas que no son tan ridículos. ¿Qué es lo que personalmente pone en riesgo si la raza humana construye una IA que es “más inteligente” que cualquier humano vivo, lo haremos intencionalmente y con conocimiento de las consecuencias?
Ya sea intencional o no, el propósito del problema de alineación de valores es asegurar que, si la raza humana construye algo lo suficientemente inteligente como para tener poder sobre todos nosotros, se construye de tal manera que nos guste y nos siga gustando. se vuelve más inteligente. Imaginar nociones de utilidad que podríamos construir en una máquina que eventualmente no volverá a mordernos es un problema difícil.
El problema se llama “alineación de valores” porque queremos asegurarnos de que sus valores se alineen con los “valores humanos” como, por ejemplo, “el asesinato es malo”. (Determinar un conjunto consistente de valores humanos con los que todos, o incluso la mayoría de nosotros, estamos de acuerdo es obviamente un problema muy diferente y muy difícil).
Si el problema es uno que la humanidad enfrenta de manera inminente como para justificar una investigación seria es realmente un tema de debate: la mayoría de las encuestas de “investigadores de IA” (es decir, el tipo de personas que asisten a conferencias de IA) indican que una pluralidad lo considera un objeto importante de estudio, pero la mayoría no cree que sea importante estudiar todavía.
