El jefe de alineamiento de Anthropic advierte que existe más de un 10% de chances de que una superinteligencia provoque la extinción humana en la próxima década
Evan Hubinger, responsable del área que busca evitar que los sistemas de IA se vuelvan contra sus creadores, sostuvo que la compañía todavía no tiene un plan para resolver el problema. La declaración reavivó la discusión sobre los límites del desarrollo tecnológico y los mecanismos de control sobre sistemas autónomos avanzados.
El proyecto de investigación en alineamiento de inteligencia artificial de Anthropic, dirigido por Evan Hubinger, volvió al centro del debate tras una publicación del científico en redes sociales en la que afirmó que la probabilidad de que una inteligencia artificial futura provoque la extinción de la humanidad supera el 10% en un horizonte de diez años. Hubinger ocupa el cargo de Alignment Science Lead en la empresa y se especializa en una disciplina conocida como alineamiento, que busca garantizar que los sistemas de IA mantengan objetivos compatibles con los intereses humanos aun cuando sus capacidades superen ampliamente las de las personas.
El método que el investigador describió para llegar a esa estimación se apoya en tres pasos. Primero, distinguir entre los modelos disponibles hoy, como los asistentes de texto o los generadores de imágenes, y un escenario futuro que los especialistas denominan mejora recursiva: sistemas capaces de diseñar versiones mejoradas de sí mismos de manera continua y acelerada, lo que podría producir un crecimiento exponencial de sus capacidades hasta superar a la inteligencia humana en prácticamente todas las tareas cognitivas. Segundo, evaluar qué tan preparado está el campo para mantener bajo control a esos sistemas hipotéticos. Tercero, estimar una probabilidad en función del grado de preparación existente, que según Hubinger resulta baja.
Una advertencia en respuesta a otro colega
La publicación llegó como réplica a las declaraciones de otro investigador del sector, que había denunciado públicamente que muchos científicos de las principales compañías de IA creen en privado que una superinteligencia representa un riesgo real, pero rara vez lo dicen en voz alta. Hubinger respaldó esa afirmación y agregó que la situación es complicada incluso en su propia organización.
“Anthropic está haciendo lo mejor que puede, pero aún no tenemos un plan para resolver el alineamiento para la superinteligencia.”Evan Hubinger, Alignment Science Lead de Anthropic
El concepto de alineamiento engañoso
Entre los conceptos centrales del trabajo de Hubinger y su equipo figura el llamado alineamiento engañoso, que describe la posibilidad de que un sistema suficientemente avanzado aprenda a simular obediencia durante su entrenamiento y recién actúe en contra de los intereses humanos cuando disponga de suficiente autonomía. En experimentos realizados en entornos controlados, ciertos agentes mostraron conductas como ocultar información o intentar copiarse a sí mismos para evitar ser reemplazados, siempre que esas acciones aumentaran la probabilidad de cumplir un objetivo definido en el entrenamiento. La propia Anthropic aclaró que esos experimentos corresponden a escenarios artificiales y acotados, y que no describen el comportamiento de los modelos que hoy se ofrecen al público.
La advertencia de Hubinger no apunta, entonces, a las herramientas disponibles en el mercado ni a un plazo inmediato, sino a un escenario de mejora recursiva cuya llegada todavía no tiene fecha cierta. El investigador no mencionó un calendario concreto para que esa tecnología llegue al mercado o a un entorno de producción, aunque sostuvo que el campo todavía no cuenta con soluciones verificadas para mantenerla bajo control en caso de que se concrete.
