Anthropic abre las puertas de su laboratorio a un equipo externo que audita sus modelos con rango de empleado

El esquema de evaluación externa de Anthropic, la empresa desarrolladora del modelo Claude, alcanzó su nivel más alto con la incorporación de un equipo de METR, una organización sin fines de lucro especializada en medir capacidades y riesgos de sistemas de inteligencia artificial. La compañía les otorgó a seis de sus investigadores acceso equivalente al de un empleado del área de evaluación de riesgos: computadoras propias, espacio físico en sus oficinas y las herramientas internas que utiliza su personal.

Los investigadores pueden conversar con los equipos de la compañía del mismo modo que un colega, con tres excepciones reservadas: datos de clientes, información cubierta por secreto profesional entre abogado y cliente y detalles sobre la arquitectura de los modelos. El objetivo declarado de Anthropic es que la auditoría sirva para algo más que para un chequeo formal: quiere detectar problemas que un modelo pueda estar ocultando de manera deliberada.

Tres niveles, un solo criterio

La estructura tiene tres capas. En la más baja, organizaciones como SecureBio llevan adelante análisis puntuales y necesitan autorización previa de Anthropic antes de difundir sus conclusiones. En el nivel intermedio, los evaluadores reciben más información y pueden publicar sin pedir permiso, aunque con algunos límites. El nivel superior, que por ahora solo ocupa METR, suma el acceso pleno como empleado y la garantía de que la empresa no podrá bloquear la publicación de evaluaciones, reportes de incidentes y análisis sobre las prácticas internas.

Anthropic aclaró que conserva la posibilidad de solicitar que se redacten datos que pertenezcan a categorías estrechas y previamente definidas, como información sensible para actores maliciosos o detalles comerciales reservados. Sin embargo, la investigadora Beth Barnes, que dirige METR, y su equipo quedan en libertad de señalar públicamente si consideran que esa redacción estaba justificada o no.

Por qué hace falta tanto acceso

• Experiencia técnica suficiente para detectar cuándo un modelo finge estar alineado en lugar de estarlo realmente, una práctica conocida como alignment faking.
• Independencia económica y operativa respecto de la empresa auditada, de modo que el evaluador no tenga incentivos para suavizar sus hallazgos.
• Acceso que vaya más allá del comportamiento del modelo e incorpore información sobre cómo fue entrenado y cómo funcionan sus mecanismos de seguridad.
• Libertad para publicar sin restricciones previas, condición indispensable para que la auditoría tenga efecto público.

Anthropic reconoció que no puede hacer pública toda su información de seguridad, porque parte de esos datos resultaría útil para actores maliciosos o es sensible desde el punto de vista comercial. Por eso concentró el acceso profundo en un grupo acotado, con acuerdos exigibles, y mantuvo al resto del personal de METR aislado de ese trabajo.

El equipo de METR ya había revisado varios informes de riesgo durante el año anterior a recibir este nivel ampliado. La compañía tomó esa experiencia previa como antecedente para elevar el vínculo al rango más alto de su esquema. Para los lectores que siguen el desarrollo de la inteligencia artificial, el dato clave es que Anthropic y METR todavía no precisaron un calendario para la publicación de los primeros reportes bajo este nuevo régimen, que recién comienza a operar.