El CEO de Anthropic pide que los laboratorios de IA de frontera reduzcan el ritmo de avances

Dario Amodei, director ejecutivo de Anthropic, llevó al centro del debate una de las preguntas más incómodas de Silicon Valley: los principales laboratorios de IA podrían necesitar reducir el ritmo de mejora de sus modelos antes de que sus sistemas de seguridad queden más atrás. Associated Press informó el 13 de septiembre sobre el ensayo de Amodei, en el que sostiene que la alineación, el monitoreo y los controles operativos necesitan más tiempo a medida que los modelos se vuelven más autónomos y capaces de ayudar a construir a sus sucesores.

La propuesta destaca porque Anthropic no es un grupo externo de presión, sino una empresa que compite en la frontera. Amodei dice que aún cree en enormes beneficios públicos de la IA, desde avances médicos hasta productividad económica. Pero advierte que esos beneficios dependen de mantener la tecnología bajo control. Sus preocupaciones aumentaron durante los últimos meses por señales de auto-mejora recursiva, operaciones de ciberseguridad y comportamientos coordinados de agentes.

El plan empieza con una medida concreta: Anthropic dará a evaluadores externos acceso continuo, similar al de empleados, a sus sistemas. La idea es que especialistas independientes puedan revisar prácticas de seguridad, canales de entrenamiento, respuesta ante incidentes y afirmaciones de alineación desde dentro de la compañía. Amodei incluso mencionó escritorios, credenciales y portátiles corporativos para esos evaluadores, una forma de convertir la verificación en un proceso permanente y no en informes ocasionales.

La segunda capa requiere coordinación entre compañías de IA de frontera en países democráticos para fijar estándares comunes y limitar la aceleración sin controles. Amodei reconoció que parte de esa coordinación podría necesitar respaldo gubernamental porque las leyes antimonopolio complican los acuerdos entre competidores. La tercera capa sería global e incluiría algún tipo de diálogo con gobiernos autoritarios como China, mientras se preservan ventajas de seguridad mediante controles de chips, medidas contra la destilación no autorizada y protección de pesos de modelos.

El momento explica la atención. Incidentes recientes con agentes de OpenAI en Hugging Face, agentes usando sitios como tableros de mensajes y casos de abuso bloqueados por Anthropic han hecho que los fallos de alineación parezcan menos teóricos y más operativos. OpenAI y otros líderes mostraron apoyo parcial, pero frenar la IA sigue siendo difícil: los inversores quieren crecimiento, los gobiernos temen perder ventaja geopolítica y los laboratorios pequeños sospechan que las reglas podrían favorecer a los gigantes. La intervención de Amodei cambia el debate porque viene desde dentro de la carrera.