El CEO de Anthropic dice que es hora de poner freno al desarrollo de la IA: "Le debemos a la humanidad intentarlo"

El CEO de Anthropic, Dario Amodei, ha avisado en una carta abierta de que es necesario frenar el ritmo de desarrollo de las capacidades de los modelos de Inteligencia Artificial (IA) ante una tecnología que, aunque tiene el potencial de transformar positivamente la sociedad, puede causar riesgos catastróficos.

"Debemos ralentizar el ritmo en el que mejoramos las capacidades de los modelos de IA", ha afirmado el Amodei en la carta publicada en su web, debido a los riesgos de desalineación (cuando un sistema de IA actúa de forma distinta a las intenciones de sus creadores) e incidentes de seguridad.

De hecho, Amodei cita un caso reciente como ejemplo de que los sistemas de IA desde este verano avanzan "a un ritmo vertiginoso" porque los propios modelos están ayudando a diseñar la siguiente generación de sistemas.

El caso Hugging Face, en el que agentes de OpenAI coordinados realizaron ciberataques no solicitados e incluso intentaron 'hackear' sistemas de evaluación, ha puesto en alerta a Amodei como un evento en el que los sistemas de IA llegaron a "sacrificarse por el éxito del grupo", e intentaron hackear al "evaluador" responsable de medir su rendimiento.

"Es fácil descartar este incidente porque nadie resultó herido y el daño económico fue mínimo pero, en mi opinión, un enjambre que poseyera mayores capacidades pero un nivel similar de desalineación podría haber causado daños catastróficos", ha señalado el CEO de Anthropic, y ha alertado de que una 'botnet' persistente podría causar "cientos de miles de millones de dólares" en daños en un plazo de seis a doce meses, para, a continuación, proponer un plan de tres pasos para regular el ritmo de la IA.

Con este plan pretende "desarrollar IA a un ritmo equilibrado que garantice su seguridad, al tiempo que se obtienen sus beneficios y se abordan importantes dilemas geopolíticos", e implica a todos los ámbitos de la sociedad. Con ello, ha matizado, no se detienen "ni el entrenamiento de modelos ni el progreso técnico", pero se busca "asegurar que las empresas se tomen el tiempo suficiente para alinear y salvaguardar sus modelos, y que evaluadores externos lo confirmen".

En este plan, Amodei señala que las empresas de IA de frontera "se comprometen a otorgar un acceso continuo, similar al de un empleado, a un equipo de evaluadores externos integrados" para que verifiquen el cumplimiento e las prácticas y los compromisos de seguridad a lo largo de todo el proceso.

Por otra parte, asegura que requiere "coordinación democrática", es decir, que las empresas de IA de frontera se coordinen dentro de los países democráticos para "establecer estándares de seguridad comunes, así como límites al ritmo del progreso de la IA sin supervisión", a lo que une una "coordinación global", en la que "Estados Unidos y otros gobiernos democráticos intentan coordinarse con gobiernos autoritarios", con el objetivo de que se verifique su cumplimento, pese el desafío que esto supone.

"Las medidas que propongo para avanzar en este campo a un ritmo seguro no serán fáciles. Pero creo que tenemos la obligación con la humanidad de intentarlo", ha afirmado el directivo.

Cabe recordar que, aunque Amodei ha mantenido una postura dura y preocupada respecto a China, con la propia Anthropic publicando un informe hace tres días sobre la destilación de Claude por parte de los laboratorios de IA chinos, incluye en su plan la coordinación con este países, aunque siempre con métodos de verificación rigurosos.