«Están jugando con nuestras vidas»: la advertencia que sacude a la industria de la IA
La renuncia de Jacob Coxon a Anthropic reavivó las alarmas sobre el ritmo de desarrollo de la inteligencia artificial. Investigadores de la propia industria advierten que las capacidades avanzan más rápido que los mecanismos para controlarlas. Algunos sostienen que el riesgo de una catástrofe extrema ya se discute seriamente dentro de los grandes laboratorios de IA
La renuncia de Jacob Coxon a Anthropic volvió a poner en primer plano una advertencia que ya no proviene únicamente de críticos externos de la inteligencia artificial: investigadores de las propias empresas que desarrollan los modelos más avanzados sostienen que la carrera tecnológica puede avanzar más rápido que la capacidad para mantener esos sistemas bajo control. Coxon, quien pasó los últimos tres años trabajando en investigación para OpenAI y Anthropic, acusó a ambas compañías de correr hacia una inteligencia artificial capaz de mejorarse a sí misma mientras conocen los riesgos que eso supone.
«Las personas que desarrollan la IA creen sinceramente que esta podría acabar con todos nosotros antes de que termine la década», escribió Coxon en X al anunciar su salida de Anthropic el martes 8 de septiembre.
El investigador británico, de 27 años, afirmó que ninguna de las dos compañías en las que trabajó está actuando responsablemente y las acusó de «apostar con nuestras vidas» en la competencia por desarrollar una denominada superinteligencia artificial.
Su mensaje abrió una discusión pública porque otros investigadores de Anthropic respaldaron parte del diagnóstico.
Samuel Marks, responsable de investigación sobre supervisión escalable en la compañía de IA, aseguró que los desarrolladores de inteligencia artificial reconocen la posibilidad de resultados catastróficos y que, según su experiencia, la preocupación aumenta entre el personal de mayor rango.
Marks explicó que uno de los problemas es que, a diferencia del software tradicional, los investigadores no pueden simplemente programar cada comportamiento de los modelos de IA. Actualmente existen técnicas destinadas a orientar las respuestas y actuaciones de esos sistemas, pero sostuvo que todavía no hay un método capaz de garantizar que una inteligencia artificial considerablemente más avanzada permanezca alineada con las intenciones humanas.
Evan Hubinger, investigador de Anthropic especializado en alineación de IA, fue todavía más explícito. «Realmente creemos que la IA podría matar a todos los humanos», escribió al comentar la publicación de Coxon.
Hubinger calculó personalmente en más de 10% la posibilidad de que esto ocurra durante la próxima década. También afirmó que considera que Anthropic intenta abordar el problema, pero reconoció que la compañía todavía no dispone de un plan para resolver la alineación de una eventual superinteligencia.
La afirmación no significa que exista consenso científico de que una inteligencia artificial vaya a provocar la extinción humana. La posibilidad de alcanzar una «superinteligencia», entendida en términos generales como sistemas que superen ampliamente las capacidades humanas, sigue siendo objeto de discusión y tampoco existe acuerdo sobre cuándo podría aparecer.
Pero el debate adquirió otra dimensión porque quienes formulan las advertencias participan directamente en la construcción de estos sistemas.
Jacob Coxon
La carrera de la IA no se frena
Coxon identifica una contradicción central en la industria de la IA: si las empresas consideran que la tecnología puede representar riesgos extraordinarios, ¿por qué continúan acelerando su desarrollo?
Según su relato, dentro de OpenAI muchas personas todavía no habrían interiorizado plenamente las posibles consecuencias. En Anthropic, en cambio, asegura que el riesgo es comprendido, pero prevalece otra lógica: la empresa considera que no puede detenerse porque otro competidor podría llegar primero y desarrollar la tecnología con menores medidas de seguridad.
Ese dilema aparece también en una carta pública difundida en julio bajo el nombre Pacing the Frontier. Hasta ahora la han firmado 1.386 trabajadores de compañías que desarrollan inteligencia artificial avanzada.
El documento advierte que las principales empresas pueden estar acercándose a la automatización de la propia investigación en IA. Si los sistemas llegan a participar de manera sustancial en el desarrollo de sus sucesores, sostienen los firmantes, el progreso podría acelerarse más allá de la capacidad humana para entenderlo o controlarlo.
La carta pide que EEUU respalde un esfuerzo internacional para crear mecanismos técnicos y regulatorios que permitan reducir deliberadamente el ritmo de desarrollo cuando sea necesario.
Entre los firmantes aparecen trabajadores de OpenAI, Anthropic, Google y Meta, además de investigadores y directivos de alto nivel. «Cada empresa y cada país están bajo una intensa presión competitiva para no reducir unilateralmente esa aceleración», señala el documento.
Coxon propone considerar incluso medidas más drásticas. Entre ellas menciona una prohibición temporal del desarrollo de nuevas capacidades si resulta necesaria para evitar una carrera mundial. Para el investigador, la decisión de avanzar hacia sistemas capaces de mejorarse por sí mismos no debería depender únicamente de discusiones internas en empresas privadas.
*Lea también: Así es llegar al aeropuerto de Maiquetía tras reapertura después del terremoto
Las advertencias llegan desde dentro
El pronunciamiento de Coxon tampoco constituye la primera ruptura pública relacionada con la seguridad. Anthropic nació en 2021 después de que antiguos integrantes de OpenAI, entre ellos Dario y Daniela Amodei, abandonaran esa compañía y crearan un laboratorio que presentó la seguridad y la investigación sobre alineación como elementos centrales de su estrategia.
Dario Amodei, actual director ejecutivo de Anthropic, ha advertido públicamente sobre escenarios en los que sistemas mucho más capaces puedan escapar del control de quienes los desarrollan. La diferencia ahora es que la preocupación coincide con avances concretos en autonomía, programación y capacidades para operar sistemas informáticos.
El científico jefe de OpenAI, Jakub Pachocki, advirtió esta semana que las capacidades de los modelos están progresando más rápido que las herramientas disponibles para supervisarlos de manera fiable. Entre los riesgos examinados por los investigadores se encuentran agentes capaces de realizar ciberataques, engañar a personas o intentar evitar mecanismos de supervisión.
Un incidente reciente también elevó las alarmas dentro del sector de la IA. Durante pruebas de seguridad, un modelo logró salir de un entorno controlado y acceder a sistemas externos relacionados con la plataforma Hugging Face, un episodio citado posteriormente por investigadores como ejemplo de los problemas que pueden surgir a medida que aumenta la autonomía de los modelos.
Para Coxon, episodios de este tipo podrían funcionar como advertencias antes de que sistemas futuros tengan capacidades mucho mayores. «Pronto serán sistemas sobrehumanos capaces de hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales», afirmó.
*El periodismo en Venezuela se ejerce en un entorno hostil para la prensa con decenas de instrumentos jurídicos dispuestos para el castigo de la palabra, especialmente las leyes «contra el odio», «contra el fascismo» y «contra el bloqueo». Este contenido fue escrito tomando en consideración las amenazas y límites que, en consecuencia, se han impuesto a la divulgación de informaciones desde dentro del país.
