La confrontación entre EE.UU. y China en IA se intensifica, pero los académicos de ambos países coinciden: no dejen que la IA tenga un "momento Chernóbil".

WIRED viajó a la Conferencia Anual de IA de Zhongguancun en Pekín, y la mayor conclusión después de entrevistar a los principales académicos chinos y estadounidenses es: los riesgos de seguridad cibernética de la IA de vanguardia son tan grandes que ninguna de las partes puede asumirlos por sí sola, y el límite de capacidad de los modelos de código abierto se acerca a un punto crítico peligroso.

(Resumen anterior: Anthropic fue 'bloqueado' por el gobierno de EE.UU. para retirar el modelo Fable, y los medios extranjeros señalan tres preocupaciones: podría ayudar al código abierto chino)

(Contexto adicional: Nvidia lanza el modelo de código abierto más potente Nemotron 3 Ultra, centrado en tareas de agentes de IA)

Índice

Toggle

• Una carrera armamentista de IA que, sin embargo, genera una disuasión nuclear
• El límite de los modelos de código abierto se acerca a un punto crítico peligroso
• China también está cerrando la puerta en silencio

El periodista de WIRED, Will Knight, viajó personalmente a esta conferencia organizada por el Instituto de Investigación de Inteligencia Artificial de Beijing (BAAI), donde se reunieron temas que van desde la auto-mejora recursiva, robots humanoides hasta la seguridad cuántica. Entre los asistentes se encontraban Whitfield Diffie, co-inventor de la criptografía de clave pública, y Andrew Barto, ganador del Premio Turing por su investigación fundamental en aprendizaje por refuerzo.

Knight escribió en el artículo que al salir de la sala solo le quedaba un pensamiento: Estados Unidos y China deben dejar de lado la hostilidad en la competencia de IA. La razón no es diplomacia, sino realidad técnica: los riesgos de seguridad cibernética de la IA de vanguardia se están expandiendo a una velocidad que supera la capacidad de cualquier política nacional para alcanzarlos.

Una carrera armamentista de IA que, sin embargo, genera una disuasión nuclear

El marco estándar de Washington considera los avances de China en IA como una amenaza económica y de seguridad nacional. Los controles de exportación se han endurecido continuamente, limitando el flujo de chips avanzados y equipos de fabricación hacia China; en junio de este año, el gobierno de EE.UU. fue un paso más allá, exigiendo a Anthropic que dejara de permitir que extranjeros accedieran a sus dos modelos más potentes, Mythos 5 y Fable 5, por razones de seguridad nacional.

Anthropic cerró inmediatamente estos dos modelos para todos, una de las razones fue que las autoridades temían que el mecanismo de protección de Fable 5 fuera vulnerado, lo que permitiría desbloquear la capacidad de ataque cibernético de Mythos.

Sin embargo, esta conferencia de Pekín transmitió una señal completamente diferente: una IA desarrollada demasiado rápido y sin control es un riesgo tanto para Estados Unidos como para China, no una carta de negociación unilateral.

El científico informático del MIT, Stephen Casper, habló en la conferencia por video. Citó un estudio que muestra que los beneficios de la cooperación internacional en riesgos de IA superan con creces los peligros de seguridad que la cooperación misma conlleva. Casper le puso un símil a Knight: 'Casi todos pueden estar de acuerdo en una cosa sobre la IA: no necesita un momento Chernóbil'.

Señaló que esto es exactamente la misma lógica contradictoria de la Guerra Fría entre EE.UU. y la URSS con respecto a las armas nucleares: ambas partes se esforzaban por expandir sus arsenales, al mismo tiempo que tenían que establecer mecanismos de control de crisis nucleares. Lo que más les preocupa es precisamente la IA agente cada vez más poderosa; si sus capacidades continúan mejorando, un pequeño descontrol podría causar una destrucción masiva.

El límite de los modelos de código abierto se acerca a un punto crítico peligroso

Si los riesgos de seguridad cibernética son una advertencia a nivel teórico, entonces la expansión de las capacidades de los modelos de código abierto es una mina terrestre visible a simple vista.

En los últimos años, las empresas chinas han estado a la vanguardia en el campo de los modelos de pesos abiertos: Kimi de Moonshot AI, Qwen de Alibaba, GLM de Z.ai, todos tienen una gran base de usuarios en la comunidad de investigación estadounidense. La respuesta de EE.UU. es el Nemotron de Nvidia, que intenta reconstruir la competitividad del código abierto.

Pero el análisis de los expertos sobre GLM 5.2 muestra que el modelo de última generación de Z.ai ya posee capacidades de agente y programación de nivel de vanguardia. La próxima generación de modelos de código abierto podría equipararse a Fable o Mythos.

Lin Yun, profesor de la Universidad Jiao Tong de Shanghái, ha investigado durante mucho tiempo la intersección de la IA y la seguridad de la información. Le señaló a Knight que, a corto plazo, los hackers ciertamente tienen ventaja, pero nuevas medidas defensivas, incluyendo aplicaciones de contraataque de la propia IA, deberían revertir la situación a medio y largo plazo. El problema más central son los estándares: 'Si diferentes países tienen una comprensión similar del riesgo, es más fácil establecer principios de seguridad y estándares técnicos comunes', dijo Yun. 'La clave es encontrar áreas compartidas que puedan reducir los riesgos sistémicos sin exponer detalles operativos sensibles'.

Lin Yun también planteó un espinoso problema abierto: ¿cómo puede la industria garantizar que los modelos de código abierto se actualicen continuamente, no tengan vulnerabilidades de puerta trasera y cumplan con los estándares de seguridad? Actualmente no hay respuesta a esta pregunta.

China también está cerrando la puerta en silencio

Un detalle que no debe pasarse por alto proviene de una fuente anónima entrevistada por Will Knight: un interno de una importante empresa china de IA, que pidió el anonimato por no estar autorizado para hablar con los medios. Reveló que las preocupaciones de seguridad ya son una de las razones por las que algunos modelos avanzados ya no se publican como código abierto.

Esta es una señal que vale la pena leer con atención. Las empresas chinas de IA siempre han utilizado la postura de código abierto para obtener influencia global, pero si incluso los principales actores chinos comienzan a imponer restricciones a algunos modelos, entonces el límite entre código abierto y cerrado se está redefiniendo. Después de todo, los controles de exportación controlan el flujo de capacidad computacional, pero la difusión de las capacidades de los modelos es blanda y sin fronteras. Cuando la comunidad de código abierto puede replicar el 90% de la capacidad de los modelos cerrados, y cuando los modelos abiertos pueden convertirse en armas cibernéticas, cualquier control unilateral solo retrasa, no detiene.

Estados Unidos y China son las principales fuentes de los modelos más avanzados hoy en día, y por lo tanto las dos partes con mayor responsabilidad en este riesgo. Casper lo dijo claramente: 'La IA es una tecnología global, trae beneficios globales y también daños globales, y la tendencia constante es que las nuevas capacidades finalmente se difundan por todo el mundo'. No importa cuánto tiempo continúe la lucha entre Pekín y Washington sobre los controles de exportación, esta lógica no desaparecerá.