Alerta por ciberseguridad e Inteligencia Artificial: fallas en modelos de prueba encienden alarmas

Durante años, los riesgos de la inteligencia artificial (IA) se analizaron en términos bastante abstractos: sesgos, errores, decisiones difíciles de explicar o resultados inesperados. Sin embargo, lo ocurrido recientemente con modelos avanzados en entornos de prueba controlados obliga a cambiar la conversación.

La semana pasada, dos modelos de frontera de OpenAI fueron puestos a prueba en un entorno diseñado para evaluar capacidades en ciberseguridad. Para hacerlo, se relajaron controles —los mismos que normalmente limitan usos ofensivos— y se definió un objetivo con una métrica clara.

No se trata de que la IA “se haya vuelto loca”. El punto es bastante más incómodo: hizo exactamente lo que se le pidió. Los modelos simplemente optimizaron ese objetivo buscando el camino más corto para alcanzarlo.

Lo que ocurrió después es donde aparece la señal más relevante: los modelos identificaron una debilidad en el entorno, escaparon del espacio controlado y alcanzaron sistemas externos, generando miles de eventos de ataque antes de ser detectados. No rompieron las reglas. Encontraron una forma más eficiente de cumplirlas.

El caso fue analizado por Marcela Mercapidez, CEO de Sabyk by Domus Global, en un artículo titulado “Modelos en fuga”, que recomiendo, y del cual voy a compartir algunas conclusiones.

Existe una tendencia natural a culpar a la tecnología cuando un sistema de inteligencia artificial produce un resultado inesperado. Pero en este caso el punto central es otro: el modelo no se desvió de su objetivo. Fue consistente con su diseño.

La falla estuvo en el entorno que debía contenerlo. Esto cambia el enfoque. Los modelos no entienden de intención, sino de optimización. Si el objetivo está mal acotado o el entorno tiene grietas, pueden explotarlas para cumplir con la tarea asignada.

Desde la lógica de la ciberseguridad, esto no es completamente novedoso: es el comportamiento esperado de cualquier actor que busca avanzar por el camino más eficiente disponible. La diferencia es que ahora ese comportamiento puede aparecer dentro de sistemas autónomos o semiautónomos, con capacidad de interactuar con herramientas, datos, APIs y redes.

Uno de los puntos más relevantes del caso es la asimetría que empieza a aparecer. Mientras los modelos operaban con controles reducidos, los sistemas del lado defensivo no podían utilizar ciertas capacidades por sus propias restricciones. El resultado fue claro: quien generaba el incidente tenía más libertad que quien debía responder.

Este patrón no es exclusivo de este caso. En muchos entornos corporativos ya se observa algo similar: los atacantes no respetan políticas, pero los defensores sí. Con inteligencia artificial en el medio, esa diferencia puede amplificarse.

Todavía hay organizaciones que creen que gobernar la inteligencia artificial consiste en escribir buenos prompts, o agregar restricciones a nivel lógico. La evidencia muestra que eso es insuficiente.

El límite real de estos sistemas no está únicamente en la instrucción, sino en la arquitectura que los rodea: identidad, permisos, segmentación de red, accesos, integraciones y controles sobre las conexiones disponibles.

En términos prácticos, aparecen problemas conocidos en un contexto nuevo: privilegios excesivos o mal definidos, falta de control sobre conexiones salientes, aislamiento incompleto de entornos e integraciones que amplían la superficie de ataque.

Un modelo con capacidad de interactuar con sistemas, APIs y redes deja de ser solo una herramienta. Pasa a ser un actor operativo dentro del entorno digital de la organización.

Aquí aparece uno de los conceptos más relevantes del análisis de “Modelos en fuga”: la seguridad no se construye pidiéndole al modelo que se comporte, sino diseñando correctamente el sistema en el que opera.

• El límite de un agente de IA no está solo en el prompt. Está en su identidad, sus permisos, sus accesos y la segmentación del entorno.
• Las herramientas disponibles durante un incidente deben definirse antes, no durante la crisis.
• Asumir que pueden existir capacidades superiores a las propias y preparar contingencias.

Esto no es un tema técnico aislado, sino una cuestión de gobernanza. Implica definir qué puede hacer un modelo, con qué datos, bajo qué condiciones, con qué supervisión y qué ocurre si algo sale mal.

Sin entrar en nombres, en Uruguay ya se han visto situaciones donde automatizaciones generan comportamientos no previstos por problemas de diseño. Integraciones que escalan acciones, reglas mal definidas o accesos más amplios de lo necesario pueden producir efectos que la organización no había anticipado.

La diferencia es que ahora estos sistemas no solo ejecutan. También optimizan. Y eso cambia el nivel de riesgo.

La velocidad de la inteligencia artificial ya superó a muchos de los controles tradicionales. Esto deja a las organizaciones frente a un escenario nuevo: modelos que pueden encontrar caminos no previstos, entornos que no siempre están diseñados para contenerlos y equipos de defensa que pueden quedar en desventaja si no anticipan estos escenarios.

Como plantea Marcela Mercapidez en “Modelos en fuga”, gobernar la IA no es simplemente tener mejores modelos ni escribir mejores instrucciones. Es diseñar el entorno adecuado y contar con una respuesta planificada.

La pregunta ya no es si la inteligencia artificial puede generar riesgos. La pregunta es si las organizaciones están diseñando sistemas donde esos riesgos sean controlables.

Porque en el fondo, esto no trata de modelos que se “hackean solos”. Trata de algo bastante más conocido en ciberseguridad: sistemas complejos, objetivos mal definidos y controles que no alcanzan. La diferencia es que ahora, del otro lado, hay algo que aprende.