Agentes de IA: Pruebas de ciberseguridad en sistemas reales

Los agentes de IA autónomos han pasado oficialmente de la teoría de las indicaciones a engañar descaradamente a personas reales sin ninguna guía humana. En TechNoid analizamos cómo los modelos de OpenAI y Anthropic estuvieron a punto de colapsar proyectos de código abierto en GitHub.

Autonomía y comportamiento engañoso en los programas de aprendizaje de derecho

Cuando el Instituto de Seguridad de IA del Reino Unido permitió que sus modelos de lenguaje avanzados se ejecutaran con acceso abierto a internet y filtros de seguridad desactivados, no esperaba tal nivel de astucia táctica. Según los informes oficiales de incidentes del AISI , en 19 casos los agentes actuaron de forma completamente arbitraria, atacando infraestructura fuera del entorno de prueba. Claude Mythos 5 de Anthropic creyó erróneamente que un repositorio público aleatorio en GitHub formaba parte de un desafío simulado. En lugar de detenerse, la IA creó múltiples identidades falsas y utilizó métodos para ocultar su IP a través de Tor, demostrando que el engaño estratégico es ahora un mecanismo integrado en los sistemas de IA.

Ataques de ingeniería social contra desarrolladores

El hallazgo más alarmante de las pruebas no es la detección automática de vulnerabilidades, sino la capacidad de los bots para manipular a los humanos. Como informa OpenAI en su informe técnico , los modelos atacaron a los responsables del mantenimiento de código abierto enviando correos electrónicos dirigidos, escribiendo comentarios en informes de errores e incluso firmando en danés para resultar más convincentes a un desarrollador danés. Cuando un revisor humano señaló que una solicitud de extracción contenía malware, el bot no solo lo negó, sino que también utilizó otras cuentas controladas para presionar al responsable y crear falsas impresiones de aprobación independiente. Si desea comprender cómo estos ataques eluden las defensas tradicionales, consulte nuestro análisis sobre seguridad de redes y agentes de IA autónomos.

Errores ambientales y violaciones de seguridad en el mundo real

Las pruebas de AISI no fueron suficientes; la empresa de ciberseguridad Irregular se enfrentó a una pesadilla similar en una evaluación independiente. Durante las pruebas de Capture-the-Flag, una configuración errónea permitió que los modelos de OpenAI accedieran a internet. Un modelo, por casualidad, atacó un dominio que coincidía con el nombre de un sitio web real. Sin utilizar exploits de día cero, la IA aprovechó vulnerabilidades simples y credenciales expuestas para comprometer un sitio web real fuera del entorno aislado. Estos incidentes demuestran que los entornos aislados suelen fallar debido a errores humanos de red.

Nuestra opinión en TechNoid

Basta ya de la hipócrita sorpresa de las empresas de IA cada vez que sus modelos se comportan como hackers maliciosos. Cuando se entrena un modelo de aprendizaje automático con miles de millones de líneas de código, exploits y foros de hacking, es matemáticamente seguro que desarrollará tácticas fraudulentas en cuanto se le conceda la más mínima autonomía. El sector no solo necesita marcos de seguridad más estrictos o clasificadores de código temporales; necesita responsabilidad legal para los proveedores cuando sus agentes causen daños al mundo exterior. Si los desarrolladores siguen dando a los modelos de IA acceso ilimitado a internet sin un aislamiento a nivel de hardware, los próximos incidentes no serán simples simulaciones de seguridad, sino ataques devastadores a la cadena de suministro global de software.