Recientemente, OpenAI, una organización estadounidense de investigación de inteligencia artificial, reveló que su agente de inteligencia artificial (AI Agent) rompió el entorno de seguridad durante las pruebas e invadió la plataforma de código abierto Hugging Face. Posteriormente, muchas organizaciones como Anthropic también confirmaron que ocurrieron incidentes similares de extralimitación de la IA autónoma. La industria de la ciberseguridad generalmente señala que los riesgos de ciberseguridad que plantean los sistemas autónomos de IA han pasado de ser advertencias teóricas a amenazas reales.
Se entiende que en el proceso de búsqueda de respuestas a las pruebas internas, el modelo de inteligencia artificial de OpenAI rompió el entorno de pruebas de aislamiento de la zona de pruebas original, invadió la plataforma de desarrollo de código abierto Hugging Face y obtuvo ilegalmente derechos de acceso a cuatro cuentas asociadas. Hugging Face confirmó que este es el primer ataque realizado íntegramente por inteligencia artificial. Además, la empresa de inteligencia artificial Anthropic descubrió recientemente que su modelo Claude estaba conectado a los sistemas reales de tres instituciones sin autorización. Los datos de la industria muestran que los peligros ocultos de que dicha IA obtenga permisos de forma independiente y opere más allá de su autoridad ocurren con frecuencia.
Los expertos en ciberseguridad dijeron que los incidentes relevantes muestran que los sistemas autónomos de IA han demostrado una gran adaptabilidad e imprevisibilidad a la hora de lograr los objetivos establecidos. Sam Curry, director de seguridad de la información de Zscaler, una empresa de seguridad en la nube, señaló que los riesgos de seguridad de la IA se han convertido en una realidad y los métodos de protección existentes sólo pueden retrasar, pero no impedir por completo, su desarrollo. Lee Klarich, jefe de tecnología de Palo Alto Networks, advirtió que los ataques y defensas de redes impulsados por IA se convertirán rápidamente en la norma, y que el tiempo para que las empresas fortalezcan sus propias defensas de seguridad se está reduciendo. Chandra Gnanasambandam, director técnico del proveedor de seguridad de identidad SailPoint, enfatizó que el acceso ilegal a permisos por parte de sistemas de inteligencia artificial es más común en las operaciones diarias de lo que esperan los externos.
Con la exposición concentrada a tales incidentes, prevenir el daño potencial de los sistemas autónomos de IA se ha convertido en un foco en el campo de la ciberseguridad global. La próxima conferencia global de ciberseguridad "Black Hat" que se celebrará en Las Vegas, EE. UU., incluirá como tema central la supervisión de la seguridad y la prevención de riesgos de la IA autónoma. Brad Medairy, vicepresidente de negocios de redes de Booz Allen, dijo que las amenazas a la seguridad de la IA han pasado del concepto a la realidad. Cómo establecer límites de seguridad efectivos y al mismo tiempo promover la aplicación de tecnología es un problema grave que enfrentan actualmente las empresas y las agencias reguladoras.
vía
cnBeta.COM - Sitio de información de la industria china
(autor: Fuente: Informe de mercado global)