Sombrero negro Se espera que el software empresarial de uso generalizado sea seguro. Prepárese para que esas esperanzas se vean frustradas nuevamente, ya que el director de tecnología de Zenity, Michael Bargury, reveló hoy sus ataques a Microsoft Copilot en Black Hat.
“En realidad es muy difícil crear un bot (Copilot Studio) que sea seguro”, dijo Bargury. El Registro en una entrevista previa a sus conferencias, “porque todos los valores predeterminados son inseguros”.
Bargury habló dos veces sobre las fallas de seguridad con Microsoft Copilot en Black Hat en Las Vegas esta semana. primera charla se centró en el mencionado Copilot Studio, la herramienta sin código de Microsoft para crear bots Copilot empresariales personalizados. segundo abordó todas las cosas desagradables que un atacante puede hacer con Copilot si logra ingresar a los sistemas de una organización que usa la tecnología, así como también cómo usar Copilot para obtener ese acceso inicial.
Zenity, por si sirve de algo, ofrece, entre otras cosas, controles de seguridad para Copilot y asistentes empresariales similares. Téngalo en cuenta. Advierte de los riesgos de utilizar los servicios de inteligencia artificial de Microsoft aquí.
Tus robots Copilot son bastante conversadores
Si no tienes mucha exposición a Estudio Copilotoes una herramienta para que personas sin conocimientos técnicos creen bots conversacionales simples, utilizando Copilot AI de Microsoft, que pueden responder las preguntas de las personas utilizando documentos y datos comerciales internos. Esto es posible gracias a lo que se denomina generación aumentada por recuperación o TRAPO.
Es la forma que tiene Microsoft de “extender los tentáculos (de Copilot) a otras áreas de negocio, como CRM y ERP”, como escribimos. aquíLas empresas pueden crear bots que interactúen con clientes y/o empleados y que proporcionen una interfaz en lenguaje natural para la información interna.
Lamentablemente para todos los clientes de Copilot Studio, nos han dicho que la configuración predeterminada de la plataforma es totalmente insuficiente. Si a eso le sumamos lo que el jefe de marketing de Zenity, Andrew Silberman, nos dijo que hay casi 3000 bots de Copilot Studio en una gran empresa promedio (estamos hablando de empresas de la lista Fortune 500), junto con una investigación que indica que el 63 por ciento de ellos se pueden descubrir en línea, tenemos una receta potencial para una exfiltración de datos.
En concreto, si estos bots son accesibles al público, y nos dicen que un buen número de ellos lo son, potencialmente pueden ser engañados para que entreguen, o simplemente entreguen por diseño, información a personas que no deberían haber sido proporcionadas voluntariamente durante las conversaciones, se afirma.
Según nos han dicho, como los bots de Copilot suelen tener acceso a datos internos de la empresa y a documentos confidenciales, es cuestión de averiguar cómo engañarlos o incitarlos a que revelen esos datos. Bargury dijo que pudo hacerlo configurando ChatGPT para engañar a los bots de Copilot con mensajes automatizados y malformados.
“Hemos analizado Internet y hemos encontrado decenas de miles de estos bots”, dijo Bargury. Atribuyó la alta disponibilidad en línea de estos agentes a la configuración predeterminada de Copilot Studio, que los publicaba en la web sin necesidad de autenticarse para acceder a ellos, un descuido que Microsoft ha corregido después de que el equipo de Zenity se lo hiciera saber.
Lamentablemente, las nuevas configuraciones predeterminadas que mantienen a los bots de Copilot Studio fuera de Internet público de manera predeterminada actualmente solo se aplican a nuevas instalaciones, dijo Bargury, por lo que los usuarios de la suite que la instalaron antes deben verificar sus implementaciones para estar seguros.
Bargury y su equipo han lanzó una nueva herramienta para detectar y explotar vulnerabilidades del bot Copilot. Apodado CopilotHunter, ahora está disponible como módulo en PowerPwnuna herramienta que Zenity lanzó en Black Hat el año pasado para probando abusos de cuentas de invitado de Microsoft 365.
Copiloto, por favor supera mi objetivo por mí.
Mientras Bargury contaba El Reg Puede que se haya excedido al planificar dos charlas de Black Hat este año, pero su segunda conferencia no muestra menos esfuerzo -ni menos efecto devastador- que la primera.
Copiloto, Bargury demostrado Esta semana, es bastante susceptible a ataques de inyección indirecta, que según él aumentan a la gravedad de la ejecución remota de código (RCE) cuando se realizan contra un objetivo empresarial con acceso a datos confidenciales.
“Una RCE consiste simplemente en poder ejecutar código desde una ubicación remota que haga algo en tu máquina”, dijo Bargury. “La inyección indirecta de mensajes que hace que una IA haga algo en tu nombre es exactamente lo mismo y tiene el mismo impacto”.
Con acceso a un entorno comprometido, Bargury dijo que puede desbloquear Copilot, obligarlo a visitar sitios de phishing para obligarlo a proporcionar información maliciosa a los usuarios, controlar referencias, mostrar información arbitraria mientras exfiltra en secreto datos cifrados, realizar operaciones sin la aprobación del usuario y similares.
Para colmo, también se puede engañar a Copilot para que conceda acceso inicial a una red y realice otras actividades maliciosas con nada más que un correo electrónico, un mensaje directo, una invitación de calendario u otra táctica de phishing común, pero esta incluso funciona sin que el usuario necesite interactuar con ella o hacer clic en un enlace debido a la forma en que Copilot escanea los mensajes.
“Microsoft Copilot se basa en el gráfico empresarial“, explicó Bargury. Una vez que se envía un mensaje, un correo electrónico o una invitación, este llega al gráfico y Copilot lo escanea, “y ese es un camino para que yo comience con la inyección de mensajes”.
En un ejemplo, Bargury demostró cómo pudo cambiar información bancaria para interceptar una transferencia bancaria entre una empresa y un cliente “simplemente enviando un correo electrónico a la persona”.
Una función de bot de IA
Bargury nos explicó que ve estos descubrimientos como un indicador de que la industria aún se encuentra en las primeras etapas de la inteligencia artificial en la empresa y debe enfrentar el hecho de que la IA está cambiando nuestra relación con los datos.
“Aquí hay un problema fundamental”, dijo. “Cuando se le da acceso a la IA a los datos, esos datos se convierten en una superficie de ataque para una inyección rápida”.
Cuando le das acceso a la IA a los datos, esos datos se convierten en una superficie de ataque para una inyección rápida.
Si eso es cierto, los bots Copilot son inseguros por su propia naturaleza ya que muchos son de acceso público, están estrechamente vinculados a datos empresariales y están listos para revelar secretos con un poco de HTML oculto o un bot de fuzzing impulsado por ChatGPT.
“Es curioso, en cierto modo: si tienes un bot que es útil, entonces es vulnerable. Si no es vulnerable, no es útil”, dijo Bargury.
El CTO de Zenity señaló que Microsoft ha sido increíblemente receptivo a sus informes y dijo que varias de las fallas que encontró se han abordado, aunque dentro de ciertos límites.
“Las aplicaciones (de IA) están cambiando básicamente en la producción porque la IA elige hacer lo que quiere, por lo que no se puede esperar tener una plataforma que sea simplemente segura y nada más”, dijo Bargury. “Eso no va a suceder porque estas plataformas tienen que ser flexibles, de lo contrario no son útiles”.
Si tienes un bot que es útil, es vulnerable. Si no es vulnerable, no es útil.
Bargury cree que proteger un software de IA como Copilot requiere monitoreo en tiempo real de la memoria, monitoreo de conversaciones y seguimiento de posibles RCE de inyección rápida, pero incluso eso puede ser difícil en entornos empresariales cerrados.
La conclusión es que las empresas son los conejillos de indias que prueban un fármaco experimental llamado “inteligencia artificial”, y todavía no hemos llegado al punto en que sepamos cómo hacerlo seguro.
Bargury y su equipo han lanzado otro kit de pruebas llamado “LOLCopilot” para organizaciones que quieran probar sus configuraciones en busca de vulnerabilidades a sus exploits.
“Copilot tiene grandes capacidades. Puede buscar, puede permitir que sus empleados encuentren datos a los que tienen acceso pero no sabían que lo tenían… esas cosas son importantes”, nos dijo Bargury. “Pero eso no es tan importante como evitar la ejecución remota de código”.
Estamos buscando una respuesta directa de Microsoft sobre los hallazgos de Zenity y le informaremos si recibimos noticias del gigante de Windows. ®
