Una vulnerabilidad recientemente descubierta en Google Gemini para Workspace ha generado preocupaciones sobre cómo las herramientas de resumen de correos impulsadas por IA podrían convertirse en vectores de ataques de phishing.

Un exploit sutil mediante inyección de instrucciones (prompt injection)

El investigador de seguridad Marco Figueroa encontró una falla de inyección de instrucciones en la función de resumen de correos electrónicos de Gemini. Este fallo permite que un atacante oculte un mensaje de phishing dentro de un correo aparentemente inocente, el cual es invisible a simple vista, pero sí es interpretado y mostrado por Gemini.

El truco consiste en enviar un correo que contiene texto común y, además, un mensaje oculto utilizando letra blanca sobre fondo blanco. Este mensaje está encapsulado en etiquetas <admin>, lo que provoca que Gemini lo reproduzca literalmente al final de su resumen.

Cuando el usuario utiliza la función de “resumir este correo electrónico”, Gemini genera un resumen como se espera, pero también añade el mensaje malicioso, haciéndolo parecer parte del contenido legítimo.

Como prueba de concepto, Figueroa diseñó un correo que hacía creer falsamente al usuario que su contraseña de Gmail había sido comprometida, instándolo a llamar a un número telefónico. Una vez realizada la llamada, el atacante podría robar las credenciales.

Respuesta de Google

La vulnerabilidad fue reportada de forma responsable a través del programa de recompensas de errores 0Din de Mozilla, enfocado en fallas de seguridad en IA generativa. Google respondió afirmando que no ha detectado casos reales de explotación con esta técnica y destacó sus esfuerzos continuos para mitigar ataques de este tipo.

“La inyección de instrucciones es un desafío importante para toda la industria. Hemos desplegado múltiples capas de protección para prevenir respuestas perjudiciales o engañosas,” declaró un vocero de Google. “A través de ejercicios de red-teaming y fortalecimiento de nuestros modelos, buscamos mantenernos por delante de amenazas emergentes.”

Reflexiones para las organizaciones

Este incidente pone de manifiesto los riesgos emergentes relacionados con los asistentes de IA en herramientas empresariales. Aunque funciones como el resumen de correos ofrecen comodidad, también pueden ser aprovechadas por atacantes si no se aseguran correctamente.

En Nubetia, ayudamos a las organizaciones a anticiparse a las amenazas relacionadas con la IA mediante estrategias de ciberseguridad proactiva, cumplimiento normativo y desarrollo de software con enfoque en el riesgo. A medida que la inteligencia artificial se integra más en las operaciones diarias, la seguridad desde el diseño es más importante que nunca.

Mantente informado. Mantente protegido. Descubre más en nubetia.com.

Fuente: https://www.securityweek.com/google-gemini-tricked-into-showing-phishing-message-hidden-in-email/