Inteligencia Artificial Generativa y ciberseguridad
Mg. en Ing. Carlos Gerardo Said
Desde el lanzamiento de ChatGPT, han habido casos de uso especulativos relacionados a la IA generativa, y la comunidad de ciberseguridad está preocupada por una nueva herramienta potencialmente poderosa.
La IA generativa (GenAI) ha impactado la ciberseguridad, pero sus mayores impactos no se han sentido aún.
Considere la diferencia entre usar GenAI para la recuperación de información versus el uso para la detección de amenazas.
Cuando un analista de SOC (Security Operation Center) clasifica un posible incidente de seguridad, podría preguntarle a un chatbot GenAI qué significan ciertas marcas en el log de actividad. GenAI devolverá una respuesta a su pregunta; el analista deberá verificar la exactitud de la respuesta antes de actuar.
Por otro lado, si el analista le pide a ese mismo GenAI que interprete la actividad del log en su totalidad (determinar si la actividad de entrada fue benigna o maliciosa), la salida resultante podría no ser confiable, si no es capaz de comprender el contexto.
Los chatbots y LLMs de GenAI reciben entradas ('indicaciones' y preguntas del usuario-analista) que pueden estar divorciadas del entorno más amplio, lo que genera respuestas divorciadas de la situación real.
La contextualización, que los analistas humanos procesan y utilizan para analizar la actividad de amenazas potenciales, puede no estar presente en la consulta promedio realizada a GenAI. Los chatbots deberán preguntar a los usuarios (en el futuro, o considerar) ese contexto faltante.
La próxima generación de herramientas de ciberseguridad GenAI ya está en desarrollo, utilizando datos y vocabulario específicos de la industria para adaptar los resultados en función de casos de uso específicos de seguridad.
Los investigadores también están diseñando arquitecturas de base de conocimientos conocidas como "redes neuronales transformadoras" para potenciar decisiones autónomas, con el fin de resolver amenazas analizadas en contexto, sin la intervención de un analista externo.
GenAI no está haciendo nada que no hayan hecho antes ejecutores de amenazas experimentados. Pero están proporcionando capacidades más baratas a adversarios menos capacitados y acelerando los ciclos de ataque.
Mientras regiones como Estados Unidos y Europa están avanzando en sus respuestas regulatorias iniciales, como la Ley de IA, otras regiones se quedan atrás. NDebe surgir una comunidad global para abordar las amenazas impulsadas por GenAI.
Los ejecutores de amenazas siguen teniendo los mismos objetivos. Las estrategias de seguridad de defensa en profundidad con alertas y remediación basadas en heurísticas siguen siendo efectivas, incluso contra amenazas impulsadas por GenAI.
GenAI ha aumentado los riesgos de robo de identidad.
Imagine que alguien en su oficina de finanzas recibe una llamada "del director ejecutivo". El identificador de llamadas es correcto y la persona suena como su director ejecutivo.
Excepto que no es el CEO quien llama con nuevas instrucciones de pago; es un ataque de phishing, aumentado por la síntesis de GenAI de la voz del CEO basada en muestras de audio.
Existen herramientas de código abierto y datos públicos ampliamente disponibles para que los ejecutores de amenazas creen nuevas versiones de antiguas campañas de intrusión, como este falso intento de phishing del CEO.
Si observamos el panorama actual de GenAI, es difícil anticipar todos los posibles vectores de ataque nuevos o amplificados, pero podemos señalar áreas específicas de preocupación:
a. Antes de que su organización cree un LLM local y propietario, o intente personalizar una aplicación GenAI basada en la nube, primero debe establecer y hacer cumplir la llamada "higiene de los datos". Las organizaciones no pueden volcar un motor de bases de datos completo en un LLM y esperar que todo vaya bien, especialmente si manejan datos de otras organizaciones, clientes o usuarios.
b. La defensa de la cadena de suministro también se volvió más complicada. ¿Qué sucede si sus clientes o proveedores utilizan (o crean) LLMs? ¿Qué datos suyos se están incorporando a sus bases de conocimiento?
c. La validación de resultados sigue siendo clave para una integración eficaz del flujo de trabajo GenAI. ¿Quién controla los resultados de su GenAI?
Comments
Post a Comment