La IA generativa: un nuevo vector de ataque?

 La IA generativa: un nuevo vector de ataque?

Mg. en Ing. Carlos Gerardo Said 


Los investigadores de ciberseguridad llevan tiempo advirtiendo que los programas de inteligencia artificial generativa (GenAI) son vulnerables a una gama de ataques, desde indicaciones especialmente diseñadas que pueden romper barreras de seguridad hasta filtraciones de datos que pueden revelar información confidencial.

Cuanto más profunda es la investigación, más expertos descubren hasta qué punto la GenAI es un riesgo abierto, especialmente para los usuarios empresariales con datos sensibles y valiosos.

Con la IA generativa mucha gente se apresura a utilizar esta tecnología y eluden los controles y métodos normales" de la informática segura.

Se puede pensar en la tecnología de IA generativa como un nuevo sistema operativo o un nuevo lenguaje de programación. Mucha gente no sabe cuáles son los pros y los contras, ni cómo usarlo correctamente, ni cómo asegurarlo correctamente.

El ejemplo reciente más notorio de cómo la IA genera preocupaciones de seguridad es la función Recall de Microsoft, que originalmente iba a integrarse en todas las PC Copilot+ nuevas.

Los investigadores de seguridad han demostrado que los atacantes que obtienen acceso a una PC con la función Recall pueden ver el historial completo de la interacción de un individuo con la PC, no muy diferente de lo que sucede cuando se coloca deliberadamente un  software espía en la máquina.

Han lanzado una función para el consumidor que básicamente es software espía integrado, que copia todo lo que estás haciendo en un archivo local no cifrado.

Microsoft dijo que desactivaría la función de forma predeterminada en las PC, convirtiéndola en una función opcional. Los investigadores de seguridad dijeron que todavía existían riesgos para la función.

Sin embargo, la amenaza es más amplia que una aplicación mal diseñada. El mismo problema de centralizar una gran cantidad de información valiosa existe con toda la tecnología de modelos de lenguaje grande (LLM).

Si entreno un volumen relevante de información confidencial, la coloco en un modelo de lenguaje grande (LLM) y luego hago que ese modelo de lenguaje grande sea directamente accesible para un usuario final, entonces se pueden usar ataques de inyección rápida donde se puede lograr que básicamente se pueda extraer toda la información confidencial. 

La falta de "controles de acceso basados ​​en roles" en los LLM son un pasos esencial a ser dado.. Los programas permiten a cualquiera acceder a la información de un LLM y descubrir datos confidenciales que hayan sido ingestados en el proceso de capacitación del modelo.


Los programas GenAI son "parte de una categoría más amplia que se podría llamar intrusiones sin malware", donde no es necesario que se invente software malicioso y se coloque en un sistema informático de destino.
Los expertos en ciberseguridad llaman a esto código sin malware. No estás incorporando nada externo, tan solo estás aprovechando lo que está integrado en el sistema operativo.
Un ejemplo común y similar es la inyección SQL, donde el lenguaje de consulta estructurado utilizado para consultar una base de datos SQL puede diseñarse con ciertas secuencias de caracteres para obligar a la base de datos a tomar medidas que normalmente estarían bloqueadas.

De manera similar, los LLM son en sí mismos bases de datos, ya que la función principal de un modelo es "una compresión de datos eficiente" que crea efectivamente un nuevo almacén de datos. 
Sin embargo, la tecnología de Gen AI no es algo que debamos abandonar. Tiene su valor si se puede utilizar con cuidado. 
Entre las técnicas para mitigar el riesgo se encuentran validar el mensaje de un usuario antes de acudir a un LLM y luego validar la respuesta antes de enviarla de vuelta al usuario.
No se debe permitir a los usuarios enviar mensajes que no hayan sido inspeccionados directamente, al LLM.

Por ejemplo, un LLM "desnudo" puede buscar directamente en una base de datos a la que tiene acceso a través de "RAG" o, generación de recuperación aumentada, una práctica cada vez más común de tomar el mensaje del usuario y compararlo con el contenido de la base de datos. Eso amplía la capacidad del LLM para revelar no solo información confidencial que ha sido recuperada por el LLM, sino también todo el repositorio de información confidencial en esas fuentes externas.

La clave es no permitir que el LLM desnudo acceda directamente a los almacenes de datos.
Aprovechemos la propiedad de los LLM donde el usuario puede hacer una pregunta abierta, y luego la usemos para decidir qué están tratando de hacer, y luego usamos tecnologías de programación más tradicionales para completar la consulta.

Se trata de extraer la respuesta a la pregunta,  a través de una llamada API en lugar de permitir que el LLM consulte la base de datos directamente.

La privacidad, la información de identificación personal, saber dónde se almacenan sus datos y cómo están protegidos: todos esos son aspectos por las que la gente debería preocuparse cuando construyen tecnología Gen AI y utilizan otros proveedores que utilizan esa tecnología.

Comments

Popular posts from this blog

IBM goes big to keep quantum computers cold

IBM - avances en mantener adecuadamente fríos computadores cuánticos.

Estructura multinivel de los sistemas de agentes de IA