El boom de los Agentes AI y la crisis en la ciberseguridad - Jeetu Patel (mi transcripción al Español - presidente y director de producto de Cisco)
- Get link
- X
- Other Apps
Jason Hiner (00:01.582)
En este episodio, la reportera senior Sabrina Ortiz conversa con Jeetu Patel, presidente y director de producto de Cisco. Cisco se ha estado transformando para la era de la IA durante los últimos años, y ahora se está preparando para desempeñar un papel clave en ciberseguridad a medida que los agentes de IA se expanden por toda la empresa. Jeetu enfatizó que las herramientas actuales de programación con IA van a multiplicar los 150 millones de desarrolladores en GitHub hasta llegar a 3.000 millones de creadores de agentes en los próximos 6 a 12 meses.
Sin embargo, hay una enorme incógnita sobre lo que esta próxima ola de agentes de IA significará para la ciberseguridad. Jeetu advierte que los Estados nación y los actores maliciosos podrían desplegar miles de millones de agentes contra infraestructuras críticas, dejando indefensas a las compañías que no tengan un plan para agentes, mientras el viejo modelo de seguridad a escala humana rápidamente se vuelve obsoleto. Habla sobre cómo la seguridad puede convertirse en un acelerador en lugar de un limitador, y cómo las empresas pueden distinguir entre dar acceso a los agentes y darles un acceso confiable y gobernado.
También habla sobre su trayectoria en la industria tecnológica en Box y Cisco, y comparte sus mejores consejos para aprender sobre IA y liderar equipos en el nuevo mundo que está creando la IA. Así que aquí está nuestra conversación con Jeetu Patel, de Cisco.
Sabrina Ortiz (00:01.14)
Jeetu, llevas en este espacio desde mucho antes de que la IA explotara en popularidad. ¿Podrías contarle un poco a nuestra audiencia sobre ti, cómo llegaste a este cargo y qué haces en el ámbito de la IA?
Jeetu Patel (00:15.32)
Dirijo la organización de producto en Cisco. Llevo aquí unos seis años. Antes estuve en Box como director de producto. Y antes de eso estuve en EMC, donde desarrollé uno de sus primeros productos SaaS. Y antes de eso dirigía una especie de centro de pensamiento e investigación en Chicago. Mi primer producto de IA lo desarrollé en Box hace unos ocho años. Se llamaba Box Skills. Básicamente, toda la tesis era que, en algún momento, las máquinas iban a volverse lo suficientemente inteligentes como para trabajar realmente en nuestro nombre. Pero, sinceramente, hasta que aparecieron los Transformers y los modelos de lenguaje, el potencial no se había desbloqueado ni remotamente al grado que hoy vemos.
La primera adquisición que hice en Cisco cuando llegué, hace seis años, fue un producto llamado Babel Labs, basado en ingeniería de sonido y acústica, enfocado principalmente en eliminar ruido de una reunión de WebEx. Así, si tienes una cortadora de césped de fondo, o estás en un centro de contacto y hay mucho ruido de otras personas, el producto amplifica tu voz y suprime lo demás.
Cualquier ruido de fondo, licuadoras y todo eso; durante la COVID, cuando la gente trabajaba desde casa, había una gran necesidad de sonar profesional al otro lado. Ese fue el primer caso de uso que intentamos abordar en Cisco. Y desde entonces, el machine learning fue un área en la que habíamos invertido fuertemente, pero el verdadero desbloqueo ocurrió con el momento ChatGPT, como le pasó a todos. Recuerdo que en ese momento reorientamos toda la empresa para decir: vamos a apostar muy fuerte por la IA. Ya estábamos invirtiendo con mucha seriedad; habíamos gastado un par de miles de millones de dólares en IA incluso antes de eso, pero este fue uno de esos momentos decisivos que definieron a la compañía. Íbamos a proporcionar infraestructura para IA. Íbamos a proporcionar seguridad para IA.
Jeetu Patel (02:39.342)
Íbamos a proporcionar observabilidad para IA. Y cada uno de nuestros productos se construiría usando IA. Cada uno de nuestros productos se comercializaría usando IA. Eso se convirtió en una iniciativa de toda la compañía. Y creo que hasta ahora ha sido fantástico. Ahora bien, siento que estamos en la segunda gran fase de la IA. La primera fase fueron los chatbots que respondían inteligentemente nuestras preguntas. Creo que mi aprendizaje personal no habría sido ni remotamente tan efectivo cuando asumí el cargo de dirigir todos los productos en Cisco. Si la IA no hubiese estado ahí, no había ninguna posibilidad de que pudiera hacer mi trabajo al ritmo al que logré hacerlo gracias a la IA. Pero ahora que pasamos a la segunda fase de la IA, Sabrina, son los agentes los que van a ejecutar tareas y trabajos por nosotros de manera casi totalmente autónoma. Y estos agentes no son herramientas que simplemente…
Sabrina Ortiz (03:22.612)
¿Lindas?
Jeetu Patel (03:36.27)
…mejoren nuestra productividad. Estos agentes serán como compañeros de trabajo digitales que se incorporarán a nuestros equipos y a los que podremos delegarles trabajos y tareas enteras, diciendo: “ocúpate de esto y vuelve cuando hayas terminado”. Cualquier decisión que con el tiempo me sienta cómodo dejándote tomar, simplemente tómala y vuelve con el producto terminado. Y quizás haya unas pocas cosas que yo supervise. Y, por cierto, tú como agente, si sientes que necesitas mi opinión sobre algo, vuelve y pregúntame.
Todo ese modelo mental desbloquea por completo la productividad, porque podrás resolver problemas que antes nunca habrías podido resolver. Podrás manejar un volumen de trabajo que antes nunca habrías podido afrontar. Así que sí creo que es un momento muy especial en la industria, pero también es un momento en el que estos agentes podrían desviarse. Los agentes podrían ser manipulados por el mundo externo de los atacantes.
Y, antes de darte cuenta, podrían ocurrir consecuencias no deseadas. Por eso tenemos que ser muy, muy cuidadosos en cómo garantizamos la seguridad y la protección de estos agentes también.
Sabrina Ortiz (04:40.724)
Sí, me gustaría profundizar en ese giro que mencionaste que hizo Cisco. Porque, como yo lo veo, Cisco ahora tiene un rol realmente fundamental para asegurar que las personas y las empresas entiendan cómo emplear casos de uso, aplicaciones y herramientas de IA de una manera que sea segura y protegida para ellos. Pero, ¿cómo encontró Cisco ese nicho tan necesario dentro del ecosistema completo de la IA?
Jeetu Patel (05:11.63)
Mira, somos una empresa de infraestructura. Lo que ocurrió fue que, si das un paso atrás y te preguntas cuáles se convirtieron en los principales impedimentos para la IA, esa es la forma de pensarlo. Si asumes que, muy poco después de que se lanzó ChatGPT y hubo un nivel de proliferación de personas en el mundo que comenzaron a usarlo, no había duda en la mente de la gente de que esta arquitectura Transformer y los modelos de lenguaje, y la capacidad de conversar con una máquina en lenguaje humano y recibir una respuesta en forma natural, tenían un enorme poder. Pero lo que realmente teníamos que pensar era qué papel queríamos desempeñar en esto. Y la realidad es que hay que mirar las restricciones. La primera restricción…
…es la infraestructura. Simplemente no tenemos suficiente capacidad de cómputo, energía —y cuando digo energía, me refiero a electricidad real— y ancho de banda de red para satisfacer las necesidades de la IA. Creo que hemos subestimado enormemente esto. Yo estimo que ahora mismo, a nivel global, podría haber una expansión de centros de datos de unos 5 billones de dólares. Creo que, si miras un horizonte de siete a diez años, estamos subestimando gravemente la magnitud de la expansión que se va a necesitar solo para cubrir las necesidades de la IA. Esa es la primera restricción: infraestructura.
La segunda gran restricción es la confianza. Si no confías en estos sistemas, no los vas a usar. Entonces, la seguridad, la protección y asegurarse de que estos sistemas no deterministas funcionen de una forma que no nos sorprenda en formas indeseables es superimportante. Y por eso, esta noción de delegación de trabajo a agentes frente a delegación confiable de trabajo a agentes. Esa diferencia entre delegación simple y delegación confiable es equivalente a la diferencia entre ir a la quiebra o ser un líder del mercado. Va a ser así de marcada. Entonces, esa es la segunda gran área: esta noción de confianza. Hay un déficit de confianza. Tenemos que cerrar ese déficit.
Y la tercera área es una brecha de contexto.
Jeetu Patel (07:33.56)
Y lo que quiero decir con brecha de contexto es que, cuando tú y yo interactuamos con el mundo diariamente, cuanto más viejos y más sabios nos volvemos, lo que adquirimos es mucho contexto del mundo y comprensión a través de la audición, el lenguaje, el tacto sensorial y el olfato. Todo ese contexto nos permite operar de manera muy eficiente como humanos. Los agentes necesitan ese mismo enriquecimiento contextual.
Y si no les das el contexto correcto, eso no significa que no vayan a tomar decisiones; simplemente tomarán decisiones de manera desinformada. Por lo tanto, tenemos que crear el mecanismo para enriquecer el contexto de los agentes, de modo que podamos asegurarnos de que tengan todo el contexto necesario para tomar decisiones de la mejor manera posible y en interés de los humanos. Esas son, entonces, las tres grandes restricciones. Y Cisco decidió desde temprano: tenemos que participar en las tres.
Porque resulta que contamos con tecnología subyacente para las tres. Y, esencialmente, lo que hemos hecho es desarrollar redes de alto rendimiento, baja latencia y eficiencia energética dentro del centro de datos, donde se conectan las GPU, y también entre centros de datos separados por cientos de kilómetros. Hemos construido una infraestructura de seguridad y protección.
Y hemos construido esta especie de plataforma de datos donde se puede enriquecer el contexto de los agentes, especialmente con datos de máquinas. Y si podemos hacer eso, entonces realmente desbloqueamos algunas de las restricciones. Así es como les pido a los clientes que piensen en Cisco: piensen en nosotros como infraestructura crítica para la era de la IA. Somos como la empresa de picos y palas durante la fiebre del oro: proporcionamos las herramientas necesarias para que la gente pueda sacar el máximo provecho de sus esfuerzos en IA.
Sabrina Ortiz (09:28.426)
Me gusta mucho esa analogía, porque realmente ayuda a pintar una imagen de lo que Cisco está haciendo actualmente. Creo que otro buen ejemplo es el LLM Security Leaderboard que acaban de lanzar, porque realmente aborda, otra vez, el problema de la confianza. Y es menos una herramienta de esas que la gente imagina como algo de back-end o poco tangible. Esto es algo a lo que cualquiera puede acceder fácilmente, mirar y entender cómo están rindiendo sus modelos favoritos. ¿Eso también es parte de su idea de hacer que estos grandes problemas sean más accesibles para todos?
Jeetu Patel (10:09.816)
Sí, creo que es muy importante tener en cuenta que estos agentes se están moviendo a gran velocidad. Tienden a comportarse de manera no determinista. Y los modelos sobre los que se construyen esos agentes también tienden a ser no deterministas, lo que significa que, si haces la misma pregunta dos veces, podrías obtener una respuesta diferente. Y cuando estás construyendo sistemas predecibles para grandes empresas sobre una plataforma no determinista, tienes que asegurarte de validar el modelo, de tener visibilidad sobre qué está enriqueciendo realmente ese modelo desde el punto de vista del entrenamiento, validarlo, y luego proporcionar barandillas de control en tiempo de ejecución cuando esa validación no parece ir por donde tú quieres que vaya. Eso debe hacerse a nivel del modelo y también a nivel del agente.
Y lo que hemos hecho con esta herramienta de ranking de LLM es simplemente poder decir: estos son todos los modelos. Y cuando ejecutamos nuestro ejercicio algorítmico de red teaming sobre ellos, así fue como se comportaron. ¿Cuál fue la tasa de éxito del ataque? ¿Cuántas veces pudimos hacer jailbreak al modelo? ¿Qué pudimos lograr con eso? ¿Podíamos luego implementar barandillas dinámicas en tiempo de ejecución para impedir que el modelo se descontrolara? Porque lo que tienes que hacer es proteger a estos agentes del mundo…
…que intenta manipular al modelo de cierta manera, influyéndolo, alimentándolo con ciertos datos, igual que harías con un niño de dos años. Si a un niño de dos años lo pones frente a dos tipos de personas completamente distintas, una muy amable y buena, y otra que no lo es, verías niveles muy distintos de influencia sobre ese niño. Lo mismo hay que hacer con los agentes y asegurarse de que estos agentes son como adolescentes.
No tienen un sentido claro de lo correcto y lo incorrecto. Tienes que asegurarte de darles esa guía. Así que tienes que proteger al agente del mundo. Tienes que proteger al mundo de los agentes cuando se descontrolan. Y además, tienes que contar con algún mecanismo que asuma que estos agentes van a ser utilizados por actores maliciosos y adversarios para hacernos daño. Y cuando eso ocurra, necesitamos defensas a escala de máquina, y necesitamos que la detección, la investigación, la respuesta y la remediación de esas brechas…
Jeetu Patel (12:34.53)
…que puedan ocurrir a través de un agente, sean respondidas también a escala de máquina. Todas esas son dinámicas importantes a tener en cuenta. Y, respecto de lo que decías sobre el LLM Leaderboard, el objetivo es que cuando compartimos con los clientes que necesitan asegurar la IA misma, la primera pregunta que nos hacen es: “Muéstrame qué tan bien funciona”. Bueno, aquí lo tienes. Aquí hay un ranking. Te muestra lo que tienes. Y además ofrecemos una herramienta exploratoria gratuita que dice: “adelante, pruébala y mira qué te devuelve”. Así al menos obtienes una idea, en lugar de simplemente ver una presentación en PowerPoint.
Sabrina Ortiz (13:13.802)
Sí, eso también es súper útil, porque creo que la gente suele depender de las model cards, las system cards o de lo que las compañías publican sobre sus propios modelos. Y claramente ahí hay un sesgo inherente, ¿no? Incluso si ellos mismos ejecutan los benchmarks, siempre habrá cosas que quizá omitan y que este ranking o, en general, las evaluaciones de terceros pueden hacer mejor. ¿Cómo lo explicarías?
Jeetu Patel (13:40.61)
En realidad, ni siquiera creo que se trate de un sesgo de los proveedores de modelos. Lo que ocurre es que un proveedor de modelos será muy bueno protegiendo su propio modelo. Pero vivimos en un mundo multimodelo. Vas a tener muchísimos modelos distintos, con distintos grados de énfasis en la seguridad. Y quieres tener la flexibilidad, como empresa, para poder usar una multitud de esos modelos, porque una de las cosas que hemos aprendido en los últimos tres años…
…es que quien creías que iba a ser líder y quien termina siéndolo la semana siguiente tienden a ser cosas muy distintas. Todos se están adelantando unos a otros cada semana. Así que lo que quieres es tener una base común de seguridad que funcione en todos los modelos, todos los agentes, todas las aplicaciones y todas las nubes. Y eso requiere una parte neutral que pueda hacerlo. Y queremos hacerlo para modelos de código abierto y de código cerrado. Queremos hacerlo para modelos que te muestren procedencia, que te digan qué modelos estás usando. ¿Fue destilado de otro modelo? Si fue destilado de otro modelo que venía de China, ¿eso es una preocupación para tu organización? ¿Viola alguna política tuya?
Y si ese es el caso, entonces contar con esa procedencia en el modelo es bastante importante. Así que hay toda una infraestructura que debe construirse para proporcionar un nivel de comodidad y herramientas al CISO, al CIO y al desarrollador, de modo que, cuando usen IA para construir, porque hoy tenemos 150 millones de desarrolladores en GitHub en el mundo, pero vamos a tener probablemente 3.000 millones de personas construyendo agentes en los próximos 6 a 12 meses, podamos asegurarnos de que esos 3.000 millones de constructores estén construyendo esto de manera segura. Eso es lo que proporcionamos en la infraestructura subyacente.
Sabrina Ortiz (15:39.504)
Acabas de publicar un artículo sobre reimaginar la fuerza laboral de la IA o la fuerza laboral agéntica. Y me pareció muy interesante porque, si realmente lo piensas, es como un equipo de personas, excepto que esta vez son agentes que actúan de manera autónoma pero que no tienen el mismo pensamiento, procesamiento o razonamiento que los humanos, ¿verdad? Así que sus acciones pueden ser un poco menos predecibles o requerir más barandillas alrededor. ¿Cuáles son algunas de las cosas más importantes que estás viendo y con qué urgencia la gente debería estar reimaginando cómo usa estas herramientas y cómo interactúa con la IA?
Jeetu Patel (16:19.534)
Lo primero es entender qué constituye un agente. Cuando decimos que estamos en el mundo de los agentes, ¿qué es un agente? Un agente es una pieza de software que se comporta como un compañero de trabajo digital, que puede actuar de manera autónoma, pensar, razonar y realizar tareas y trabajos por completo si es necesario.
Y, lo más importante, va a tener acceso a tus herramientas y sistemas. Si no le das a un agente acceso a tus herramientas y sistemas, en realidad no es del todo un agente. Tienes que darle acceso a algo sobre lo que pueda actuar en tu nombre. Si esa es la definición de un agente, entonces es extremadamente importante que digamos: si los agentes van a hacer ese tipo de cosas, tenemos que asegurarnos de que…
Pensemos en el nivel de madurez de esos agentes. Bueno, en este momento, en la historia de la evolución de los agentes, realmente son como adolescentes, lo que significa que tengo una hija de 15 años y ella es supremamente inteligente. Cree, de hecho, que ya entendió el mundo, lo cual en algunos sentidos es genial. Pero no tiene miedo a las consecuencias.
Y su comprensión de lo correcto y lo incorrecto es algo que nosotros, como padres, hemos tenido que encargarnos de inculcarle, de forma que cuando hace algo bien se lo reforzamos, y cuando hace algo mal también reforzamos por qué está mal. Así son los agentes. Toman las cosas de manera muy literal y pueden realizar tareas y acciones…
…sin miedo a las consecuencias, y a veces sin posibilidad de deshacer lo que hicieron, porque si les das acceso a tu cuenta bancaria, podrían cargarte 40.000 dólares y gastarlos, y ya no tendrías forma de revertirlo. Entonces, lo que tienes que hacer es construir un conjunto de barandillas para decir: ¿cómo se está comportando este agente? ¿Cómo podemos detectar cuándo hay una deriva en su comportamiento?
Jeetu Patel (18:41.28)
Y antes de que ese agente empiece a hacer algo dañino, ¿puedes interceptarlo? Eso es lo que tiene que ocurrir con estos agentes. Y eso es, en mi opinión, la parte complicada: en el transcurso de los próximos años habrá miles de millones y billones de estos agentes. Por cada humano, podrías tener entre 100 y 1.000 agentes. Estos agentes trabajan las 24 horas del día, los 7 días de la semana. Y, básicamente, el trabajo de los humanos será mantener a esos agentes trabajando en nuestro nombre…
…todo el tiempo. No necesitan irse a casa, no necesitan pasar tiempo con su familia, no se cansan, no se enferman: simplemente trabajan. Y cuanto más los mantengamos trabajando, mejor nos irá. Pero, para mantenerlos trabajando, tenemos que asegurarnos de que lo hagan dentro de un conjunto de límites y barandillas.
Sabrina Ortiz (19:25.652)
Acabamos de reconocer el riesgo inherente de tener agentes, ¿verdad? Están accediendo a lo mismo a lo que tú accederías para poder hacer el trabajo por ti. ¿Qué aconsejas a los clientes o líderes empresariales que, por esa misma razón, no quieren darles acceso a sus datos, pero al mismo tiempo no están viendo resultados ni retorno de inversión en sus inversiones en IA?
Jeetu Patel (19:47.406)
Hemos hablado mucho de los riesgos. Hablemos ahora de la dinámica de lo que está ocurriendo, porque creo que solo va a haber dos tipos de compañías en el mundo: compañías que sean muy diestras en el uso de la IA y compañías que realmente van a luchar por seguir siendo relevantes. Y déjame decirte por qué. Creo que, si piensas en los tipos de personas que tienes dentro de tu organización, las personas que dominan la IA frente a las que no tienen fluidez en IA, la diferencia de productividad no será del 20 %.
Va a ser como 50 veces, 100 veces; es decir, uno o dos órdenes de magnitud por persona. Imagina, Sabrina, que pudieras hacer lo que haces ahora, pero cien veces más en la misma ventana de tiempo porque tienes fluidez con la IA, o cincuenta veces más. Se vuelve muy difícil justificar la contratación de alguien que no es tan bueno como tú usando IA. Así que creo que va a haber una enorme escasez de personas con fluidez en IA y un tremendo excedente de personas que no la tengan. Y nuestro trabajo como sociedad es asegurarnos de poder tomar a ese grupo que no tiene fluidez en IA y reentrenarlo, recapacitarlo y actualizarlo para un mundo basado en IA…
…posterior a los agentes. Y creo que esa es una dinámica muy importante a tener en cuenta. Entonces, ¿qué significa eso? Significa que, en un extremo, el gran potencial es que realmente podríamos curar el cáncer, y no solo el cáncer: podríamos curar cualquier enfermedad. No solo podríamos crear una clase media creciente: podríamos erradicar la pobreza.
No solo lograríamos que la gente tenga un nivel básico de destreza en habilidades, sino que podríamos hacer que cualquiera sea tan inteligente como un estudiante de doctorado, porque la educación se distribuiría de manera uniforme por todas partes. Eso tiene un impacto profundo en la sociedad. Pero para que ese impacto se haga realidad, tienes que asegurarte de que existan las barandillas necesarias. Pero si no haces eso, si decides: “¿sabes qué? Voy a esperar, no le voy a dar acceso, me voy a quedar al margen un tiempo”…
Jeetu Patel (22:04.844)
…vas a perder toda la oportunidad que los demás sí van a capitalizar, y te vas a quedar atrás. Y la diferencia entre ser de los primeros y estar en el medio, en términos de velocidad, va a ser la diferencia entre un ganador y un perdedor. Operar con velocidad extrema durante largos períodos, y tratar de ser tempranos en llegar al mercado como hábito, va a ser una de las mayores ventajas estratégicas y culturales que puedas imaginar. Entonces, al pensar en tu organización, por un lado tienes que alentarla e incluso exigirle que se mueva muy rápido. Y por otro lado, esa velocidad no puede comprometer la seguridad.
Tienes que tener ambas cosas. Y tampoco puede comprometerse la protección, ni la gobernanza, ni la confianza, ni la privacidad. Así que todo eso tiene que pensarse también. Y creo que es una dimensión muy importante mantener ambas piezas en mente.
Sabrina Ortiz (23:08.296)
Esto me recuerda algo que dijiste en tu última publicación y que me llamó mucho la atención: “la seguridad como acelerador”. Me encantaría escuchar más sobre esa idea. Me parece un concepto fascinante porque, especialmente en Silicon Valley, existe mucho la filosofía de “moverse rápido y romper cosas”. Pero “la seguridad como acelerador” parece casi lo opuesto exacto. Me gustaría escuchar más.
Jeetu Patel (23:30.938)
Durante los últimos 30 años más o menos, la seguridad ha sido vista como un limitador, una especie de gobernador que había que implementar. Como diciendo: ¿quieres ser productivo o, como alternativa, quieres ser seguro? Ese siempre fue el equilibrio que tuvimos que hacer. Esta es la primera vez en que la protección y la seguridad son casi un requisito previo para la adopción.
Y un requisito previo para acelerar la adopción de la IA. Porque si no confías en un sistema, ¿le vas a dar tu número de cuenta bancaria? No. Si no confías en un sistema, ¿le vas a dar información personal para que haga algo por ti? No, no lo vas a hacer. Pero si confías en el sistema y sientes que hay suficientes barandillas, entonces sí lo harás. Igual que hacemos con tantas otras cosas, donde estamos dispuestos a dar nuestra información personal cuando abrimos una cuenta bancaria. ¿Por qué? Porque confiamos en esa institución. Imagina que no confiaras en esa institución, ¿le darías todo tu dinero?
La base del funcionamiento de la sociedad está construida sobre la confianza. Yo confío en un banco para decirle a mi empresa que le pague al banco en lugar de pagarme directamente a mí, y sé que voy a tener acceso a mi cuenta. Así he vivido mi vida: hay una institución en el medio que actúa como custodio intermediario.
Y cobra una comisión por eso, ya sea en forma de flotación o de todas las cosas que hace un banco. Pero establecer esa confianza con esa entidad, por parte del consumidor y de las personas, fue superimportante. La IA va a ser igual: la confianza será un requisito previo situado entre la IA y yo. Si no tengo confianza, no voy a usar IA. Si tengo confianza, sí la voy a usar. Y siento que esa es una forma…
Jeetu Patel (25:41.62)
…fundamentalmente distinta de cómo ha estado operando el mercado de la ciberseguridad durante los últimos 30 años. Y creo que es un requisito previo para el éxito. Es un requisito previo para la adopción.
Sabrina Ortiz (25:41.62)
Pregunta difícil, porque parece casi una profecía autocumplida. Alguien confiará en un modelo, lo cual es necesario para que le vaya bien, pero luego aparecerá un caso viral, por ejemplo, de OpenClaw cuando la bandeja de entrada de una persona fue completamente borrada o enviada a la papelera. Sí, exactamente. Entonces hay pérdida de confianza, la gente retrocede, ya no usa la herramienta a todo su potencial. Luego otra persona sí la usará y otra vez fallará, y otra vez…
Jeetu Patel (25:57.806)
…la borró completamente…
Sabrina Ortiz (26:09.82)
…es como una profecía autocumplida. Sí, ¿qué recomiendas en ese caso?
Jeetu Patel (26:14.936)
Creo que esa es la razón central por la cual empresas como Cisco existen: porque el hecho de que le hayas dado al agente el derecho de borrar un correo no significa que deba borrar 10.000 correos. Y si comienza a borrar 10.000 correos, sabes que algo está mal. Y antes de que empiece a desviarse hacia ese comportamiento, tu sistema tiene que ser lo bastante inteligente como para detectar que eso es anómalo respecto de lo que está intentando hacer. Y voy a interceptarlo.
Y cuanto más maduremos en el frente de seguridad, protección y confianza, menos ocurrirán ese tipo de cosas, porque son inaceptables. Hoy, ¿qué pasa cuando un agente hace algo mal? Digamos que el agente debitó 40.000 dólares de tu cuenta bancaria. Di este ejemplo en mi keynote de RSA recientemente. Y es como si tú depositaras tu confianza y le dijeras al agente: “Oye, organízame un retiro de equipo en Napa, encárgate de todo”.
El agente se pone a trabajar, empieza a buscar hoteles, reservas, disponibilidad, lugares, comida que la gente necesita, y todo eso. Y una vez que sale e investiga, empieza a tomar decisiones y dice: “voy a reservar un hotel, voy a asegurarme de reservar un auto, voy a asegurarme de reservar un vuelo para la persona”, y así sucesivamente.
A medida que eso ocurre, podría decidir: “bien, y voy a pagar 40.000 dólares por esta cosa que quería hacer”. Y eso no fue algo para lo que tú le hubieras dado permiso explícito. Entonces te das cuenta: “Dios mío, algo salió mal. ¿Qué demonios pasó?”. ¿Y qué hace el agente? “Lo siento mucho. Tomo nota. Lo tendré en cuenta para la próxima”. Bueno, pero tú sigues habiendo perdido 40.000 dólares.
Esas son acciones irreversibles. Por eso tienes que asegurarte de que existan sistemas que, después del inicio de sesión y después de otorgar permiso, sigan evaluando si hay racionalidad en el comportamiento. Y si ese comportamiento no está dentro de lo aceptable, entonces sepas interceptarlo. También tienes que saber cuándo es un agente trabajando en tu nombre…
Jeetu Patel (28:42.818)
…frente a cuándo eres tú trabajando por tu cuenta. Porque tanto tú como el agente van a usar tu computadora, por ejemplo. Y si el agente usa la computadora, va a fingir ser tú y usará el navegador. Bueno, tenemos que asegurarnos de que la identidad de los agentes sea distinta de la identidad de las personas. Pero que, al mismo tiempo, haya una persona asociada a cada agente, a la que ese agente deba rendir cuentas. Todos esos son aspectos que hay que pensar.
Sabrina Ortiz (29:10.91)
Tengo curiosidad por saber qué piensas de todas estas soluciones que actualmente se ofrecen a las empresas para detectar este tipo de acciones y que también usan IA, esencialmente IA buena detectando IA mala. Hay todo tipo de ellas, ya sea frente a verdaderos actores maliciosos o simplemente frente a un agente que se descarrila. ¿Cómo podemos confiar en la IA buena para que realmente ejecute correctamente la acción necesaria?
Especialmente cuando, técnicamente, la estamos empleando justamente porque no necesariamente confiamos en que la IA siempre vaya a acertar en todo.
Jeetu Patel (29:45.806)
La pregunta no es cómo confiar en la IA. Tenemos que encontrar mecanismos para confiar en la IA. La pregunta más pertinente que hay que hacerse es: si no uso IA, ¿hay alguna posibilidad de que pueda combatir un ataque adversarial en mi terreno que pueda causar mucho daño? Imagina que los Estados nación…
…podrían emplear agentes y decir: “vayan y derriben infraestructura crítica en una determinada empresa o en un país. Ataquen todas las redes eléctricas, todos los hospitales, coordinen ese ataque. Y voy a desplegar mil millones de agentes para hacerlo”. Si yo no tengo un mecanismo para combatir ese ataque a escala de máquina, entonces simplemente voy a caer de rodillas. Y se vuelve algo muy difícil…
…de resolver a menos que tengas una postura defensiva equivalente, también a escala de máquina, igual que tienes una postura de ataque que inevitablemente va a ocurrir a escala de máquina. Porque no hay ninguna razón para que los malos actores no utilicen las mismas tecnologías que nosotros. Todos tienen acceso a ellas y van a seguir usándolas. Y cuando las usen…
…tenemos que asegurarnos de tener una capacidad de respuesta acorde para poder adaptarnos.
Sabrina Ortiz (31:17.834)
Entonces es como…
Jeetu Patel (31:18.058)
Y eso, para mí, es uno de los temas centrales de esta década que hay que resolver: cómo asegurarnos de que estos agentes se mantengan seguros, se mantengan protegidos, y que la superficie de ataque, que ahora se ha abierto de forma bastante material, pueda ser defendida a escala de máquina y no a escala humana.
Sabrina Ortiz (31:46.086)
Correcto, así que estamos viendo el mismo juego del gato y el ratón que ha sido tan antiguo como la propia ciberseguridad, solo que ahora la velocidad de la IA hace que todo se mueva mucho más, sí, exactamente, exponencialmente más rápido. Entonces, ¿cómo encuentran la forma de mantenerse todos los días por delante y ofrecer a sus clientes la protección más avanzada, cuando absolutamente todo cambia cada día?
Jeetu Patel (32:17.922)
Sí, creo que ese es un punto muy importante. Primero, como dije antes, no hay ninguna posibilidad de hacerlo sin una respuesta a escala de máquina. Entonces, ¿cómo sería eso? ¿Cómo se cambia eso? Pongamos un ejemplo muy concreto. Existe un centro de operaciones de seguridad, lo que llaman un SOC, que normalmente tendría analistas observando todas las brechas…
…y amenazas que ocurren, revisando todos los incidentes y diciendo: “¿qué puedo hacer desde el punto de vista de la investigación de amenazas para investigar un incidente que ocurrió y asegurarme de poder abordarlo, responder y remediarlo?”. Entonces, lo que suele pasar es que tienes toda esa señal entrando en forma de alertas. Ahora bien, ¿cuál ha sido históricamente el problema del SOC clásico? La fatiga de alertas.
Miles de alertas entrando, miles de cosas que podrían estar mal. Y, como humano, quizás tengas, pongamos que la empresa es generosa, 20 ingenieros SOC, que ya son muchos. Y estos ingenieros no trabajan como los demás: trabajan, digamos, 15 horas al día. Son muchísimas horas dedicadas a rastrear todo esto. Y es 24/7, pero aun así, la mayoría de las organizaciones solo puede parchear el 20 % de las vulnerabilidades expuestas. El 80 % de las vulnerabilidades que se identifican, anuncian y exponen públicamente nunca se solucionan. ¿Por qué? Porque simplemente no hay suficientes recursos. Cada año quedan sin cubrir 4 millones de puestos de trabajo en ciberseguridad. Simplemente no hay suficiente personal calificado para parchear cada vulnerabilidad identificada. Ahora viene el punto clave. Mientras todo eso ocurre, imagina que…
…ese atacante, el adversario, el actor de amenaza, dijera: “¿sabes qué? Acabo de conseguir financiación. Voy a desplegar mil millones de agentes para hacer lo que ya estaba haciendo”.
Jeetu Patel (34:21.806)
Dios mío, ahora tienes mil millones de agentes haciendo eso. Entonces, lo que antes era: “ignoro el 80 % de mis alertas y solo abordo el 20 % de mis vulnerabilidades”, ahora podré hacer incluso menos que eso, porque el volumen se multiplicó materialmente en mil millones de veces. Y entonces, como defensor, lo que tienes que decir es: la única manera de responder a esto es a escala de máquina.
No hay otra manera de responder. Y, si respondo a escala de máquina, necesito asegurarme de que tengo una respuesta proporcional a la escala de los ataques que estoy recibiendo. Y creo que eso es… Entonces, en lugar de tener un SOC, un centro de operaciones de seguridad, ahora tendrás que tener un SOC agéntico.
Porque, en ausencia de un SOC agéntico, no vas a poder responder a las amenazas. Eso es lo que quiero decir con escala de máquina. Sí siento que este cambio transforma fundamentalmente la arquitectura de la seguridad. Un sistema sin agentes no será un sistema eficiente ni efectivo de aquí en adelante frente a un ataque a escala de agentes. Eso no significa que los humanos desaparezcan.
Significa que los humanos, por sí solos, serán totalmente insuficientes en cantidad y en capacidad intelectual para poder hacer lo que necesitan hacer. Entonces tienen que emplear agentes y delegar trabajo a esos agentes. Ahora, ¿cómo haces para que esos agentes se mantengan seguros? Los especializas, como el SEAL Team 6, en algo que van a hacer extremadamente bien.
Los enriqueces con datos y contexto, y les das un mecanismo y un mandato para decir: no se ignorará ninguna alerta. Ninguna señal debe ignorarse. Debes investigar cada una de ellas. Y finalmente estamos llegando al punto en que puedes estar en un mundo donde ya no solo determinas estadísticamente la probabilidad de que un ataque sea peligroso. Puedes realmente mirar todos los ataques.
Sabrina Ortiz (36:43.124)
También hiciste un punto muy interesante: no se trata de reemplazar a las personas actuales que tienen conocimiento del negocio, conocimiento de los ataques, conocimiento de cómo funciona internamente la organización y todo ese contexto que quizá una IA no podría tener tan fácilmente. Esas personas simplemente van a expandir sus capacidades con estos agentes. Cuando vemos titulares sobre los empleos que la IA está reemplazando…
…normalmente los que se mencionan son roles como programación, ciberseguridad, informática o cualquier cosa del lado más técnico, porque la lógica es que puedes simplemente descargarlo en la IA. Pero, según lo que acabas de decir, eso en realidad sería un perjuicio para la organización. La mentalidad correcta sería más bien: ¿cómo podemos aumentar las capacidades de nuestros trabajadores actuales con IA?
Jeetu Patel (37:33.75)
Sí, de hecho creo que lo que va a ocurrir aquí, y esta es una línea de conversación muy activa, es: ¿van a dejar de ser necesarias las personas o vamos a tener cuellos de botella humanos? Y siento que habrá dos clases de situaciones. Para aquellas personas que tienen experiencia de dominio en un área concreta y además fluidez en IA…
…literalmente creo que estarán diez veces más demandadas de lo que jamás han estado en sus vidas. Si alguien es un analista de seguridad y tiene fluidez en IA, es invaluable para una empresa. Las personas que no tienen fluidez en IA y solo tienen conocimiento del dominio van a sufrir, porque no podrán operar a la velocidad de quienes sí combinan ambas cosas. Esa diferencia va a ser, realmente, la diferencia…
…entre el éxito y el fracaso. Entonces, ¿qué significa eso? Significa que cada persona, en prácticamente cualquier ámbito de la vida, necesita empezar a pensar en adquirir fluidez en IA, porque ese es el boleto para seguir siendo relevante en la sociedad. Hasta ahora, la relevancia en la sociedad se obtenía adquiriendo una habilidad…
…y teniendo intelecto sobre ciertas cosas. La inteligencia ahora está comoditizada. Todos pueden tenerla. El hecho de que esté uniformemente disponible no significa que esté uniformemente distribuida en el uso. Aún tienes que encontrar la manera de utilizar esa inteligencia en tu beneficio. Y eso solo ocurre cuando realmente empiezas a pensar esto desde la perspectiva de…
…voy a aprender estas tecnologías. Voy a asegurarme de usarlas diariamente. Voy a depender de ellas para hacer mi trabajo. No al revés. Siempre digo que hay niveles de madurez. El primer nivel de madurez es cuando la gente piensa: “Dios mío, la IA me va a quitar el trabajo”. El segundo nivel es cuando dicen: “Mmm, quizá la IA no me quite el trabajo, pero sí me lo quitará alguien que use la IA mejor que yo”. Y luego el tercer nivel de madurez es cuando dicen: “Acabo de darme cuenta de que no puedo hacer mi trabajo sin IA”.
Jeetu Patel (39:56.278)
Voy a tener que usar IA para hacer mi trabajo. Y luego está el cuarto nivel de madurez, que está emergiendo: “Soy tan bueno usando IA para hacer mi trabajo, y tan rápido, que soy mejor que cualquier otra persona del mundo haciéndolo; mi capacidad de producción empequeñece la de los demás”. Esas personas van a ser la élite. Y eso no importa en qué campo estés.
Puedes hacer eso en el podcasting, Sabrina. Puedes decir: “voy a usar IA para la manera en que promuevo mi podcast, la manera en que lo edito, la manera en que hablo de él, lo resumo y extraigo ideas”. Va a ser completamente diferente porque voy a usar IA. Tu podcast será mejor que el de alguien que diga: “¿sabes qué? No voy a usar ninguna de esas tecnologías”.
Sabrina Ortiz (40:41.652)
¿Podrías definir qué significa para ti la fluidez en IA? Porque creo que cada día el término alfabetización en IA o fluidez en IA significa algo diferente. Hace tres años habría sido saber cómo escribir un prompt en ChatGPT. Los prompt engineers estaban de moda entonces. Pero desde entonces todos somos una especie de mini expertos en IA, al menos en una escala muy pequeña. Entonces, ¿qué significa hoy la fluidez en IA para ti?
Jeetu Patel (41:09.026)
Varias cosas. Primero, la definición va a seguir cambiando. Pero, ¿cuáles son las constantes? La primera constante es mantenerse al día con los avances en IA y con lo que está ocurriendo en el mercado, entenderlo profundamente y dedicar tiempo a investigarlo, comprenderlo y mantenerse al tanto. Ese es un superpoder que no se puede exagerar. Yo dedico unas tres horas al día, Sabrina, de mi tiempo…
…solo a mantenerme al tanto de lo que está pasando en el mercado. Normalmente es entre las nueve de la noche y la medianoche, pero suelo dedicar mucho tiempo durante ese período. La segunda cosa es que tienes que estar abierto a la experimentación. Entonces, cualquier herramienta o técnica de la que hayas oído hablar, no dudes ni temas usarla tú mismo, solo para obtener una sensación y un instinto sobre ella, entender la textura de ese sistema y la textura y naturaleza de la forma en que se van a resolver los problemas. Y si haces eso bien, habrá muchísimo beneficio para ti como persona porque habrás creado una asimetría enorme en tus habilidades respecto de alguien más, que con el tiempo solo se amplía, no se reduce. Y encuentro que…
…las personas extremadamente curiosas sobre la IA no solo son buenas, sino que su ritmo de crecimiento es tan rápido que serán mejores mañana, mejores pasado mañana y mejores el día siguiente. Así que, si siguen mejorando tanto, y tú te quedas quieto, por definición no te estás quedando quieto: estás empeorando cada día en que no avanzas y no la usas. Tienes que experimentar con ella, mantenerte actualizado y hacerlo durante largos períodos de tiempo.
Porque el poder del interés compuesto no aparece con un solo día de aprendizaje. Aparece cuando se convierte en hábito. Es como ir al gimnasio. Tienes que mantenerte al día. Solo que lleva un poco más que una rutina de 35 minutos.
Sabrina Ortiz (43:17.684)
Sí, y creo que también haces un buen punto: incluso si desconfías de la IA o no te gusta la tecnología y no quieres involucrarte, la mejor forma de adelantarte a ella o de inmunizarte frente a ella sería entenderla, ¿correcto?
Jeetu Patel (43:33.262)
Sí, absolutamente. Pero además, estas cosas están cambiando tan rápido que el hecho de que hoy no funcione de cierta forma no significa que en dos meses no vaya a funcionar. Lo que le digo a mi equipo, porque cuando empezamos a aprender a programar con IA tuve mucha resistencia del equipo: “Jeetu, realmente no funciona así. Tienes que ser realista con las expectativas. Va a llevar años antes de que ocurra”. Y de repente hubo un momento de desbloqueo…
…recientemente, alrededor de febrero, cuando los modelos mejoraron. Y de pronto tuvimos nuestro primer producto construido 100 % con IA. Probablemente tendremos media docena de productos construidos 100 % con IA para fin de año. Y probablemente el 70 % de todo nuestro código esté escrito únicamente con IA, sin una sola línea de código humano. Y, en los próximos años, vamos a refactorizar cada pieza de código heredado; ya no habrá empresa heredada.
Eso, para mí, es tan profundo en sus implicancias que lo que tienes que pensar es: si ese es el caso, y si estoy aprendiendo a aprender, y sé que no puedo mirar algo un día y decir “esto no funciona, por lo tanto voy a dejarlo de lado durante un año y luego volveré”…
Tienes que asumir que va a funcionar dentro de 60 días y planificar para que, cuando dentro de 60 días empiece a funcionar, tú seas de los primeros en aprovecharlo. Esa es la dinámica realmente importante. Es una forma muy contraintuitiva de operar, porque la mayoría de la gente prefiere actuar con cierto nivel de datos y prueba: “muéstrame que esto hace algo antes de usarlo”. Aquí es un acto de fe. Estás diciendo: “en cuestión de un par de meses, dado…
…los datos que tengo sobre lo rápido que crecen los modelos, dado lo que los modelos ya hacen, dado lo que creo que hará el próximo modelo, no creo que pueda ignorar esto durante 60 días. Voy a tener que familiarizarme mucho con ello para que, cuando esté listo, yo sea de los primeros en aprovecharlo”. Llegar primero al mercado lo es todo.
Sabrina Ortiz (45:52.82)
Ese es un gran consejo. Y, para terminar, siguiendo esa línea, quiero hacerte una última pregunta. Para las personas que ya están experimentando, probando, tratando de implementarlo en sus flujos de trabajo o que ya lo han hecho, ¿qué pueden hacer para llevarlo al siguiente nivel, para potenciar su flujo de trabajo o ver más resultados de los que ya están viendo?
Jeetu Patel (46:15.928)
Primero, usen múltiples herramientas distintas porque cada producto está evolucionando de manera diferente. Así van a obtener ideas diferentes sobre cómo se está pensando esto. Parte de todo el objetivo aquí es adquirir una textura de lo que está ocurriendo en la industria. Lo segundo es que existen cosas llamadas archivos Markdown, que básicamente son preferencias que puedes darle en texto plano al modelo de IA. Aprende a dominar los archivos Markdown.
Aprende a construirlos, aprende a usarlos en herramientas como Claude Code. Hoy tienes 150 millones de desarrolladores en GitHub. Creo que tendrás 3.000 millones de constructores de agentes de IA en 6 a 12 meses. ¡3.000 millones! Eso es casi un tercio de la humanidad construyendo agentes.
Y si puedes tener ese nivel de crecimiento exponencial y aumento de volumen, lo que necesitas es la capacidad de experimentar con esto, mejorar en ello, empezar a hacerlo tú mismo y desarrollar intuición. Y luego, cuando algo funcione, ser diligente para incorporarlo a tu proceso diario de trabajo. Creo que eso es lo más importante. Y, además, suspende por completo…
…tus nociones previas. Tu capacidad de desaprender va a ser muy importante ahora mismo, porque tienes que suspender tus experiencias e ideas previas. Si alguien te dice: “Me gusta mucho este documento. Me gusta mucho este concepto y esta estrategia de la que hablaste. ¿Puedes conseguirme un documento con eso? ¿Y una presentación en PowerPoint?” Eso ya no es una tarea de dos semanas. Eso puede hacerse de un día para el otro.
Y no solo documentos. ¿Puedes escribirme una aplicación? ¿Puedes hacer algo que deba hacerse? Esos tiempos se están comprimiendo de una forma poco natural. Lo más difícil aquí no es que el tiempo se comprima. Lo más difícil es reconfigurar al ser humano para ajustarse a esa compresión del tiempo y luego operar dentro de la sociedad en ese tiempo comprimido…
Jeetu Patel (48:34.315)
…sin crear un nivel de estrés y ansiedad que haga que la gente colapse. Eso es lo que hay que lograr. Y creo que esa es la parte más difícil. El aspecto de gestión del cambio no es trivial. Y sí creo que esto genera ansiedad en las personas. Y eso está bien. Es una reacción normal. Todo el mundo se siente un poco atrasado. Todo el mundo siente: “Dios mío, necesito ponerme al día”. Y eso es verdad desde el momento en que te despiertas.
Porque el mercado se mueve a un ritmo frenético. Y lo que tienes que pensar es: no voy a ser reactivo y frenético ante los movimientos del mercado. Voy a responder con sentido de urgencia a esos movimientos. Y si puedo distinguir entre esas dos cosas y usar la IA como viento de cola, en vez de luchar contra ella, vas a tener muchísimo éxito. Y no tendrás que preocuparte demasiado. Pero si luchas contra ella y no…
…la usas como viento de cola, entonces en seis a doce meses la situación se vuelve bastante difícil para mucha gente.
Reference: https://tdv.transistor.fm/episodes/38-the-ai-agent-boom-and-coming-cybersecurity-crisis-jeetu-patel/transcript
- Get link
- X
- Other Apps
.png)
Comments
Post a Comment