Herramientas de Detección de IA – su confiabilidad
Herramientas de Detección de IA – su confiabilidad
Mg. en Ing. Carlos Gerardo Said
Si desea leer directamente el resumen y conclusiones, los encontrará al final del artículo.
Los riesgos de usar herramientas de detección de IA actualmente superan los posibles beneficios.
Si decide prohibir el uso de IA en su enseñanza, no recomendamos "actualmente" (puede cambiar en cualquier momento) utilizar herramientas de detección de IA para identificar plagio. No, no debemos confundir estas herramientas con las usadas para ANTIPLAGIO.
Ya se han documentado casos de estudiantes inocentes acusados de deshonestidad académica debido a la complejidad de esta tecnología.
Problemas con la Detección de IA
Existen varias razones por las cuales las herramientas de detección de IA son hoy dudosas:
· Los detectores de IA no son confiables y a menudo generan falsos positivos. Incluso OpenAI (desarrolladores de ChatGPT) no ha logrado producir una herramienta que detecte de manera fiable textos generados por IA y cerró su clasificador de IA en julio de 2023, citando una “baja tasa de precisión”.
· Pueden ser sesgados, especialmente contra escritores que no son hablantes nativos de inglés.
· El rápido ritmo de desarrollo de estas tecnologías hace que sea difícil para el software de detección mantenerse al día.
El uso no regulado de Modelos de Lenguaje de Gran Escala (LLMs), en muchos casos asociados al concepto IA Generativa (si bien no son lo mismo estrictamente hablando), puede conducir a consecuencias negativas como el plagio, la generación de noticias falsas, el envío de spam, entre otros. Por lo tanto, la detección fiable de textos generados por IA puede ser crítica para garantizar un uso responsable de estos modelos.
Trabajos recientes han intentado abordar este problema utilizando firmas específicas presentes en los textos generados o aplicando técnicas de marcado de agua que imprimen patrones específicos en dichos textos.
Sin embargo, en el estudio de Febrero 2024 (Vinu Sankar Sadasivan, Aounon Kumar, Sriram Balasubramanian, Wenxiao Wang, Soheil Feizi, PUEDE DETECTARSE de MANERA CONFIABLE TEXTO GENERADO por la AI) muestran que estos detectores no son confiables en escenarios prácticos.
En particular, desarrollaron un ataque llamado de parafraseo recursivo que puede quebrar una amplia gama de detectores, incluidos aquellos que utilizan esquemas de marcado de agua, detectores basados en redes neuronales, entre otros.
Los experimentos incluyeron pasajes de aproximadamente 300 palabras relevantes (llamadas tokens), demostrando la sensibilidad de los detectores incluso en textos relativamente largos, de mayor longitud que los 300.
Además, mostraron que incluso los LLMs protegidos por esquemas de marcado de agua pueden ser vulnerables a ataques de suplantación, diseñados para engañar a los detectores y clasificar textos escritos por humanos como generados por IA, lo que puede causar daños de reputación a los escritores.
En particular, demostraron que un adversario puede inferir firmas ocultas de texto generadas por IA sin tener acceso directo al método de detección (acceso de tipo caja blanca).
Finalmente, proporcionan una conexión teórica entre el AUROC del mejor detector posible y la distancia de Variación Total entre las distribuciones de textos huanos y generados por IA, lo que puede utilizarse para estudiar la dificultad fundamental del problema de detección fiable en modelos avanzados de lenguaje. Me permito aquí una breve explicación respecto de que es el AUROC.
AUROC significa Área Bajo la Curva Característica Operativa del Receptor. Es una métrica de rendimiento utilizada para evaluar la capacidad de clasificación de un modelo, particularmente en tareas de clasificación binaria. En este caso lo "binario" es: escrito generado por la IA o es un texto original.
Es decir, relacionan dos métodos para intentar dirimir el origen del escrito (IA u Original). Ellos son: AUROC y distancia de Variación Total.
Resumen y conclusión:
Las herramientas de detección de IA buscan identificar si un contenido ha sido generado por inteligencia artificial. Utilizan algoritmos que analizan patrones, probabilidad de palabras y características estilísticas para determinar la fuente del texto. Sin embargo, su confiabilidad puede variar según factores como la calidad del texto, la complejidad del modelo generador de IA y los métodos de detección empleados.
Limitaciones comunes incluyen falsos positivos (marcar como generado por IA un texto humano) y falsos negativos (no identificar un texto generado por IA). Además, los modelos avanzados de generación de IA, como GPT, pueden producir contenido indistinguible del humano, lo que dificulta una detección precisa.
Por lo tanto, aunque útiles, estas herramientas no son infalibles y suelen ser más efectivas cuando se combinan con el juicio humano y otros métodos de análisis.
Hasta la próxima oportunidad.
.jpg)
Comments
Post a Comment